Share:


A comparison of HDFS compact data formats: Avro versus Parquet

Abstract

In this paper, file formats like Avro and Parquet are compared with text formats to evaluate the performance of the data queries. Different data query patterns have been evaluated. Cloudera’s open-source Apache Hadoop distribution CDH 5.4 has been chosen for the experiments presented in this article. The results show that compact data formats (Avro and Parquet) take up less storage space when compared with plain text data formats because of binary data format and compression advantage. Furthermore, data queries from the column based data format Parquet are faster when compared with text data formats and Avro.

Article in English.


HDFS glaustųjų duomenų formatų palyginimas: Avro prieš Parquet

Santrauka

Straipsnyje vertinamas duomenų užklausų našumas lyginant Avro ir Parguet failų formatus su teksto failų formatu. Tyrimuose taikytos įvairios duomenų užklausų formos, naudota Cloudera atvirojo kodo Apache Hadoop CDH 5.4 versijos programinė įranga. Tyrimo rezultatai patvirtina, kad glaustieji duomenų formatai (Avro ir Parguet) dėl galimybės įterpti dvejetainį kodą ir naudoti glaudą taupo atmintį. Parodoma, kad duomenų užklausos įvykdomos sparčiau naudojant Parquet nei Avro ar teksto failų formatus.

Reikšminiai žodžiai: didieji duomenys, Hadoop, HDFS, Hive, Avro, Parquet.

Keyword : Big Data, Hadoop, HDFS, Hive, Avro, Parquet

How to Cite
Plase, D., Niedrite, L., & Taranovs, R. (2017). A comparison of HDFS compact data formats: Avro versus Parquet. Mokslas – Lietuvos Ateitis / Science – Future of Lithuania, 9(3), 267-276. https://doi.org/10.3846/mla.2017.1033
Published in Issue
Jul 4, 2017
Abstract Views
329
PDF Downloads
619
Creative Commons License

This work is licensed under a Creative Commons Attribution 4.0 International License.