[data] Parquet (파케이)

파케이(Parquet)이란, 많은 양의 데이터를 처리하는데에 들어가는 시간과 비용을 절약하기 위해서 기존의 일반적인 행 기반(Row-based) 포맷이 아닌 열 기반(Column-based) 포맷의 처리를 말합니다.

 

파케이는 열 기반(Column-based) 포맷의 다른 종류인 ORC와 유사하지만, ORC는 Hive 최적화 / Parquet는 Apache 솔루션에 최적화 되어 있습니다.

 

테스트 해보자

 

CSV를 Parquet 파일로 저장

products.csv

name
루이비통

pyarrow 를 설치해보자 

pip install pyarrow

csv 를 parquet 변환 생성  

import pyarrow.parquet as pq
from pyarrow import csv

pq.write_table(csv.read_csv('products.csv'), 'products.parquet')

parquet 생성

 

 

 

pandas

변환된 csv 파일을 pandas 함수로 parquet 파일을 데이터프레임으로 읽고 다시 데이터프레임을  parquet 로 저장 

import pandas as pd

df = pd.read_parquet('products.parquet', engine='pyarrow')
df.to_parquet('products3.parquet', engine='pyarrow', index=False)

 

pyarrow

import pyarrow as pa

import pyarrow.parquet as pq

df = pq.read_pandas('products.parquet').to_pandas()

table_from_pandas = pa.Table.from_pandas(df, preserve_index=False)
pq.write_table(table_from_pandas, 'products4.parquet')

parquet 파일 생성 결과