Han Hanju·2022년 9월 26일
0
post-thumbnail

pyarrow를 통해 parquet file로 저장.

fastparquet이라는 라이브러리를 사용 할 수도 있지만 int, string type을 지정 할 수 없으니 pyarrow를 사용하자

import pyarrow as pa
import pyarrow.parquet as pq

table = pa.table(df_t)
pq.write_table(table, wd+'part.parquet')
profile
Data Analytics Engineer

0개의 댓글