# parquet

5개의 포스트
post-thumbnail

Daily reflection - 2

프로젝트 원칙 확인 / 새롭게 배운 개념 등

5일 전
·
0개의 댓글

Parquet

Apache Parquet

2022년 4월 22일
·
0개의 댓글
post-thumbnail

[Kaggle-UMP] #1 Parquet 사용하기

거대한 데이터를 한정된 자원, Kaggle notebook 위에서 처리하기 위해 많은 사람들이 사용하는 parquet에 대한 기본적인 내용과 사용법

2022년 3월 3일
·
0개의 댓글
post-thumbnail

[Apache Spark] Parquet (파케이)

컬럼 기반 포맷같은 종류의 데이터가 모여있어 압축률이 더 높고, 일부 컬럼만 읽어 들일 수 있어 처리량을 줄일 수 있다.스파크에서는 parquet 파일을 손쉽게 읽고 쓸 수 있다.데이터를 분석하기 전 json을 읽어 parquet으로 저장해두고 이후에는 parquet에

2021년 11월 30일
·
0개의 댓글
post-thumbnail

Parquet에서 Unhandled type for Arrow to Parquet schema conversion: halffloat 이 발생할 때

Parquet를 사용하다가 이런 에러가 나왔을 땐?

2021년 9월 2일
·
0개의 댓글