# parquet
총 5개의 포스트
.png)
[Kaggle-UMP] #1 Parquet 사용하기
거대한 데이터를 한정된 자원, Kaggle notebook 위에서 처리하기 위해 많은 사람들이 사용하는 parquet에 대한 기본적인 내용과 사용법
2022년 3월 3일
·
0개의 댓글
[Apache Spark] Parquet (파케이)
컬럼 기반 포맷같은 종류의 데이터가 모여있어 압축률이 더 높고, 일부 컬럼만 읽어 들일 수 있어 처리량을 줄일 수 있다.스파크에서는 parquet 파일을 손쉽게 읽고 쓸 수 있다.데이터를 분석하기 전 json을 읽어 parquet으로 저장해두고 이후에는 parquet에
2021년 11월 30일
·
0개의 댓글
Parquet에서 Unhandled type for Arrow to Parquet schema conversion: halffloat 이 발생할 때
Parquet를 사용하다가 이런 에러가 나왔을 땐?
2021년 9월 2일
·
0개의 댓글