# parquet

acdongpgm

학습데이터를 구성할때 긍정 샘플(postive sample)과 부정 샘플(negative sample)의 비율을1:1로 구성했었지만, 여러 부정 샘플을 추가시키면 모델의 정확도가 향상되기 때문에여러 부정샘플들을 추가하여 1:6비율로 학습 데이터를 구성했다. 그러다 보니

jhyun223

얼마 전 면접을 보고, 용어나 프로그램들의 기본적인 개념에 대해 부족한 부분이 많은 것 같아 차근차근 정리해보려고 한다.그 중에서 이번에는 parquet 파일이란 무엇이며, 어떠한 장점이 있어 사용되고 있는지 정리해본다.하둡 에코시스템에서 많이 사용되는 파일 포맷 중

freetix

일단, parquet 가 무엇인가. (발음은 '파-케e' 이런 느낌으로 읽는 것 같다. 끝에 'e이'를 소리내는 듯 마는 듯 하게.)간단하게 위키에 누군가 적어놓은 걸 보면 Apache Parquet is a free and open-source column-orien

gooook

프로젝트 원칙 확인 / 새롭게 배운 개념 등

kero88

Apache Parquet

yehjin-00

거대한 데이터를 한정된 자원, Kaggle notebook 위에서 처리하기 위해 많은 사람들이 사용하는 parquet에 대한 기본적인 내용과 사용법

ynsoo1225

컬럼 기반 포맷같은 종류의 데이터가 모여있어 압축률이 더 높고, 일부 컬럼만 읽어 들일 수 있어 처리량을 줄일 수 있다.스파크에서는 parquet 파일을 손쉽게 읽고 쓸 수 있다.데이터를 분석하기 전 json을 읽어 parquet으로 저장해두고 이후에는 parquet에

otzslayer

Parquet를 사용하다가 이런 에러가 나왔을 땐?