📦 Parquet과 Avro란? — 빅데이터 파일 포맷 완전 정복

"데이터 포맷을 잘못 선택하면, 성능과 비용이 10배 차이납니다."
빅데이터 엔지니어링에서 파일 포맷 선택은 파이프라인의 성패를 가릅니다.

---

🧭 목차

1. 빅데이터 파일 포맷이란?
2. Apache Parquet란?
3. Apache Avro란?
4. 핵심 차이: Row vs Column 저장 방식
5. 장단점 상세 비교
6. 한눈에 보는 비교표
7. 언제 무엇을 써야 할까?
8. 실전 활용: ETL 파이프라인에서의 조합
9. 결론

---

빅데이터 파일 포맷이란?

빅데이터 환경에서 데이터는 단순한 CSV나 JSON으로 저장하기엔 너무 많습니다.
수십 TB, 수백 PB에 달하는 데이터를 효율적으로 저장 · 압축 · 조회하기 위해 특수 파일 포맷이 등장했습니다.

대표적인 빅데이터 파일 포맷으로는 Parquet, Avro, ORC 등이 있으며,
이 글에서는 가장 많이 사용되는 두 포맷인 Parquet과 Avro를 깊이 비교합니다.

▲ 빅데이터 환경에서 사용되는 주요 파일 포맷 비교

---

Apache Parquet란?

Apache Parquet은 컬럼 기반(Columnar) 저장 방식을 사용하는 파일 포맷입니다.
2013년 Twitter와 Cloudera가 공동 개발했으며, 현재 빅데이터 분석의 사실상 표준 포맷입니다.

🏗️ 구조

Parquet은 데이터를 행(Row) 단위가 아닌 열(Column) 단위로 저장합니다.
예를 들어, 아래 테이블이 있다고 가정할 때:

ID	Name	Age	City
101	Alice	25	New York
102	Bob	30	Chicago
103	Carol	28	Seattle

Parquet이 저장하는 방식:

ID:   [101, 102, 103]
Name: [Alice, Bob, Carol]
Age:  [25, 30, 28]
City: [New York, Chicago, Seattle]

각 열이 함께 저장되기 때문에, Age 컬럼만 필요한 쿼리는 나머지 데이터를 전혀 읽지 않아도 됩니다.

▲ Parquet 컬럼 기반 저장 구조

✨ 주요 특징

• 컬럼 단위 저장: 분석 쿼리에서 필요한 컬럼만 읽어 I/O 최소화
• 뛰어난 압축률: Dictionary Encoding, Run-Length Encoding, Bit-packing 등 고급 압축 기법 지원
• Predicate Pushdown: 파일 메타데이터로 불필요한 데이터 블록 자체를 스킵
• 중첩 구조 지원: Google Dremel 인코딩 방식으로 복잡한 중첩 데이터 처리
• 광범위한 생태계: Apache Spark, Presto, Hive, Snowflake, BigQuery 등과 완벽 호환

---

Apache Avro란?

Apache Avro는 행 기반(Row-oriented) 데이터 직렬화 프레임워크입니다.
2009년 Apache Hadoop 프로젝트에서 개발되었으며, 특히 스트리밍 환경에서 강점을 보입니다.

🏗️ 구조

Avro는 JSON으로 스키마를 정의하고, 실제 데이터는 바이너리 포맷으로 저장합니다.
스키마가 데이터 파일 헤더에 함께 저장되어 자기 서술적(Self-describing) 구조를 갖습니다.

Avro가 저장하는 방식:

[101, Alice, 25, New York]
[102, Bob, 30, Chicago]
[103, Carol, 28, Seattle]

레코드 전체가 순차적으로 저장되므로, 새로운 데이터를 빠르게 추가할 수 있습니다.

▲ Apache Avro 아키텍처 구조

✨ 주요 특징

• 행 단위 저장: 레코드 전체 읽기/쓰기에 최적화
• 스키마 진화(Schema Evolution): 이전 버전과 호환성을 유지하면서 필드 추가/삭제/수정 가능
• 컴팩트 바이너리 포맷: 네트워크 전송 비용 최소화
• 언어 중립적: Java, Python, C, C++, C# 등 다양한 언어 지원
• Splittable: 분산 처리 프레임워크(Spark, Hadoop)에서 병렬 처리 가능
• Apache Kafka 표준: 실시간 스트리밍에서 사실상 표준 포맷

▲ Apache Kafka + Avro를 활용한 스트리밍 데이터 파이프라인

---

핵심 차이: Row vs Column 저장 방식

두 포맷의 가장 근본적인 차이는 저장 방식에 있습니다.

▲ 행 기반(Avro) vs 컬럼 기반(Parquet) 저장 방식 비교

저장 방식	포맷	특징
Row-based	Avro	한 레코드의 모든 필드가 함께 저장 → 쓰기 빠름
Columnar	Parquet	같은 컬럼의 데이터가 함께 저장 → 분석 쿼리 빠름

비유로 이해하기:

• Avro(행 기반) = 엑셀을 한 줄씩 저장하는 방식. 한 사람의 정보를 통째로 가져올 때 빠름.
• Parquet(컬럼 기반) = 엑셀의 열을 따로 묶어 저장하는 방식. "나이" 열 하나만 볼 때 초고속.

---

장단점 상세 비교

✅ Apache Parquet

장점

항목	내용
🚀 분석 쿼리 성능	필요한 컬럼만 읽어 I/O를 대폭 절감
💾 압축 효율	동일 타입 데이터가 모여 있어 압축률 탁월 (보통 CSV 대비 3~10배)
📊 OLAP 최적화	집계, 필터링, BI 대시보드에 최적
🔍 Predicate Pushdown	메타데이터로 불필요한 파일 블록 완전 스킵
☁️ 클라우드 친화적	AWS Athena, Google BigQuery, Snowflake 기본 지원

단점

항목	내용
🐢 쓰기 성능 저하	컬럼 재정렬 오버헤드로 쓰기 속도 느림
🔄 스키마 변경 복잡	컬럼 구조 변경 시 주의 필요
📖 사람이 읽기 불가	바이너리 포맷으로 직접 열람 불가
🌊 스트리밍 부적합	행 단위 스트리밍에는 비효율적

---

✅ Apache Avro

장점

항목	내용
⚡ 빠른 쓰기 성능	행을 순차 추가하므로 쓰기/직렬화 초고속
🔄 스키마 진화	필드 추가/삭제해도 하위 호환성 유지
🌊 스트리밍 표준	Apache Kafka의 사실상 표준 직렬화 포맷
📦 자기 서술적	스키마가 데이터 내부에 포함되어 이식성 탁월
🌍 다언어 지원	Java, Python, C++ 등 다양한 언어 클라이언트

단점

항목	내용
📉 분석 쿼리 성능 저하	전체 행을 읽어야 하므로 특정 컬럼 조회 느림
💾 압축 효율 상대적 낮음	Parquet 대비 파일 크기 큼
🔍 쿼리 최적화 제한	Predicate Pushdown 등 고급 최적화 어려움
📖 사람이 읽기 불가	마찬가지로 바이너리 포맷

---

한눈에 보는 비교표

▲ Parquet vs Avro 핵심 비교

비교 항목	Apache Avro	Apache Parquet
저장 방식	행 기반 (Row-oriented)	컬럼 기반 (Columnar)
파일 확장자	.avro	.parquet
최적 용도	스트리밍, 이벤트, 스키마 진화	분석 쿼리, 데이터 웨어하우스
스키마 진화	⭐⭐⭐ 탁월	⭐⭐ 제한적
압축 효율	⭐⭐ 보통	⭐⭐⭐ 탁월
읽기 성능	⭐⭐ (전체 행 읽기)	⭐⭐⭐ (컬럼 선택 읽기)
쓰기 성능	⭐⭐⭐ 빠름	⭐⭐ 느림
쿼리 최적화	⭐ 제한적	⭐⭐⭐ 탁월
파일 크기	상대적으로 큼	상대적으로 작음
중첩 데이터	JSON 스키마 기반	Dremel 인코딩 최적화
주요 플랫폼	Kafka, Hadoop, Spark	Spark, Hive, Presto, Snowflake
주요 생태계	스트리밍, 로그, 운영 시스템	데이터 레이크, BI, 배치 분석

---

언제 무엇을 써야 할까?

🟦 Avro를 선택하세요, 만약:

✅ Apache Kafka로 실시간 이벤트 스트리밍을 한다
✅ 스키마가 자주 변경되고 하위 호환성이 중요하다
✅ 쓰기(Write) 작업이 압도적으로 많다
✅ 서로 다른 시스템 간 데이터를 교환해야 한다
✅ 로그 수집, IoT 센서 데이터, 이벤트 수집을 한다
✅ 마이크로서비스 간 데이터 직렬화가 필요하다

🟧 Parquet을 선택하세요, 만약:

✅ 데이터 분석, BI 대시보드, OLAP 쿼리가 주 목적이다
✅ AWS Athena, BigQuery, Snowflake에서 쿼리한다
✅ 대규모 데이터를 적은 비용으로 저장하고 싶다
✅ 읽기(Read) 작업이 쓰기보다 훨씬 많다
✅ Apache Spark로 배치 분석을 수행한다
✅ 특정 컬럼만 선택해서 쿼리하는 패턴이 많다

---

실전 활용: ETL 파이프라인에서의 조합

실제 현업에서는 두 포맷을 함께 사용하는 것이 가장 일반적입니다.

[실시간 이벤트 수집]          [배치 분석]
Producer → Kafka(Avro) → ETL → Data Lake(Parquet) → BI 도구

ETL 단계	권장 포맷	이유
데이터 수집 (Ingestion)	✅ Avro	실시간 Kafka 스트리밍, 빠른 쓰기
중간 처리 (Processing)	✅ Avro	스키마 진화 유연성 확보
최종 저장 (Analytics)	✅ Parquet	빠른 쿼리, 높은 압축률

💡 실전 팁: Kafka에서 Avro로 수집 → Spark로 변환 → Parquet으로 Data Lake 저장.
이 패턴이 AWS, GCP, Azure 모두에서 사실상 표준 아키텍처입니다.

---

Apache Spark에서의 코드 예시

Avro 읽기/쓰기

from pyspark.sql import SparkSession

spark = SparkSession.builder.appName("AvroExample").getOrCreate()

# Avro 파일 읽기
df = spark.read.format("avro").load("data.avro")
df.show()

# DataFrame을 Avro로 저장
df.write.format("avro").save("output.avro")

Parquet 읽기/쓰기

# Parquet 파일 읽기
df = spark.read.parquet("data.parquet")
df.show()

# DataFrame을 Parquet으로 저장
df.write.mode("overwrite").parquet("output.parquet")

✏️ Spark에서 Parquet은 기본(default) 저장 포맷으로 사용됩니다.

---

결론

	Avro	Parquet
한 줄 요약	스트리밍·진화하는 스키마의 왕	분석·압축 효율의 왕
핵심 키워드	직렬화, 스트리밍, 유연성	컬럼 스캔, 압축, 분석 성능

두 포맷은 경쟁 관계가 아니라 상호 보완적인 관계입니다.
데이터 파이프라인에서 수집 단계엔 Avro, 분석 단계엔 Parquet을 사용하는 것이
현업 데이터 엔지니어들이 선택한 가장 검증된 아키텍처입니다.

"정답은 하나가 아니다. 워크로드에 맞는 포맷을 선택하라."

---

📚 참고 자료

• DataCamp - Avro vs Parquet
• PuppyGraph - Apache Avro vs Parquet
• Apache Parquet 공식 문서
• Apache Avro 공식 문서
• Snowflake - Avro vs Parquet