데이터브릭스의 델타레이크

GarionNachal·2025년 4월 7일
0

databricks

목록 보기
1/24
post-thumbnail

들어가며

오늘날 기업들이 직면한 데이터 문제는 점점 더 복잡해지고 있습니다. 대용량 데이터를 효율적으로 저장하고, 안정적으로 처리하며, 빠르게 분석할 수 있는 인프라가 필요한 시대입니다. 이러한 요구에 부응하여 데이터브릭스(Databricks)는 델타레이크(Delta Lake)라는 혁신적인 기술을 선보였습니다. 이 글에서는 델타레이크가 무엇이며, 어떤 기능과 장점을 제공하는지, 그리고 실제 기업 환경에서 어떻게 활용되고 있는지 자세히 알아보겠습니다.

델타레이크란 무엇인가?

델타레이크는 데이터 레이크의 안정성과 성능을 최적화하도록 설계된 오픈소스 데이터 스토리지 프레임워크입니다. 2019년 데이터브릭스에 의해 개발되어 오픈소스로 공개된 이 기술은 기존 데이터 레이크가 직면한 데이터 일관성, 데이터 품질, 트랜잭션 부족 등의 문제들을 해결하기 위해 탄생했습니다. Pure Storage

델타레이크는 본질적으로 아파치 파켓(Apache Parquet) 파일 형식 위에 구축된 스토리지 레이어입니다. 이는 데이터 레이크의 유연성과 확장성을 유지하면서도 데이터 웨어하우스의 안정성과 성능을 더해 '레이크하우스(Lakehouse)' 아키텍처를 구현할 수 있게 해줍니다.

데이터 레이크와 델타레이크의 차이점

기존의 데이터 레이크와 델타레이크의 주요 차이점을 살펴보면 다음과 같습니다:

특성기존 데이터 레이크델타레이크
트랜잭션 지원ACID 트랜잭션 지원 없음ACID 트랜잭션 완벽 지원
데이터 버전 관리데이터 버전 관리 불가시간 여행(Time Travel) 기능으로 이전 버전 접근 가능
스키마 관리스키마 관리 어려움스키마 적용 및 진화 자동 지원
파일 관리작은 파일 문제 발생자동 파일 압축 및 인덱싱으로 성능 향상
데이터 품질데이터 품질 관리 어려움스키마 적용, 제약 조건으로 품질 보장
스트리밍 처리배치와 스트리밍 분리배치와 스트리밍 통합 지원

도리의 디지털라이프

델타레이크는 위와 같은 차이점을 통해 기존 데이터 레이크의 약점을 보완하고, 더욱 신뢰할 수 있고 효율적인 데이터 관리 환경을 제공합니다.

델타레이크의 핵심 기능

1. ACID 트랜잭션

델타레이크는 파일 기반의 트랜잭션 로그를 통해 ACID(원자성, 일관성, 격리성, 지속성) 트랜잭션을 완벽하게 지원합니다. 이를 통해 여러 사용자나 프로세스가 동시에 데이터를 수정하더라도 데이터 일관성이 유지됩니다.

Copy# ACID 트랜잭션 예시 (Python with PySpark)
from delta.tables import DeltaTable
from pyspark.sql import SparkSession

spark = SparkSession.builder.appName("DeltaExample").getOrCreate()

# 동시 쓰기 작업도 안전하게 처리
deltaTable = DeltaTable.forPath(spark, "/path/to/delta-table")
deltaTable.update(
    condition="id = 100",
    set={"name": "'Updated Name'"}
)

2. 시간 여행(Time Travel)

델타레이크의 가장 인기 있는 기능 중 하나는 '시간 여행'입니다. 이 기능을 사용하면 테이블의 이전 버전을 쉽게 쿼리할 수 있어, 실수로 데이터를 삭제하거나 변경한 경우에도 복구가 가능합니다.

Copy-- 1시간 전 테이블 상태 조회
SELECT * FROM my_table TIMESTAMP AS OF '2025-04-07 22:00:00'

-- 특정 버전의 테이블 조회
SELECT * FROM my_table VERSION AS OF 3

3. 스키마 진화 및 적용

델타레이크는 스키마 적용(Schema Enforcement)과 스키마 진화(Schema Evolution) 기능을 제공합니다. 스키마 적용은 잘못된 데이터가 테이블에 들어오는 것을 방지하고, 스키마 진화는 데이터 구조가 변경될 때 자동으로 스키마를 업데이트합니다.

Copy# 스키마 진화 예시
spark.read.format("delta").load("/path/to/delta-table") \
  .write \
  .option("mergeSchema", "true") \  # 새 열 추가 허용
  .format("delta") \
  .mode("append") \
  .save("/path/to/delta-table")

4. 메타데이터 처리의 확장성

델타레이크는 스파크의 분산 처리 능력을 활용하여 페타바이트 규모 테이블의 메타데이터를 효율적으로 처리합니다. 이는 대규모 데이터셋에서도 빠른 쿼리 성능을 가능하게 합니다.

5. 스트리밍 및 배치 통합

델타레이크는 동일한 테이블에 대해 스트리밍 및 배치 작업을 동시에 처리할 수 있습니다. 이를 통해 실시간 데이터와 히스토리 데이터를 하나의 테이블에서 통합적으로 관리할 수 있습니다.

Copy# 스트리밍 쓰기 예시
spark.readStream.format("kafka") \
  .option("kafka.bootstrap.servers", "host:port") \
  .option("subscribe", "topic") \
  .load() \
  .writeStream \
  .format("delta") \
  .outputMode("append") \
  .option("checkpointLocation", "/path/to/checkpoint") \
  .start("/path/to/delta-table")

# 동시에 배치 쿼리 가능
spark.read.format("delta").load("/path/to/delta-table").createOrReplaceTempView("delta_table")
spark.sql("SELECT * FROM delta_table WHERE date > '2025-01-01'").show()

6. 리퀴드 클러스터링(Liquid Clustering)

델타레이크 3.0에서 소개된 리퀴드 클러스터링은 데이터가 증가함에 따라 자동으로 최적의 클러스터링을 유지하여 쿼리 성능을 향상시킵니다. 이 기능은 기존의 파티셔닝보다 더 유연하고 효율적인 데이터 구성을 가능하게 합니다. Databricks

Copy-- 리퀴드 클러스터링 테이블 생성
CREATE TABLE sales_data
CLUSTER BY (region, date)
AS SELECT * FROM source_data;

7. UniForm(Universal Format)

델타레이크 3.0의 또 다른 주요 기능인 UniForm은 델타 포맷을 아파치 아이스버그(Apache Iceberg)나 아파치 후디(Apache Hudi)와 같은 다른 테이블 포맷과 호환되게 해줍니다. 이는 다양한 컴퓨팅 엔진과 도구 간의 상호운용성을 크게 향상시킵니다. Databricks

델타레이크의 실제 활용 사례

델타레이크는 다양한 산업 분야와 사용 사례에서 활용되고 있습니다. 몇 가지 주요 활용 사례를 살펴보겠습니다:

1. 실시간 분석 파이프라인

금융 서비스 기업 A사는 델타레이크를 활용하여 실시간 사기 탐지 시스템을 구축했습니다. 스트리밍 데이터와 배치 데이터를 통합 처리함으로써, 과거 거래 패턴과 실시간 거래 데이터를 동시에 분석하여 사기 탐지 정확도를 크게 향상시켰습니다.

Copy# 실시간 거래 데이터 스트리밍 적재
transactions = spark.readStream.format("kafka") \
  .option("kafka.bootstrap.servers", "host:port") \
  .option("subscribe", "transactions") \
  .load()

# 델타 테이블에 저장
transactions.writeStream \
  .format("delta") \
  .outputMode("append") \
  .option("checkpointLocation", "/checkpoints/transactions") \
  .start("/delta/transactions")

# 머신러닝 모델 실시간 추론을 위한 쿼리
fraud_detection_query = spark.readStream.format("delta") \
  .load("/delta/transactions") \
  .where("amount > 10000") \  # 고액 거래 필터링
  .select("*", fraud_detection_udf("*").alias("fraud_score")) \
  .writeStream \
  .format("delta") \
  .outputMode("append") \
  .option("checkpointLocation", "/checkpoints/fraud_scores") \
  .start("/delta/fraud_scores")

2. 데이터 품질 관리

의료 데이터 처리 기업 B사는 델타레이크의 스키마 적용 기능을 활용하여 환자 데이터의 품질을 보장하고 있습니다. 데이터가 적재될 때 자동으로 스키마 검증을 수행하고, 잘못된 형식의 데이터는 거부하도록 시스템을 구성했습니다.

Copy-- 제약 조건이 있는 환자 데이터 테이블 생성
CREATE TABLE patient_data (
  id STRING NOT NULL,
  name STRING NOT NULL,
  birth_date DATE,
  blood_type STRING,
  weight FLOAT,
  height FLOAT,
  CONSTRAINT valid_id CHECK (id RLIKE '^P[0-9]{10}$'),
  CONSTRAINT valid_blood_type CHECK (blood_type IN ('A+', 'A-', 'B+', 'B-', 'AB+', 'AB-', 'O+', 'O-')),
  CONSTRAINT valid_measures CHECK (weight > 0 AND height > 0)
);

3. 데이터 거버넌스 및 컴플라이언스

금융 기관 C사는 델타레이크의 시간 여행 기능을 활용하여 규제 컴플라이언스 요구사항을 충족하고 있습니다. 특정 시점의 데이터 상태를 감사 목적으로 빠르게 조회할 수 있어, 규제 기관의 데이터 이력 요청에 효과적으로 대응할 수 있게 되었습니다.

Copy-- 2025년 1분기 종료 시점의 재무 상태 조회
SELECT * FROM financial_statements
TIMESTAMP AS OF '2025-03-31 23:59:59'
WHERE account_type = 'Asset';

-- 데이터 변경 이력 추적
SELECT * FROM financial_statements.history
WHERE account_id = 'ACCT-12345'
ORDER BY timestamp;

4. IoT 데이터 처리

제조 기업 D사는 공장 내 수천 개의 센서에서 생성되는 IoT 데이터를 델타레이크에 저장하고 분석합니다. 스트리밍으로 들어오는 실시간 센서 데이터와 기존 배치 데이터를 함께 분석하여 장비 이상을 조기에 감지하고 예방적 유지보수를 수행합니다.

Copy# IoT 센서 데이터 스트리밍 처리
sensor_data = spark.readStream.format("kafka") \
  .option("kafka.bootstrap.servers", "host:port") \
  .option("subscribe", "sensor-data") \
  .load()

# 요약 통계 계산 및 저장
sensor_stats = sensor_data.selectExpr("CAST(value AS STRING)") \
  .select(from_json("value", sensor_schema).alias("data")) \
  .select("data.*") \
  .groupBy("sensor_id", window("timestamp", "5 minutes")) \
  .agg(
    avg("temperature").alias("avg_temp"),
    max("temperature").alias("max_temp"),
    min("temperature").alias("min_temp"),
    stddev("temperature").alias("stddev_temp")
  )

sensor_stats.writeStream \
  .format("delta") \
  .outputMode("complete") \
  .option("checkpointLocation", "/checkpoints/sensor_stats") \
  .start("/delta/sensor_stats")

델타레이크 vs 아이스버그: 데이터 테이블 포맷 비교

데이터 레이크하우스 아키텍처를 위한 테이블 포맷으로 델타레이크와 함께 자주 언급되는 것이 아파치 아이스버그(Apache Iceberg)입니다. 두 기술의 주요 차이점을 비교해보겠습니다:

특성델타레이크아파치 아이스버그
개발 주체데이터브릭스넷플릭스, 애플, 아도비 등
오픈소스 여부오픈소스 (일부 고급 기능은 데이터브릭스 독점)완전한 아파치 프로젝트
메타데이터 저장델타로그 디렉토리매니페스트 파일
주요 사용 환경스파크 최적화다양한 엔진 지원
파티션 진화제한적 지원네이티브 지원
스키마 진화강력한 지원강력한 지원
성능스파크 환경에서 우수다양한 쿼리 엔진에서 일관된 성능
통합 생태계데이터브릭스 플랫폼과 강력 통합다양한 도구와의 호환성 강조

바이라인네트워크

선택 기준으로는 일반적으로 스파크(Spark)를 주로 사용하는 환경이라면 델타레이크가 더 나은 선택일 수 있고, 다양한 쿼리 엔진과 도구를 사용하는 개방형 데이터 스택을 구축한다면 아이스버그가 더 적합할 수 있습니다.

델타레이크의 최신 발전: 델타레이크 3.0

2023년 발표된 델타레이크 3.0은 몇 가지 주요 혁신을 가져왔습니다:

1. Universal Format (UniForm)

UniForm은 델타레이크가 다양한 오픈 테이블 포맷과 호환될 수 있게 해주는 기능입니다. 이를 통해 사용자는 아이스버그나 후디 같은 다른 포맷으로 쉽게 전환할 수 있으며, 여러 컴퓨팅 엔진 간의 상호운용성이 크게 향상됩니다.

2. Liquid Clustering

리퀴드 클러스터링은 데이터 분포에 따라 자동으로 최적의 클러스터링을 유지하는 기능입니다. 기존의 정적 파티셔닝 방식과 달리, 동적이고 적응형 데이터 구성을 제공하여 쿼리 성능을 크게 향상시킵니다.

3. 향상된 쿼리 성능

델타레이크 3.0은 I/O 최적화, 더 효율적인 메타데이터 처리, 고급 인덱싱 기능 등을 통해 쿼리 성능을 크게 개선했습니다.

Copy-- 리퀴드 클러스터링을 적용한 테이블 생성
CREATE TABLE sales_data
CLUSTER BY (region, date)
AS SELECT * FROM source_data;

-- 기존 테이블에 리퀴드 클러스터링 적용
ALTER TABLE sales_data
CLUSTER BY (region, date);

델타레이크 도입 시 고려 사항

델타레이크를 조직에 도입할 때 고려해야 할 몇 가지 중요한 사항들입니다:

1. 기존 데이터 마이그레이션 전략

기존 데이터 레이크나 데이터 웨어하우스에서 델타레이크로 마이그레이션하는 전략을 신중하게 수립해야 합니다. 점진적 마이그레이션과 병행 운영 기간을 고려하는 것이 좋습니다.

Copy# 기존 Parquet 데이터를 Delta로 변환
spark.read.parquet("/path/to/parquet-data") \
  .write \
  .format("delta") \
  .save("/path/to/delta-table")

2. 성능 최적화

델타레이크의 성능을 최대화하기 위한 최적화 전략을 수립해야 합니다:

  • 파일 압축(Compaction): OPTIMIZE 명령을 사용해 작은 파일들을 더 큰 파일로 병합
  • Z-Ordering: 자주 필터링하는 열에 대해 Z-Order 인덱싱 적용
  • 리퀴드 클러스터링: 쿼리 패턴에 맞는 클러스터링 전략 수립
  • 캐싱 전략: 자주 접근하는 데이터에 대한 캐싱 고려
Copy-- 파일 압축 및 Z-Ordering
OPTIMIZE sales_data
ZORDER BY (region, date);

3. 거버넌스 및 보안 전략

델타레이크와 함께 유니티 카탈로그(Unity Catalog)를 활용하여 통합된 거버넌스 및 보안 전략을 수립하는 것이 중요합니다.

Copy-- 유니티 카탈로그와 함께 사용하는 예
CREATE CATALOG finance_catalog;
CREATE SCHEMA finance_catalog.transactions;

-- 테이블 생성 및 권한 설정
CREATE TABLE finance_catalog.transactions.customer_data
AS SELECT * FROM source_data;

GRANT SELECT ON TABLE finance_catalog.transactions.customer_data TO finance_analysts;

결론

델타레이크는 기존 데이터 레이크의 유연성과 확장성을 유지하면서도 데이터 웨어하우스의 신뢰성과 성능을 제공하는 혁신적인 기술입니다. ACID 트랜잭션, 시간 여행, 스키마 진화, 통합 스트리밍 및 배치 처리 등의 기능을 통해 현대 기업의 복잡한 데이터 요구사항을 충족시킬 수 있습니다.

특히 최근 발표된 델타레이크 3.0의 UniForm과 리퀴드 클러스터링 기능은 데이터 레이크하우스 아키텍처를 더욱 강력하고 유연하게 만들어 주고 있습니다. 다양한 산업 분야에서의 활용 사례에서 볼 수 있듯이, 델타레이크는 실시간 분석, 데이터 품질 관리, 규제 준수, IoT 데이터 처리 등 다양한 사용 사례에 적용될 수 있습니다.

데이터 중심 의사결정이 기업 성공의 핵심이 된 현재, 델타레이크는 데이터의 가치를 극대화하고 데이터 인프라를 현대화하는 데 중요한 역할을 할 것입니다. 조직의 데이터 전략을 수립할 때 델타레이크의 도입을 진지하게 고려해볼 가치가 있습니다.

참고 자료

  1. Delta Lake 공식 웹사이트
  2. Microsoft Learn - Delta Lake
  3. Databricks 블로그 - Delta Lake 3.0 발표
  4. Pure Storage - 델타 레이크란?
profile
GarionNachal
AI를 꿈꾸는 BackEnd개발자
다음 포스트

데이터브릭스 유니티 카탈로그의 권한 관리: 완벽 가이드

0개의 댓글