데이터 아키텍처란

• IT 인프라가 데이터 전략을 지원하는 방법을 설계하고 구성한 시스템적 구조
• 회사의 인프라에서 데이터가 어떻게 수집, 전송, 저장, 쿼리, 보호되는지 보여주는 것
  

1-Tier, 2-Tier, 3-Tier 아키텍처 비교

현대 클라우드 환경에서 3-Tier 구조의 변형

3-Tier 아키텍처는 클라우드 시대에 서버리스, 마이크로서비스, 매니지드 데이터베이스

Modern Data Warehouse (현대적 데이터 웨어하우스)

• 다양한 소스 → HDFS 저장 → Hadoop/Hive 처리 → 데이터 웨어하우스 → 데이터 마트/리포트/애플리케이션으로 활용
  

HDFS (Hadoop Distributed File System)

데이터 소스 유형

데이터 특성에 따라 3가지로 구분

스냅샷 데이터

• 매일, 매주 등 정해진 주기마다 "현재 데이터 상태"를 복사해서 저장하는 것.
• 변경 추적(Change Tracking)이나 데이터 백업, 대규모 분석을 위해 사용
• 대량 데이터도 빠르게 이동병렬 처리 가능 (멀티 스레드 기반)
• SQL과 Hadoop 세계를 연결하는 가교 역할

스트림 데이터

Stream Data 흐름과 이를 처리하는 Fluentd 구조

실시간 데이터

• 다양한 실시간 데이터 → 이벤트 스트리밍 → 실시간/배치 분석 → 결과 데이터 저장 및 서비스
  

데이터 아키텍처 – 워크로드 유형

• 대용량 데이터의 배치 처리
• 대용량 데이터의 실시간 처리
• 대화형 탐험 및 분석 처리
• 기계학습 혹은 예측 모델링

람다(λ) 아키텍처 (Lambda Architecture)

대규모 데이터 처리를 위해 배치 처리와 실시간 처리를 동시에 결합한 데이터 처리

카파(κ) 아키텍처 (Kappa Architecture)

• 람다 아키텍처의 복잡성 문제를 해결하기 위해 제안된,단일 스트림 처리 기반의 데이터 처리
  아키텍처
• 카파 아키텍처는 모든 데이터를 스트림으로 간주, 실시간성과 재처리를 모두 단일 스트림 처리 파이프라인으로 해결하는 아키텍처임

람다(λ)(Lambda) 아키텍처 vs 카파(κ)(Kappa) 아키텍처 비교

데이터 아키텍처 변화

• 사물인터넷(IoT) 데이터 아키텍처 - 카파 아키텍처 with IoT
• IoT(Internet of Things) 데이터 흐름 아키텍처 (디바이스 → 클라우드 → 분석 및 응용
  

제타(ζ) 아키텍처 (Zeta Architecture)

기존의 람다 아키텍처와 카파 아키텍처의 단점을 극복,"대규모 실시간 데이터 처리 + 실시간 분석 + 유연한 배포"를 모두 동시에 만족시키기 위해 설계된 최신 통합

대규모 데이터 환경에서 실시간성과 배치처리를 단일 플랫폼으로 통합하고,
컨테이너 기반 유연성과 고가용성을 지원하는 현대형 데이터 아키텍처

사용처-

▪ 초대형 광고 플랫폼대형
▪ 커머스 데이터 분석 시스템
▪ 글로벌 스트리밍 서비스 등에서 사용
▪ 대표적인 회사 예시:
LinkedIn, Uber,
Netflix 일부 시스템

데이터 메시 아키텍처 (Data Mesh Architecture)

대표적인 클라우드 기반 데이터 분석 플랫폼