AWS TechCamp 2일차 2번째 웨비나 채정희님의 강의를 정리한 글입니다.
1. 데이터 레이크의 기본 구조
기본적으로 계층적이다.
- 데이터 수집: OLTP, ERP, CRM, LOB 시스템으로부터 데이터 통합
- 데이터 관리: 중앙 Catalog를 통한 메타데이터 관리
- 데이터 처리: DW Queries, Big Data Processing, Interactive Analytics 지원
- 데이터 활용: Business Intelligence와 Machine Learning 애플리케이션 구동
OLTP란?
실시간으로 데이터를 처리하는 시스템. 예를 들어 은행의 ATM 거래나 온라인 쇼핑몰의 주문 처리와 같이 즉각적인 처리가 필요한 업무를 담당. 데이터베이스에 대한 수많은 읽기/쓰기 작업을 빠르고 안정적으로 처리하는 것이 특징이다.
ERP (Enterprise Resource Planning)란?
- 기업의 모든 자원을 통합적으로 관리하고 계획하는 시스템.
재무, 구매, 생산, 물류 등 기업의 전반적인 업무 프로세스를 하나의 시스템으로 통합하여 관리. 예를 들어, 직원이 물품을 구매하면 자동으로 재고가 조정되고 회계 시스템에도 반영되는 식.
CRM (Customer Relationship Management)이란?
- 고객 관계 관리 시스템 = 고객 구매 이력, 문의 내역, 선호도 등 분석 후 맞춤형 서비스 제공.
LOB (Line of Business)이란?
- 기업의 핵심 비즈니스 운영의 지원을 위한 시스템.
각 산업이나 업종에 특화된 업무 처리를 위한 시스템을 의미. 예를 들어 보험사의 보험 계약 관리 시스템이나 병원의 전자의무기록(EMR) 시스템.
2. Lake House 아키텍처
Lake House = Data Lake + Data Warehouse 각각의 장점을 결합한 현대적 아키텍처.
핵심 구성요소
- Amazon S3: 중앙 데이터 저장소 역할
- Amazon Redshift: 엔터프라이즈급 데이터 웨어하우징
- Query S3 및 Data Lake Export 기능을 통한 유연한 데이터 접근
- BI/분석 앱 및 ML 서비스와의 원활한 통합
3. Data Mesh 아키텍처
기본 개념
Data Mesh는 분산된 데이터 소유권과 중앙화된 거버넌스를 결합한 현대적 데이터 아키텍처다.
주요 구성요소
- Producer Domain: 데이터 생산과 관리 담당
- Amazon S3 기반 스토리지
- Redshift data share 기능
- Consumer Domain: 데이터 활용 주체
- 다양한 분석 도구 활용 (Redshift, EMR, Athena)
- BI reports, Notebook 등 결과물 생성
- Federated Governance: 중앙화된 거버넌스
- 통합된 정책 관리
- 연합된 접근 제어
- 조직 전반의 데이터 공유
4. AWS의 데이터 분석 서비스 포트폴리오
데이터 수집
- Database Migration Service: 데이터베이스 마이그레이션
- Snowball/Snowmobile: 대용량 데이터 이동
- Kinesis Data Streams/Firehose: 실시간 데이터 수집
- Managed Streaming for Apache Kafka: 관리형 스트리밍 서비스(Kafka)
데이터 저장 및 관리
- S3/Glacier: 확장 가능한 객체 스토리지
- Lake Formation: 데이터 레이크 구축 및 관리
- AWS Glue: 데이터 카탈로그 및 ETL
분석 서비스
- Redshift: 엔터프라이즈 데이터 웨어하우스
- EMR: 빅데이터 처리 플랫폼
- Athena: 서버리스 SQL 쿼리
- OpenSearch Service: 로그 분석 및 검색
- Kinesis Data Analytics: 실시간 분석
시각화 및 ML
- QuickSight: BI 및 데이터 시각화
- Data Exchange: 데이터 구독 서비스
- SageMaker: 머신러닝 개발 및 배포
- Comprehend/Lex/Polly/Rekognition/Translate: AI 서비스
실습 링크
https://catalog.us-east-1.prod.workshops.aws/workshops/7b4422ab-295d-4b98-9b8f-4c6c3e6bcac7/ko-KR
AWS Glue, EMR 등 처음 써보는 다양한 AWS 데이터 분석 도구를 실습해볼 수 있다.
오늘도 화이팅👏