📒 End-to-End 데이터 파이프라인

📌 전체적인 방향

• Small Data -> Big Data

  • Panddas -> Spark
  • Data Warehouse -> Data Lake
  • ETL -> ELT

• 배치 처리 -> 실시간 처리(Kafka)

• 의사 결정 -> 제품/서비스 품질 개선

• 서비스별 전용 서버 -> K8s 등의 컨테이너 기술 사용 -> 모든 Service가 Docker로 되어야 한다.

• 데이터 품질과 개인정보 보호

• DBT -> DA가 많이 사용함
  
  

---

📌 Socar

• Socar Data Group - Airflow와 함께한 데이터 환경 구축기

---

📌 Cupang

• 데이터 플랫폼 2022 : 페타바이트 규모의 글로벌 확장

• 데이터 플랫폼 2022 : 데이터를 비즈니스 인사이트로 전환하기

• 쿠팡이츠 데이터 플랫폼 : 데이터 기반의 비즈니스 전략 및 성장 : 설정 기반의 파이프라인으로 데이터 수집, 처리 및 활용하기

• 쿠팡 SCM 워크플로우 : 효율적이고 확장 가능한 low-code, no-code 플랫폼 개발

---

📌 버킷플레이스(오늘의 집)

• 버킷플레이스 Airflow 도입기

• 데이터 엔지니어의 좌충우돌 검색 개발기

• 광고 정산 시스템에 Kafka Streams 도입하기

• 오늘의 집 A/B 테스트 플랫폼 구축기

---

📌 프로젝트 아이디어

• 어떤 데이터를 대상으로할 것인가?
  -> Kaggle 등등 참고

• 어디서 그 데이터를 추출할 수 있을까?

• 그 데이터로 무엇을 해볼 수 있을까?

• 데이터

  • 주식 데이터
  • 주택 가격 데이터
  • 날씨 데이터
  • 공공 데이터 https://www.data.go.kr/

---

📌 End-to-End 데이터 파이프라인의 주요 구성 요소

1. 데이터 수집 (Data Ingestion)

정의: 다양한 소스(예: 데이터베이스, API, 웹, 센서 등)에서 데이터를 수집하는 과정입니다.
예시 도구: Apache Nifi, Apache Kafka, AWS Kinesis.
활동: 로그 파일 수집, API 호출, 웹 스크래핑 등을 통해 데이터를 가져옵니다.

2. 데이터 저장 (Data Storage)

정의: 수집된 데이터를 저장하여 이후 처리 및 분석에 사용할 수 있도록 준비하는 과정입니다.
예시 도구: 관계형 데이터베이스(SQL), NoSQL 데이터베이스(MongoDB, Cassandra), 데이터 레이크(HDFS, AWS S3).
활동: 데이터베이스에 적재, 데이터 레이크에 저장.

3. 데이터 처리 및 변환 (Data Processing & Transformation)

정의: 원시 데이터를 분석 가능한 형태로 변환하는 과정입니다.
예시 도구: Apache Spark, Apache Beam, AWS Glue.
활동: 데이터 클렌징, 결측치 처리, 데이터 통합 및 변환, ETL(Extract, Transform, Load) 작업 수행.

4. 데이터 분석 및 모델링 (Data Analysis & Modeling)

정의: 데이터를 분석하여 인사이트를 도출하고, 예측 모델을 개발하는 과정입니다.
예시 도구: Python (pandas, scikit-learn, TensorFlow, PyTorch), R.
활동: 탐색적 데이터 분석(EDA), 통계 분석, 머신러닝 모델 개발 및 평가.

5. 데이터 시각화 및 리포팅 (Data Visualization & Reporting)

정의: 분석 결과를 시각화하여 이해하기 쉽게 표현하는 과정입니다.
예시 도구: Tableau, Power BI, matplotlib, seaborn.
활동: 대시보드 생성, 리포트 작성, 데이터 시각화.

6. 모델 배포 및 운영 (Model Deployment & Operations)

정의: 개발된 모델을 실제 환경에 배포하여 운영하는 과정입니다.
예시 도구: Flask, FastAPI, Docker, Kubernetes, AWS SageMaker.
활동: 모델을 API로 배포, 지속적인 모니터링 및 유지보수.

7. 데이터 파이프라인 자동화 (Automation)

정의: 데이터 파이프라인의 모든 단계를 자동화하여 효율성을 높이는 과정입니다.
예시 도구: Apache Airflow, Luigi, Prefect.
활동: 작업 스케줄링, 파이프라인 모니터링 및 관리.