Data Engineering

Wikipidia 발

Data Engineering은
데이터를 수집하고 사용할 수 있도록 시스템을 구축하는 것

이 데이터는 일반적으로 후속 분석 및 데이터 과학을 가능하게 하는데 사용된다.

• 수집

  • 다양한 서비스에서 생성된 데이터를 모으는 것
  • 데이터 파이프라인
  • Batch 또는 Streaming

• 시스템 구축

  • 파이프라인을 어떻게 구성할 것인가?
  • 적절한 기술의 선택, 의사 결정
  • 배치 처리, 스트리밍 처리

• 분석, 데이터 과학

  • 쿼리 분석, 분석 시스템
  • 시각화, 대시보드
  • Feature Engineering

• 데이터 처리

  • 모델을 통한 데이터 처리
  • 생성일자, 업데이트 일자 등등의 Timestamp처리

하는 일

• 데이터 파이프라인 설계, 구축, 운영
• 인프라 관리
• 데이터 가공
• 데이터 웨어하우스 구축, 운영
• 데이터 연동
• ETL/ELT 처리
• 데이터 분석가 및 ML 업무 지원
• 장애 대응 모니터링, 알림

나의 생각은,
Data를 활용하는 작업을 위한 인프라, 파이프라인 관리
+
시스템 인프라 엔지니어의 역할도 점차 확장되고 있음을 느낌.
(Docker, K8S, DevOps[아마 MLOps로의 확장] 등등...)