데이터 카탈로그

데이터 카탈로그

• 데이터 자산 메타 정보 중앙 저장소
• 데이터 거버넌스의 첫 걸음
  • 많은 회사에서 데이터 카탈로그를 데이터 거버넌스 툴로 사용하거나 데이터 카탈로그 위에 커스텀 기능을 구현
• 데이터 카탈로그의 중요한 기능
  • (반)자동화된 메타 데이터 수집!
  • 데이터 보안! 보통 메타 데이터만 읽어옴

데이터 자산의 종류

• 테이블 (데이터베이스)
• 대시보드
• 문서/메세지 (슬랙, JIRA, Github, …)
• ML 피쳐
• 데이터 파이프라인
• 사용자 (HR 시스템)

데이터 카탈로그 : 데이터 자산의 효율적인 관리 프레임워크

• 다양한 관점에서 데이터를 조직적으로 관리
• 비지니스/데이터 용어 vs. 태그
• 데이터 오너 (Business & Technical)
• 표준화된 문서 템플릿

일반적인 데이터 카탈로그 아키텍처

데이터 카탈로그 주요 기능

• 주요 데이터 플랫폼 지원
• 비지니스 용어집 (Business Glossary)
• 주석/문서/태그 등 협업 기능
• 데이터 리니지
• 데이터 모니터링, 감사, 트레이싱
• 강력한 검색 기능 (통합 검색, NLP 검색)
• 데이터 추천 기능
• 데이터 유저 퍼소나 (예: 마케팅 분석가)

주요 데이터 플랫폼 지원

• Data Warehouses & Data Lakes: Redshift, Snowflake, BigQuery
• BI Tools: Looker, Tableau, Redash, Power BI, Mode, Superset
• ELT: DBT, Spark, Hive, PrestoDB
• ETL Orchestration: Airflow
• NoSQL and others
  • Cassandra, Druid, Elastic Search, Kafka Schema Registry, CSV
• Users: Azure AD, LDAP, …

비지니스 용어집 (Business Glossary)

• 권한이 있는 사람만 용어 정의가 가능
• 계층구조로 관리할 수 있다면 더 유용
  • DataHub의 경우 terms와 terms group 존재

비지니스 용어와 Entity 연결

• 나중에 다른 entity등과 연결 가능

협업 - 문서화 표준 제공

데이터 리니지

• Dataset-to-dataset
  • 보통 SQL 파싱으로 일어남
• Pipeline
  • 입력 데이터셋 -> Data Pipeline -> 출력 데이터셋
  • Airflow에 lineage backend라는 것이 존재
• Dashboard-to-chart
  • 하나의 차트가 여러 대시보드에 소속가능하기에 필요한 리니지
• Chart-to-dataset
• Job-to-dataflow
  • DBT에 특별한 리니지

데이터 거버넌스 관점에서 데이터 카탈로그의 중요성

• 우리가 갖고 있는 데이터 자산에 대한 통합 뷰를 제공
• 생산성 증대: 설문이나 데이터 티켓의 감소로 확인
• 위험 감소: 잘못된 결정과 개인정보등의 전파 방지
• 인프라 비용 감소: 불필요한 정보의 생성 방지와 안 쓰이는 데이터셋 삭제
• 데이터 티켓 감소
• 데이터 변경으로 인한 이슈 감소
  • 컬럼 레벨 리니지와 CI/CD 프로세스 연동

데이터 카탈로그 제품 서베이

데이터 카탈로그 트렌드

데이터 카탈로그 툴

• 상용제품
  • Alation, Collibra
  • Atlan, Select Star, Great Expectations
• 오픈소스
  • Amundsen (Lyft), DataHub (LinkedIn)
  • AcrylData (DataHub를 상용화)
• 클라우드 서비스
  • AWS Glue Data Catalog
  • Google Cloud Data Catalog
  • Microsoft Azure Data Catalog (Purview Data Catalog로 통합 중)
• 자체 툴
  • DataBook (Uber)
  • DataPortal (Airbnb)