📒 Data Catalog

📌 데이터 카탈로그

• 데이터 자신 메타 정보 중앙 저장소

• 데이터 거버넌스의 첫 걸음

  • 많은 회사에서 데이터 카탈로그를 데이터 거버넌스 툴로 사용하거나 데이터 카탈로그 위에 커스텀 기능을 구현한다.

• 데이터 카탈로그의 중요한 기능

  • (반)자동화된 메타 데이터 수집
  • 데이터 보안, 보통 메타 데이터만 읽어온다.

---

📌 데이터 자산의 종류

• 테이블 (DB)
• DashBoard
• 문서/메세지 (Slack, Jira, Github, ...)
• ML Feature
• 데이터 파이프라인
• User (HR System)

---

📌 데이터 자산의 효율적인 관리 프레임워크

• 다양한 관점에서 데이터를 조직적으로 관리한다.
• Business/Data 용어 vs. Tag
• 데이터 오너 (Business & Technical)
• 표준화된 문서 템플릿

---

📌 데이터 카탈로그 주요 기능

• 주요 데이터 플랫폼 지원
• Business 용어사전 (Business Glossary)
• 주석/문서/태그 등 협업 가능
• 데이터 리니지
• 데이터 모니터링, 감사, 트레이싱
• 강력한 검색 기능 (통합 검색, NLP 검색)
• 데이터 추천 기능
• 데이터 유저 퍼소나 (ex: 마케팅 분석가)

---

📌 데이터 카탈로그 기능 - 주요 데이터 플랫폼 지원

• Data Warehouse & Data Lakes : Redshift, Snowflake, BigQuery
• BI Tools : Looker, Tableau, Redash, Power BI, Mode, Superset
• ELT : DBT, Spark, Hive, PrestoDB
• ETL Orchestration : Airflow
• NoSQL & others : Cassandra, Druid, Elastic Search, Kafka Schema Registry, CSV
• Users : Azure AD, LDAP, ...

---

📌 DBT : Template화된 SQL

• DBT Code = SQL + Jinja template = Template화된 SQL

  • 개발자가 작성한 DBT code를 타겟 시스템에 맞는 SQL로 바꾸어 실행해준다.

• 모델부터 작성하는데 이는 하나의 SELECT 문이라고 보면 좋다.

  • A model == A SELECT statement

• 여기에 다양한 검증 방법을 추가할 수 있다.

  • Generic tests
  • One-off tests

• 테이블의 스냅샷을 추가할 수 있다.

---

📌 데이터 거버넌스 관점에서 데이터 카탈로그의 중요성

• 우리가 갖고 있는 데이터 자산에 대한 통합 뷰를 제공한다.

• 생산성 증대 : 설문이나 데이터 타겟의 감소로 확인가능하다.

• 위험 감소 : 잘못된 결정과 개인정보등의 전파 방지

• 인프라 비용 감소 : 불필요한 정보의 생성 방지와 안 쓰이는 데이터셋을 삭제할 수 있다.

• 데이터 타겟 감소

• 데이터 변경으로 인한 이슈 감소

  • 컬럼 레벨 리니지와 CI/CD 프로세스 연동

---

📌 데이터 카탈로그 이후 다음 Step

• 자동화된 데이터 거버넌스 관련 워크플로우를 추가

• 품질 관련 경보 시스템 구현

  • 중요 Metadata 변경이나 데이터 품질 이슈 발생시 경보
  • 내가 관심있는 데이터 자산의 오너 변경시 경보 (ex: 매출 정의 변경)

• 데이터 관련 지표 리뷰 미팅 운영

---