사이드 프로젝트에서 데이터 ERD 설계 중 layer에 대해 한 번 정리해보면 좋을 것 같아 정리해보았다-
Layer란?
→ 해당 테이블이 데이터 파이프라인에서 어떤 역할(단계)에 속하는지를 나타내는 구분값
Layer 사용 목적
-
테이블 역할 한눈에 파악
-
가공 단계 혼동 방지
-
협업/유지보수 용이
-
배치·권한·의존성 관리에 유리
Layer 유형
1. RAW (원천 데이터)
- 외부/입력 데이터 그대로 적재
- 가공 X, 원본 보존 목적
- 중복/NULL 허용
2. DIM (기준 정보)
- 분석에 사용하는 기준/정책 정보
- 코드·명칭·매핑 담당
- 값 안정적, 중복 없음
3. FACT (사건 데이터)
- 실제 발생한 이벤트 기록
- FK 위주 + 수치 데이터 포함
- 데이터 양 많음
4. MART (결과 데이터)
- 분석·대시보드 바로 사용
- 집계 완료된 결과
- 조인 최소화
