DW란?
데이터 웨어하우스(DW)란 사용자의 의사 결정에 도움을 주기 위해 기간 시스템의 데이터베이스에 축적된 데이터를 공통의 형식으로 변환해서 관리하는 데이터 베이스
- 정보 + 창고가 결합된 의미로, 의사 결정에 도움을 주기 위해 분석 가능한 형태로 변환된 데이터들이 저장된 중앙 저장소이다. → 의사 결정에 필요한 데이터가 들어 있는 데이터베이스라 할 수 있다.
- 트랜잭션 시스템, RDB 및 기타 소스의 데이터들이 DW에 들어간다.
즉, 어플리케이션이나 운영 시스템 내부에서 raw data들을 모아 둔 뒤 이들 중 분석할 수 있는 데이터들을 DW에 창고에 쌓듯이 쌓아둔 다음, 해당 데이터들 중 필요한 데이터들에 대해 BI 혹은 SQL을 이용해 엑세스 하는 것이다.
DW가 필요한 이유
어떤 결제 시스템이 있다고 해보자.
→ 결제 관리 시스템, 재고 관리 시스템, 주문 관리 시스템, 회원 관리 시스템 등의 여러 시스템이 있을 수 있다.
이 때, 6개월 동안 회원들이 어떤 품목을 얼마나 주문했는 지를 확인 하려면
where 조건에 기간을 두어 모두 select 해야 하기 때문에 부하가 발생하게 된다.
SQL은 작은 규모의 데이터를 조회/삽입/삭제/수정 하는 목적을 가지고 있기 때문에 위의 예와 같이 '기간'을 기준으로 조회 하는 데 적절하지 않다.
이러한 한계점을 극복하기 위해 대규모 데이터의 분석 작업을 처리하는 데는 '데이터 웨어하우스(DW)'가 필요하게 된 것이다.
DW를 통해 얻을 수 있는 것
- 정보에 기반한 의사 결정
- 여러 소스로부터 데이터 통합
- 데이터의 일관적이며 정확한 높은 품질
- 인텔리전스 기록
- 분석 처리 프로세스와 트랜잭션 데이터베이스의 성능 향상
Data Warehouse vs Data Lake
| DW | DL | |
|---|---|---|
| 데이터 | 정형화, 처리 완료됨 | 정형/비정형/raw 데이터 |
| 처리방법 | 변환되어 저장 | 읽으면서 필요에 따라 변환 |
| 저장 공간 | 많은 사용자를 위한 성능 위주 구성 | 저렴한 비용으로 구성 |
| 민첩성 | 고정된 구성으로 민첩성 떨어짐 | 민첩성 우선으로, 필요에 따라 재구성이 용이 |
| 보안 | 성숙됨 | 발전중 |
| 주요 사용자 | 비지니스 전문가 | 데이터 사이언티스트 |
그러면 데이터 마트(DM)는 무엇인가???
- 특정 팀 또는 사업 단위의 요구를 충족시키는 데 사용됨
- 규모가 더 작고 집중적이어서 사용자 커뮤니티에 가장 잘 맞는 데이터의 요약본이라 할 수 있다.
관계 정리
Data Lake > Data Warehouse > Data Mart
- 오른쪽으로 갈수록 더 세분화되며, 사용자에게 전달할 분류되고 정제된 데이터가 포함된다.
참고
