데이터 마트를 통한 응답시간 감소
- 초 단위 데이터를 집계하려면, 이를 예상한 시스템 필요
- 대용량의 원본 데이터에 집계 요청을 보내면, 수분~수시간이 소요되는 문제가 발생
- -> 데이터레이크에서 원하는 데이터를 미리 추출하여 데이터 마트를 구축,
- 데이터 마트에서는 초 단위의 응답을 얻을 수 있도록 함
- 데이터 집계하여 데이터 마트에 적재하는데 수분~수시간 소요, 크로스 집계 및 시각화에는 수초 소요
- 데이터 레이크 --(데이터 집계. 수분~수 시간)--> 데이터 마트 ---(크로스 집계, 수초)--> 시각화
지연시간 (latency) 줄이기
응답시간을 줄이기 위해, 데이터 마트는 지연이 적은 데이터베이스 필요
- 모든 데이터를 메모리에 올린다 -> 수 GB 등 데이터가 적을 때에만 가능
- RDB를 데이터 마트로 채용 가능
- RDB는 메모리가 부족하면 급격히 성능이 저하
MPP (massive parallel processing, 대규모 병렬 처리)
- 데이터를 작게 압축, 여러 디스크에 분산 -> 로드에 따른 지연 감소
- 데이터 집계에 최적화된 아키텍처
reference
