E / T / L 각각 의미하는 바
- E(Extract, 추출)
원본 데이터베이스나 데이터 소스에서 데이터를 가져오는 것.
ETL에서 데이터는 임시 공간으로 간다.
ELT에서는 바로 데이터레이크 시스템으로 간다.
- T(Transform, 변환)
정보의 구조를 변경하는 과정이며,
타겟 데이터 시스템과 시스템 내에 있는 나머지 데이터를 통합한다.
- L(Load, 적재)
정보를 데이터 스토리지 시스템에 넣는 과정
ETL / ELT 이 필요한 이유
데이터를 분석 가능한 데이터로 통합하기 전에 raw data를 정리하고, 많은 정보를 담을 수 있도록 변환해야 한다.
ETL vs ELT
| ETL | ELT | |
|---|---|---|
| 처리 프로세스 | 데이터 추출[E] -> 변환[T] -> 적재[L] | 데이터 추출[E] -> 적재[L] -> 변환[T] |
| 데이터 스테이징 | 소스와 데이터 웨어하우스 사이 | 데이터 스테이징 불필요 |
| 보안 | 개인정보 보호 가능 (데이터 웨어하우스 로드 전 처리가능) | 해싱된 테이터는 개인정보 활용 동의 파기 시 처리 곤란 |
| 데이터 사이즈 vs 변환의 복잡도 | 변환이 복잡한 비교적 적은 양의 데이터셋 | 정형 또는 비정형의 방대한 데이터셋에 유리 |
| 비용 | 비교적 많은 비용이 청구될 수 있다 | 큰 비용을 들이지 않고 데이터 로드, 저장. 초기 비용을 절약할 수 있다 |
출처 |
학습기록