[aws/ETL] EP.0) 클라우드 ETL

- 클라우드 환경에서의 ETL

내용이 어렵고 와닿지 않으실 수 있습니다.
요약하자면 이렇습니다.
DB는 24시 존재하고, 어떠한 애플리케이션(서비스)에도 존재합니다
이제 분석이 필요합니다
하지만 DB에 접근해서 분석하지 않습니다.
음식의 맛, 성분 분석을 식당에서 하지 않고, 포장해와서 집에서 분석한다고 생각하시면 됩니다(먹방 리뷰 유튜버처럼 ㅎㅎ)

저장되는 DB뿐만이 아니라 데이터가 발생할 수 있는 모든 곳에서 스토리지로 데이터를
우겨넣습니다!!(실시간으로 야금야금이든.. 일괄로 뭉태기로 넣든!)
초기 구축 시에는 일괄로 넣어야 하니 아래의 방법중 2번으로 처음에 넣어도 좋겠네요.

Source - ETL툴 - Destination(A-B-C)구조입니다.
B가 A에서 C로 갖다놓는데, 상황이 많기에 상황에 따른 적절한 전략을 짜야합니다.
전략이라면 데이터 유실없이 최적의 비용으로 유지보수가 쉬워야겠죠?????(젤 어려운말..)
운영계 DB에서 DW,DL 같은 스토리지 환경으로 가져갈 때 전략
1. Serverless(AWS Lambda) : 변화에 대한 초단위 배치
2. 인스턴스 스냅샷 : 이건 1회성
3. CDC(Change Data Capture): 변화 데이터에 대해서 read 하고, 목적지에 write(put)

AWS DMS(Database Migration Service)
Source와 Destintation 사이에 인터페이스 호환성이 뛰어납니다
Source가 어떤 스택이든.. Destination이 어떤 스택이든..