간단한 ETL 작성

에어플로에서는 dag라고 부름
a. DAG (Directed Acyclic Graph)
단어 뜻 그대로 순환하지 않는 그래프, DAG(대그)라고 부름
반복이나 순환을 허용하지 않음
순차적으로 작업(task)이 이루어지며, 순환 실행을 방지하기 때문에 매우 중요함
→ 논리적 오류는 교착상태(deadlock)로 이어짐

extract
transform (너무 크면 spark같은 빅데이터 프레임워크를 쓰기도 함)
load

묶어서 하나의 task가 되기도,
각각이 하나의 task가 되기도 함.

웹상에 존재하는 이름 성별 csv파일을 redshift에 있는 테이블로 복사하는데,
name열을 pirmary key로 지정할 것임.
하지만 데이터 웨어하우스에서는 primary key 로 지정한다고 해서 uniqeness가 지켜지는 것이 아님.
따라서 그것을 데이터 엔지니어가 책임져야 함.

파이썬으로 extract, transform, load 함수를 구성할 것