ELT 구현을 대그로 만들어본다.
후반에 dbt로 바꿔볼 예정.
Slack연동해서 특정 채널로 에러메세지 내보내는 방법. - 앱 설정 방법 후 데모
구글 시트와 연동 -> 레드쉬프트 테이블로 적재
레드쉬프트 쿼리 결과를 -> 구글 시트 탭으로 복사
구글클라우드 세팅, API 활성화, 호출하기위한 서비스 어카운트 생성. 데모 수행
에어플로우를 API를 열어놓고, 외부에서 제어방법.
최종적으로 숙제.
airflow ignore도 부가적으로 설명
깃허브에 이렇게 대그만 올리고 yml 파일 있으면 되는 거 같음.
yml을 수정해본다
:- 만약에 이 환경변수가 존재하면 읽어다가 세팅을 하고, HOST OS에 세팅이 안되어 있으면 - 뒤의 값을 써라. 일종의 if문 같은거.
대그가 처리하기 위한 임시파일을 생성할텐데, 그 폴더를 만들어본다
AIRFLOW_VAR_DATA_DIR: /opt/airflow/data
디버깅할 때 쉽게 체크할 수 있도록 한다.
반갑습니다 햄스터 좋아합니다