슬랙 api에 들어가 your apps 들어가서 create app 선택
스크래치 선택
인커밍 웹훅을 온으로 설정
만든 앱을 통해 채널의 메세지를 보내고싶은 이러한 형태로 HTTP요구를 해라 라고 보임.
slack.py에 코드는 미리 만들어 놓았음.
정상적으로 연동이 되는 것을 확인함.
이번엔 에어플로우 웹 UI로 이동
Variable로 들어가서
세팅해준다
저장 잘 됨.
우리는 RDS 연결이 되어 있는 대그가 있기 때문에 사용해본다.
컨테이너 접속 방법
docker exec -it ID sh
airflow dags list | grep v4
airflow tasks list name_gender_v4
보면 태스크 목록이 나돈다.
airflow dags test name_gender_v4 2023-04-30
엑시큐션 데이트는 미래만 아니면 됨.
기존 코드라 정상적으로 잘 될 것임.
v4 파일에 버그를 만들어본다.
호스트 시스템 쪽의 dags 폴더의 dag.py로 들어가서 코드를 에딧한다
예를들어 INSERT할때 오타를 냄.
from pugins import slack 해줌
그리고 default_args에 넘겨줌.
호스트 쪽에 파일이 수정됨.
다시 도커 컨테이너로 돌아와 호스트 볼륨의 장점. 양쪽을 연결이 되었기에 실제 실행은 컨테이너에서 실행 가능.
한번 주었던 날짜가 성공이면 다시똑같은 날짜를 주면 성공했다고 처리하고 스킵해버림. 이에 다른 날짜를 주어야 함.
슬랙 화면으로 돌아와서
에러 메세지가 잘 뜬 것을 확인.
해당 대그 코드로 돌아와.
사실 에러가 난건
except로 raise 처리했기 때문. 깔끔하게 복구를 못한다면 raise를 시켜서 데이터 엔지니어들이 뭔가 이슈가 있다는걸 알게 해야함.
