5. airflow-day4-5

학습주제
backfill 숙제
학습내용

크론 표현식 * * * * *
순서대로

• 매 X 분마다 (1시간 단위)
• 매 OO시 마다 (1일 단위)
• 매 OO일 마다 (1달 단위)
• 매 O월 마다 (1년 단위)
• 0~6 매주 X요일 마다 (0은 일요일, 1주 단위)

최소 1시간 단위인 것을 생각.

SELECT \*, ROW_NUMBER() OVER (PARTITION BY date ORDER BY created_date DECS) seq

임시 테이블 생성.
본 테이블에서 임시 테이블로 INSERT INTO
임시테이블로 새로운 데이터 저장.
중복 값 정제
본 테이블 DELETE 하여 레코드 삭제
본 테이블에 임시테이블 값 적재

작성을 했는데 에어플로우에서 새로운 대그를 인식을 왜 못하나 봤더니, 에어플로우는 파일 명으로 인식하는게 아니라, 대그 ID인식함. 중복 이슈 발생함.

그럼 전에는 기존에 있던 대그의 ID에 두개의 파일이 가리키고 있던 상황이었음.

• 그래도 오류를 안냄 -> 나중에 위험할 듯 하다.

현재는 대그 ID를 변경해서 적용

처음 실패 이유는 UI connections 등록이 되어 있지 않았음.
-> 그런데도 웹 UI는 걸러내지 못했음.