중요한 DAG 파라미터 VS Task 파라미터

max active runs

백필할떄 중요.
만약 이전 데이터에 문제가 생겨서 1년치의 데이터를 백필해야된다
근데 만약 이게 1로 설정되어있다면 한번에 1개의 dag만 돌아가서
매우 오래걸림
but 한번에 30개로 해놓으면 훨씬 금방됨

max active tasks

~~~ >> ~~~ >> ~~~>>
이런식으로 되어있으면 어차피 하나 실행되고 다음 태스크 실행되고 하니까 상관없음
근데 만약 동시에 실행되는 태스크가 있다면 설정해 주는 파라미터

full refresh vs incremental update

full refresh : 백필 상관없음. 왜냐하면 할때마다 다 다시불러오기 때문
incremental update : 반대

---

catch up 참고
https://magpienote.tistory.com/236

---

autocommit 참고
https://velog.io/@seovalue/autocommit%EC%9D%B4-%EB%8F%84%EB%8C%80%EC%B2%B4-%EB%AD%94%EB%8D%B0

---

비긴 ~ 커밋 사이에 에러가 발생하면 try except 구문이므로 except로 가서 에러를 출력한 뒤, 롤백 (비긴 전 상태) 해주는 코드 = 데이터 정합성 보장

https://stricky.tistory.com/133