회고

왜 시작했는가? 거창한 제목을 가지고 있지만 시작은 거창한 문제를 해결하기 위해 시작한 건 아니였다. 당시 우리 환경에서 Airflow 운영시 가장 귀찮은 문제 중 하나는 Stuck DAG 였다. (당시는 그냥 Zombie Pod 정도로 인식했던 것 같다) 실패한 task는 그래도 알기 쉽다. Slack 알람이 오고, 중요한 DAG의 경우 On-call ...

1. 왜 시작했는가 당시 운영 DB 데이터를 분석계로 가져오는 작업은 대부분 배치로 운영되고 있었다. 하루 두 번 실행되는 작업도 있었고, 한 시간 단위로 실행되는 작업도 있었다. 이 정도 주기에서는 기존 구조로도 큰 문제가 없었다. 하지만 시간이 지나면서 기존 배치 주기로는 데이터 신선도 요구를 맞추기 어려운 경우가 늘어났다. 일부 데이터는 10분 단위...