📌 현재
telegraf
+influxDB
+grafana
의 조합으로 Airflow 메트릭을 모니터링하고 있습니다. 위 환경에서 이상 메트릭 감지 시, slack으로 alert을 보내기 위한 rule 정의 방법을 공유합니다.
token
혹은 Webhook URL
로 채널을 지정할 수 있습니다.Text Body
에 템플릿 name을 {{ template "airlfow_template" .}}
과 같은 형태로 명시합니다.label
과 value
를 rule 생성 시, 추가합니다.Contact point
에서 지정합니다.Rule name
, Rule type
을 지정해줍니다. folder
의 경우 지정하지 않을 시 rule 생성이 불가한데 General folder가 리스트에 보이지 않아서 새로운 폴더를 생성해서 지정했습니다.A section
B section
C section
Run queries
Condition
에 alert을 위한 대상을 지정합니다.
Evaluate
은 alert의 기준 시간을 설정합니다. 1분 간격으로 측정하며 위에서 설정한 기준이 2분 동안 유지될 시, alert을 보냅니다.
Summary and annotations
에서 슬랙에 보낼 메세지를 지정할 수 있습니다.Custom Labels
에 위 Notification policies에서 생성한 policy를 추가합니다.