Slack과 연동해보자

https://argo-cd.readthedocs.io/en/stable/operator-manual/notifications/services/slack/

도입 이유

degraded 상태 pod를 계속해서 생성하는 상황을 발견했다.
rancher에 들어가서 log를 분석해보니, disk pressure가 이유였다.

1. Django BE에서 sentence-transformer dependency가 들어가면 ECR 이미지 크기가 6GB를 넘어간다..! node의 용량을 훌쩍 뛰어넘는 크기라 disk pressure가 발생한 것이다. (rancher 덕분에 빠르게 문제를 찾을 수 있었다.)
2. ephemeral storage가 생성될 때 ec2(node)에서 사용하고 있는 인스턴스 용량을 넘어가서 거의 4번에 1번씩 degraded상태가 발생한다. (kubectl 명령어로 /bin/sh 확인)
   실제 용량은 충분히 저장할 수 있지만, 자체적으로 limit이 걸려있어서 한계 용량에 가까워지면 degraded 상태가 된다. 인스턴스를 업그레이드할 필요를 느낀다.

위와 같은 상황이 발생했을 때 직접 argocd에 들어가서 확인해야한다.
따라서, 자동적인 모니터링을 위해 slack과 연동하도록 결정했다.
위 argocd 공식 문서를 참조해서 진행하면 된다.

도입 방법

• 위 링크에서 바로 slack notification 설정을 보기 보다는, Overview부터 보는 것을 추천한다.

• https://api.slack.com/apps?new_app=1 에 들어가서 slack app을 생성해준다.

• chat bot을 추가해준다. chat:write:user로 커스텀 메세지를 만들 수 있다.

• 생성한 app을 알림을 원하는 slack 채널에 추가해준다. (app이 slack에 표시될 때 까지 시간이 조금 걸린다. 인내심을 가지자.😂 )

• OAuth & Permissions 에서 OAuth Access Token을 복사해준다. ( 이 토큰은 추후에 argocd-notifications-secret에 저장해줘야한다.

• 복사한 Token을 argocd-notifications-secret에 저장해준다. 문서에서는 StringData로 저장하라고 한다. 저장하고 다시 edit을 열어보면 자동으로 data 형식으로 base64 인코딩 되어있다. 어차피, base64로 인코딩된 token을 decoding하여 적용시키기 때문에 문제가 없다. 당황하지 말자 🔐.

• 이제는 ConfigMap을 수정해줘야 한다. argocd-notifications-cm에 들어가서 $slack-token으로 token을 받아오자.

• 알림을 원하는 application에 들어가서 patch를 진행해준다. 필자는 sync succeeded, running, failed 그리고 subscribe on-health-degraded, on-deployed, on-sync-status-unknown을 추가해주었다.

알림이 잘 온다 !! 📢