eks pod들의 log를 남기기 위하여 datadog을 사용

elastic search와 비슷한 개념

• 데몬셋의 특징

모든 노드에 파드 실행:
데몬셋은 지정된 모든 노드(혹은 특정 레이블이 있는 노드)에 동일한 파드를 하나씩 배포합니다. 예를 들어, Datadog 에이전트를 데몬셋으로 배포하면, 클러스터에 있는 모든 노드마다 Datadog 에이전트 파드가 하나씩 실행됩니다.

노드 추가 시 자동 배포:
새로운 노드가 클러스터에 추가되면, 데몬셋은 자동으로 그 노드에 파드를 배포합니다. 반대로 노드가 삭제되면 해당 노드의 파드도 자동으로 삭제됩니다.

주로 시스템 레벨의 작업에 사용:
로그 수집: Fluentd, Logstash와 같은 로그 수집기.
모니터링 에이전트: Datadog, Prometheus 노드 익스포터.
네트워킹: CNI 플러그인, IP 관리, 네트워크 정책 등.

데몬셋의 장점

• 일관된 배포: 클러스터의 모든 노드에서 일관된 파드가 실행되므로, 로그 수집기나 모니터링 에이전트를 배포할 때 매우 유용합니다.
• 자동 관리: 노드가 추가되거나 삭제될 때 자동으로 파드를 관리하므로, 별도로 파드를 수동으로 배포할 필요가 없습니다.
• 리소스 관리: 모든 노드에서 시스템 수준의 작업을 수행해야 할 때 리소스를 관리하기 쉽습니다.

데몬셋 사용 시 주의사항

• 리소스 사용량: 모든 노드마다 파드가 배포되기 때문에 파드의 리소스 사용량이 많을 경우 클러스터 전체의 리소스 소비량이 높아질 수 있습니다.
• 노드 수에 비례한 파드 수: 클러스터에 있는 노드 수만큼 파드가 배포되므로, 노드 수가 많아질수록 파드 수도 늘어납니다.

왜 'DaemonSet'이라고 불리는가?

• 'Daemon'의 의미:
  Unix/Linux에서 데몬은 시스템 레벨에서 지속적으로 실행되며, 특정 작업(예: 로그 수집, 네트워크 서비스 제공 등)을 수행하는 백그라운드 프로세스를 의미합니다. 예를 들어, 웹 서버인 httpd나 로그 수집기인 syslogd 같은 서비스가 데몬입니다.

• Kubernetes의 'Set':
  Set은 여러 개의 동일한 리소스를 묶어 관리할 때 사용되는 Kubernetes 용어입니다. 예를 들어, ReplicaSet은 동일한 파드를 여러 개 유지하는 반면, DaemonSet은 모든 노드에 동일한 파드를 하나씩 배포합니다.

따라서, 'DaemonSet'이라는 이름은 "각 노드마다 배포되는 데몬과 같은 백그라운드 파드를 세트로 관리한다"는 의미로 이해할 수 있습니다.

datadog ELB health check

aws load balancer에서 health check url 설정을 안해주니 datadog에서 계속해서 401 error 가 났다.
Django health check url을 따로 만들어주고 load balancer health check url에 설정해주어 해결하였다.(이 서버에 해당하는 pod load balancer 찾기 위하여 rancher에서 pod IP 주소 확인함)
또한, health check 주기를 300으로 늘림으로 datadog으로 api request 모니터링 효율성이 높아졌다.

❗서비스 런칭으로 유저가 늘어나면 health check 주기 짧게 바꿔야함.
🙂llm-ops fast api 서버도 적용시켜줬다.

@app.get("/health")
async def health_check():
    # 필요한 상태 체크 로직을 추가할 수 있습니다.
    # EX)데이터베이스 연결 상태나 외부 서비스 상태 확인 등.
    return JSONResponse(content={"status": "ok"}, status_code=200)

TO DO

datadog을 활용해, 500에러가 감지되었을 때 slack에 알림이 가도록 해야한다.
해당 서비스는 workflow라는 유료 서비스가 필요하다.
따라서, 추후에 실제 사용자가 생기면 pro version으로 업데이트를 요한다.