2025 Datadog Summit Seoul 후기
AI와 Observability, 두 가지가 가장 큰 주제였다.
이중에서도 AI 관련 내용이 가장 크게 다뤄졌다. 요즘 대세인 AI에 맞춰 많은 내용에 AI가 포함되어 있었다. 실제 핸즈온에서도 "작은 LLM 애플리케이션 개발부터 관측까지"가 있었는데, 신청할 때 인원이 다 차 있어서 아쉽게도 참여하지 못했다.
기조연설 및 외부 부스
기조연설과 외부 부스의 내용이 일맥상통했고, 주로 신규 서비스 소개가 중심이었다.
AI 활용 서비스
AI를 통해 이슈 트래킹부터 추정 서비스 트리 제공 등 다양한 기능을 제공하며, 실제 담당자에게 연락까지 이어지도록 되어 있었는데 이러한 기능을 외부 부스에서 시연하고 있어 어느 정도 확인할 수 있었다.
자세히는 AI가 자동으로 모니터링하고, Datadog 안에서 이전 이슈와 컨텍스트를 학습해 이를 기반으로 이슈 추정·정리, 오류가 발생한 서비스와 연관된 서비스 트리 등을 제공한다.
클라우드 시큐리티
IDE에 MCP Server를 연동해 사용 중인 라이브러리/패키지의 보안 이슈 여부와 코드 레벨의 취약점을 확인해 준다.
AI 기반 로그 보안 탐지, ISMS, IdP 보안 취약점 관리 등 보안 관련 내용도 많았지만, AI 기반 내용이 특히 두드러졌다.
아모레퍼시픽의 AI + 통합 Observability 혁신 사례
B2C용 AI 챗을 도입한 내용이 주였다. Datadog LLM 대시보드를 활용해 Observability를 확보했다.
보통 기업은 AI를 도입할 때 사내 서비스부터 차근차근 시작하지만, 여기는 곧바로 B2C AI 서비스를 오픈한 것이 특징이었다. 오픈 과정에서 발생한 이슈와 고려했던 점을 공유했는데, 이 부분이 매우 도움이 되었다.
이슈
AI 서비스를 운영하면서 발생한 문제들.
품질 - Response Quality
AI 특성상 비동기 요청이 많아 품질 이슈가 생기기 쉬운데, 속도, AI 답변 품질, 응답 실패 등이 주요 포인트였다. 각 케이스도 다른 API와 유사하게 LLM 대시보드를 활용해 개선했다고 한다.
안전/안정성
이 이슈는 실제 보안 문제뿐 아니라 프롬프트 인젝션, AI 사용 시 고객이 받는 답변의 적절성 문제도 포함된다고 했다. 정치·사회 등 민감 주제에 대해선 부적절한 표현이 포함되지 않도록 한 차례 검증한다고 한다. 또한 유사한 방식으로, 다른 기업과의 계약 기간이 만료되었음에도 해당 기업 관련 내용이 포함되는지 여부도 검증한다고 한다.
비용
비용 측면에서는 토큰 비용이 주요 이슈였다. Datadog LLM 대시보드를 통해 토큰 사용량이 많은 스팬과 호출 빈도가 높은 스팬을 파악해 캐싱하는 방식을 사용했다고 한다.
SRE Hands-on
https://velog.io/@banana-wuyu/Datadog-Summit-Seoul-hands-on
마무리
아쉬운 부분
- 핸즈온과 다른 기업들의 세션이 각각 진행되어, 핸즈온 때문에 다른 기업 세션을 듣지 못한 게 매우 아쉽다. 핸즈온을 포기하고 세션을 들을걸 후회할 정도로 아쉬웠다. 오전에 아모레퍼시픽의 개발 경험을 듣고 인사이트를 많이 얻었는데, 다른 사례들도 들었으면 더 많은 인사이트를 얻을 수 있었을 텐데 아쉽다.
- 외부 행사는 인프런 행사가 처음이었고, 이번 Datadog Summit Seoul 2025가 두 번째라 사진을 많이 찍지 못한 게 아쉽다. 나중에 영상도 찾아봐야겠다.
- 내용을 충분히 정리하지 못했다.
좋았던 부분
- 들었던 다른 기업의 실제 후기가 매우 좋았다. 만약 AI 관련 서비스를 도입한다면, 여기서 얻은 인사이트들은 최소한 고려할 것 같다.
- 앞으로 다른 행사나 세션이 있으면 무엇을 들어야 하는지, 사진 촬영과 정리를 어떻게 해야 하는지 배웠다.
사진들
