AI를 보러간 두 곳이지만, 보인 건 운영 시스템

AI EXPO KOREA 2026 & AWS Summit Seoul 2026 후기

2026년 5월, AI 기술을 보러 두 곳을 방문했다.

그런데 가장 오래 기억에 남은 건 AI 모델이 아니라, 그 AI를 운영하는 시스템이었다.

Why?

올해 상반기는 AI 이야기로 가득했다.

새로운 모델이 계속 등장했고, 기업들도 앞다투어 AI 서비스를 발표했다.

나 역시 INSK 프로젝트를 진행하며 LLM을 활용하고 있었기 때문에 자연스럽게 궁금해졌다.

기업들은 AI를 어디까지 활용하고 있을까?

그리고 더 궁금했던 건 하나였다.

AI를 적용시키는 것 이후에는 무엇을 고민할까?

이 질문을 가지고 5월에는 AI EXPO KOREA, 그리고 AWS Summit Seoul을 다녀왔다.

행사를 모두 보고 돌아온 지금 가장 크게 남은 생각은 하나다.

AI를 만드는 것과 AI를 운영하는 것은 전혀 다른 문제였다.

AI EXPO에서 본 것은 'AI'보다 'AI를 쓰기 위한 환경'이었다

AI EXPO는 과 동기들과 방문했다.
행사장은 생각했던 것보다 훨씬 컸다.

사람도 많았고 부스도 정말 많았다.

모든 부스를 다 보기에는 시간이 부족했기 때문에 미리 관심 있는 기업들을 정리해 우선순위를 정하고 돌아다녔다.

내가 집중해서 본 분야는 클라우드와 운영, 그리고 데이터를 안정적으로 활용하는 서비스였다.

물론 다양한 AI 서비스도 많았다.

• FaceMe처럼 얼굴을 인식해 성별과 나이를 추정하는 서비스
• 사내 문서를 검색하는 엔터프라이즈 AI
• 검증된 오픈소스 모델을 API 형태로 제공하는 플랫폼
• AI 기반 테스트 설계
• 온프레미스 AI 코딩 어시스턴트

처음에는 새로운 AI 기술이 많이 나와 있을 거라고 생각했다.

그런데 한 바퀴를 돌고 나니 오히려 다른 점이 눈에 들어왔다.

• GPU를 여러 사용자에게 세밀하게 나누어 제공하는 서비스
• 원클릭으로 프라이빗 클라우드를 구성해 주는 서비스
• AI 인프라를 대신 관리해 주는 서비스

그때 처음 들었던 생각은 이거였다.

AI보다 GPU를 효율적으로 쓰는 것이 더 중요한 시대가 왔구나.

좋은 모델은 이미 많다.

하지만 비용이 너무 크면 서비스에서는 사용할 수 없다.

결국 기업들은 새로운 AI를 만드는 것보다 한정된 자원을 어떻게 더 효율적으로 운영할 것인지를 함께 고민하고 있었다.

반면 학생 입장에서는 조금 아쉬운 점도 있었다.

대부분 B2B 중심 서비스였기 때문에 직접 사용해 보기에는 비용이나 접근성이 높은 편이었다.

그래도 현재 AI 산업이 어디에 투자하고 있는지는 충분히 느낄 수 있었다.

AWS Summit에서는 AI보다 운영 이야기가 더 기억에 남았다

AWS Summit은 CloudWave의 클마카세 팀원들과 함께 다녀왔다.

행사 전에도 "AWS는 AI를 어떻게 바라볼까?"라는 기대를 가지고 있었는데, 막상 가장 오래 기억에 남은 것은 모델 소개가 아니었다.

운영이었다.

가장 인상 깊었던 세션은 '에이전트 성능 평가와 개선: 개발부터 운영까지' 였다.

발표에서는 에이전트 AI의 특징으로

• 설계상 비결정론적이라는 점
• 잘못된 도구와 파라미터를 선택할 수 있다는 점
• '더 좋아졌는가'를 정량적으로 평가하기 어렵다는 점
• 자동 회귀(Regression) 문제가 발생할 수 있다는 점
  
  을 이야기했다.

흥미로웠던 건 발표의 중심이 모델 성능이 아니었다는 것이다.

오히려

에이전트가 목표를 달성했는가?
올바른 도구를 선택했는가?
답변은 적절했는가?

를 계속 검증해야 한다는 이야기가 중심이었다.

온디맨드 평가, 온라인 평가, 사용자 시뮬레이터, 코드 기반 Evaluator까지.

AI도 결국 운영되는 시스템이라면, 지속적으로 평가하고 검증하는 체계가 반드시 필요하다는 메시지였다.

또 다른 세션에서는 Samsung Account의 AI SecOps와 AIOps 사례도 소개됐다.

장애가 발생하면 AI가 로그를 분석하고, 원인을 추적하고, 대응 방안까지 제안하는 구조였다.

AI가 개발을 돕는 수준을 넘어 배포, 운영, 모니터링, 장애 대응까지 조금씩 들어오고 있다는 점이 인상 깊었다.

동시에 AI를 활용하는 만큼 AI 자체를 향한 보안 위협도 함께 커지고 있다는 점도 다시 한번 느낄 수 있었다.

결국 두 행사가 말하고 있던 것은 같았다

처음에는

• AI EXPO는 AI 서비스
• AWS Summit은 클라우드 행사

라고 생각했다.

그런데 둘을 모두 다녀오고 나니 같은 이야기를 하고 있었다.

AI EXPO는 AI를 서비스로 만들기 위한 환경을 보여줬고,

AWS Summit은 그 AI를 안정적으로 운영하는 방법을 이야기하고 있었다.

행사는 달랐지만 결론은 같았다.

AI도 결국 서비스였다.

그리고 서비스라면 운영이 따라온다.

그래서 나는 무엇을 가져왔을까?

이번 행사를 다녀오며 새로운 기술 하나를 배운 것은 아니다.

오히려 질문이 하나 더 생겼다.

AI를 어디에 붙일까? 가 아니라
AI를 어떻게 운영할까?

다녀온 뒤, INSK 프로젝트에서도 이 생각을 적용했다.

LLM을 더 많이 호출하는 것이 아니라,

• 언제 호출해야 하는지
• 중복 호출은 어떻게 줄일 것인지
• 비용은 어떻게 관리할 것인지
• 결과를 어떻게 신뢰할 것인지

이런 질문을 먼저 하게 됐다.

돌아보면 이전 프로젝트에서는 Kafka나 Circuit Breaker처럼 장애를 견디는 구조를 고민했다면, 이제는 한 걸음 더 나아가 AI를 어떻게 신뢰하고 운영할 것인가를 고민하게 됐다.

기술은 바뀌었지만 기준은 크게 달라지지 않았다.
여전히 내가 중요하게 생각하는 것은 서비스가 계속 동작하도록 만드는 것이다.

AI를 만드는 것과 AI를 운영하는 것은 다르다.
그리고 백엔드 엔지니어에게 중요한 것은 새로운 기술을 가장 먼저 사용하는 사람이 아니라,
그 기술을 안정적으로 운영하고 신뢰할 수 있는 시스템으로 만드는 사람이라는 생각이 더 확고해졌다.