이번에도 어김없이 AWS SUMMIT 2024가 삼성역 코엑스에서 개최되었다. 행사 10주년을 맞이하여 그런지 듣기론 re:Invent 행사를 많이 차용한 것 같다고 한다. 그만큼 분위기도 Hot했고 무엇보다 생성형 AI 기반 재미있는 세션들을 많이 열어주었다. 그렇다면 필자가 들었던 세션들에 대하여 간략하게 정리해보도록 하자.
AWS SUMMIT 행사 시간표(양일)
AWS SUMMIT은 양일간 행사가 진행된다. Day1에는 필자가 관심 있을법한 주제들이 많지 않아 오후부터 참석하였다. 그럼 Day1에서 들었던 세션에서 얻은 인사이트와 필자의 생각을 정리하겠다.
센드버드의 생성형 AI 기반 글로벌 Chatbot 서비스
최근 AI에 대한 관심이 커지는 와중에 이전부터 흥미로웠던 회사에서 AWS 생성형 AI 솔루션을 기반으로 구축한 비즈니스 사례에 대한 발표가 있었다. 우리 회사에서도 AI Chatbot 프로젝트를 진행하였었는데 글로벌 회사는 어떤 Chatbot 서비스를 출시했는지 기대가 되었다.
세션 내용은 AWS 솔루션에 대한 소개와 비즈니스 사례 총 두 가지로 나뉜다. AWS 솔루션 소개에서는 먼저 센드버드에서 사용한 솔루션에 대하여 이야기를 하였다. 센드버드에서는 AWS SageMaker, AWS Bedrock 이 두 가지를 활용하여 Chatbot을 만들었는데 특히 AWS Bedrock의 특징이 아주 눈에 들어왔다.
AWS Bedrock 특징
1. 별도 인프라 구축 없이 API 호출로 연동하여 개발 속도 향상
2. Agent Lambda와 연동하여 Foundation Model 활용 가능
3. Serverless 모델현재 회사 AI팀에서는 AWS SageMaker 기술을 활용하여 아이들나라 AI 서비스를 사용자에게 전달하고 있다. AWS Bedrock에 대해선 이번에 처음 접했는데 부스 체험장에서 해당 솔루션을 활용한 재미있는 이벤트를 경험해보고는 나중에 꼭 한번 써보고 싶은 솔루션으로 자리매김했다.
그 다음으로는 센드버드: Global Chatbot 여정이라는 주제로 발표가 이어졌는데 여기서는 센드버드 Chatbot 서비스에 대한 상세 설명을 해주었다. 먼저, 센드버드 Chatbot은 나만의 생성형 AI 챗봇을 만들도록 지원을 한다. 즉, 커스텀 AI 챗봇을 얼마든지 만들 수 있다는 이야기다. 상세 지원 기능은 프롬프트 UI, 노코드 챗봇 생성 기능으로 데모에서 클릭 몇 번만으로 AI 챗봇을 바로 만들어내는 것을 확인했다. 참으로 신기하였다.
이외에도 프롬프트 이력, Knowledge Management, Rule-base 챗봇 기능을 제공하는데 아래와 같은 배경에서 기능을 출시하였다.
프롬프트 이력은 말그대로 프롬프트 버전을 트래킹하는 기능인데 이는 프롬프트의 성능 고민에서 시작되었다고 한다. 프롬프트가 서비스 성능에 영향을 많이 주는데 실제 운영 환경에는 영향을 주지 않으면서 동일 환경에서 테스트할 수 있는 방법에 대한 고민에서 시작되어 프롬프트 히스토리라는 근사한 기능 하나가 만들어졌다. Knowledge Management의 경우는 고객의 문서 업데이트 액션도 f/up 해야할 필요성을 느껴 만들게 되었다. 고객의 요구사항 중 특정 시나리오를 판단할 수 있으며 비즈니스 상황에 따른 특정 시나리오대로 동작해야 하는 항목에는 Rule-base 챗봇을 적용하였다고 한다. 즉, 챗봇 서비스가 생성형 AI와 Rule-base 챗봇의 조화로 만들어진 혁신적인 제품이다.
만들면서 엔터프라이즈 AI 챗봇의 어려움에도 부딪혔다는데 그때마다 AWS 솔루션을 도입하여 큰 무리없이 해결할 수 있었다고 한다. 들으면서 AWS Universe를 경험한 기분이었다.
- 안정성: 장애에 굉장히 민감하기에 안정적으로 구축해야 함. ➡️ AWS Global Infrastructure
- 정보보호 : 개인정보보호. ➡️ AWS Security
- 통합: 크로스 플랫폼 지원
- 맞춤설정: 커스터마이즈 기능 최대 지원
- 확장성: 대규모 트래픽에 견딜 수 있는 특성 ➡️ AWS EKS, AWS Bedrock
- 품질: 답변의 품질이 좋아야 함. ➡️ AWS Bedrock
마지막으로는 엔터프라이즈 AI 챗봇 여정이라는 주제로 진행되었는데 이때 기술 선택의 이유와 센드버드 Chatbot 아키텍처를 자세히 공유해주었다.
(사진1) 센드버드 AI 챗봇 아키텍처
센드버드는 AWS Bedrock 솔루션 도입을 결정한 이유가 다양한 LLM hosting을 하지 않고 API 연동이 가능하다는 점, 새로운 LLM 출시 후 바로 사용 가능하다는 점 두 가지다. 잘은 모르겠지만 AI 만들 때 학습모델을 자유롭게 사용하며 연동 시 무겁고 번거로운 방식보단 REST API같은 유연하고 가벼운 방법을 지원해준다는 점에서 매력을 느낀 것 같다. 구현 시 미리 고객이 원하는 답변을 OpenSearch에 저장하여 OpenSearch에서 조회된 답변 리스트중 AWS Bedrock 솔루션을 활용하여 가장 최적의 답변을 찾아내는 것이 AI Chatbot의 핵심 기능이라고 한다. 센드버드에선 AI Chatbot의 Smart함을 끌어올리기 위하여 OpenSearch에 Embedding 기술을 활용하여 미리 답변 리스트를 Indexing한다. 이를 기반으로 OpenSearch에서 제공하는 Hybrid(keywork + semantic) Search 적용으로 정확도를 70%에서 90%까지 향상시켰다고 한다. 이렇게 보면 AWS에서 제공하는 솔루션들의 기술과 품질이 아주 신뢰가 간다. 이래서 규모가 큰 기업에선 대개 AWS Cloud 서비스와 솔루션을 많이 활용하는 것으로 보인다. 또 한 가지 특이 사항은 센드버드 AI 챗봇은 AWS Bedrock 가드레일 기능을 활용하여 특정 주제나 이슈에 대한 답변 필터 처리도 함으로써 더욱 더 고객 맞춤형 데이터를 제공한다. 자세한 사항은 아래와 같다.
- 정치적 답변에 대한 필터 혹은 유해물 차단.
- Denied Topics 항목에 사용자가 직접 자연어로 차단 주제를 입력. 백엔드 서버와는 가드레일에서 미리 캐치하여 LLM Call하지 않고 바로 정의된 응답값을 내려줌.(성능 개선 포인트)
- 컨텐츠 필터 기능에선 임계값 설정이 가능. 얼마나 민감하게 모니터링할지 조절 가능. 이는 AWS Bedrock API에서 기능 지원함.
이렇듯 AWS에서 제공하는 생성형 AI 솔루션을 활용하여 빠르게 서비스를 만들어서 사용자에게 출시한 후 반응을 살핀 결과 성공적인 인기를 끌었다고 한다. 이처럼 AI 기술에 대한 빠른 시장 대응을 위하여 프로토타입 제품을 출시했다면 앞으로는 다음의 방향으로 챗봇 서비스를 고도화할 예정이다.
- Fine-Tunning한 챗봇 제공 목표
- Knowledge base 고도화: 주어진 질문이 아닌 고객 데이터 기반으로 질의에 대한 응답 제공 목표
- 다양한 플랫폼 지원
가장 재미있고 흥미로웠던 세션이면서 동시에 많은 인사이트를 안겨주었다. 앞으로의 서비스 고도화를 멀리서 응원하며 추후엔 필자도 이런 서비스를 빠르게 만들어서 출시해보고 싶다.
생성형AI를 엔터프라이즈 비즈니스에 적용하기 위한 실전 방법론
다음으로는 실전에서 어떻게 생성형AI를 비즈니스에 접목하면 좋을지 가이드 해주는 발표를 들었다. 결론부터 말하자면 잘 와닿지 않았던 세션이었다. 메가존클라우드에서 발표를 해주셨는데 약간 이미 대중적으로 알고 있는 가이드를 주시는 느낌이랄까? 사실 이때 업무 대응하느라 발표에 집중하지 못해서 그런 것일수도 있다. 그럼에도 필자가 들으면서 인상깊었던 코멘트는 다음과 같다.
- 이미 AI 기술을 활용하고 있다면 관리를 중점적으로 해야한다.
- 프롬프트 엔지니어링은 보수적으로 접근해야 한다. 범용적인 지시를 넣었을 때 프롬프트 결과가 어떻게 나오는지 봐야한다.
- 생성형 AI에는 그에 맞는 데이터 엔지니어링/모델링이 필요하다.
- 생성형 AI를 잘 활용하기 위한 각각의 AWS 솔루션이 존재한다. 이를 잘 활용하자.
생성형AI 엔터프라이즈 비즈니스 아키텍처 이상과 현실
세션이 끝나고 나서 느낀 점은 너무 추상적이고 일반적인 이야기를 많이 하였다는 것이다. 그러다보니 중간중간 집중이 잘 안되었다. 그럼에도 세션 내용이 추후 기술적인 관점 뿐만이 아닌 사회적, 보안, 법적인 관점에서 AI를 보다 잘 활용할 수 있는 방법에 대한 인사이트를 제공해준 것 같다. 추후 해당 세션 발표 자료가 공개되면 보면서 전체 개발 사이클 관점에서 한번 더 고민해볼 계획이다.
야놀자의 글로벌 신규 사업 진출 및 확장 노하우
Day1의 마지막 세션으로 야놀자의 글로벌 사업 진출 사례 발표를 들었다. 이전부터 글로벌 비즈니스를 제공하는 회사에 관심이 많아 이런 회사들은 어떻게 성공적으로 글로벌 진출을 했는지 무지하게 궁금했었다. 결론부터 이야기하면 B2B 사업의 성공에서 글로벌 진출의 기회를 얻을 수 있다는 것을 깨달았다. 야놀자가 글로벌 테크 기업으로 성장한 과정은 아래와 같다.
- B2B 솔루션 사업 진출 ➡️ Hotel B2B Wholesale 솔루션 사업 진출 ➡️ 인도 중심으로 사업 확장 ➡️ 미국 시장 진출 ➡️ Hotel B2B Wholesale 사업 확장
처음엔 숙박 정보를 제공하는 플랫폼을 시작으로 숙박업체/호텔 사업 및 여행 사업 더 나아가 사용자 니즈에 맞는 여행 플랜 개인화 추천 등으로 점진적인 사업 확장을 해나갔다. 이를 보면서 하나의 비즈니스 분야에서 큰 성공을 거두면 이와 연관된 사업 영역들은 그간의 축척된 대량의 데이터로 비교적 쉽게 확장할 수 있다는 점이다. 정말 부럽다.
야놀자 글로벌 사업인 YCS에서는 다음의 AWS 솔루션을 활용하고 있다고 한다. 보면 흔히 많은 기업에서 활용중인 솔루션들이다. 여기에 더해 생성형 AI 기술도 활용 계획에 있다고 한다. 글로벌 비즈니스를 한다고 엄청 특별한 솔루션을 쓰진 않는 것으로 보아 AWS에서 제공하는 솔루션들은 기본적으로 글로벌 비즈니스 트래픽에도 견딜 수 있나보다.(물론 당연히 우리와는 다른 서버 스펙으로 사용중일 것이다...그만큼 비용이 깨진단 소리...)
- AWS EC2
- AWS S3
- AWS Aurora
- AWS Elastic Cloud Service
- AWS Simple Email
마지막으로, 야놀자에서 앞으로의 글로벌 비즈니스 전략 방향에 대해 공유하고 발표를 마무리 하였다. 야놀자에서 말한 전략 방향은 결국 생성형 AI를 활용한 개인화 서비스 제공이다. 생성형 AI를 접목하여 여행 준비와 예약 경험을 개선하고 여행 중 실시간 추천 기능을 도입하여 여행 경험을 혁신한다. 이와 더불어, 여행자 후기 및 경험 기반으로 사용자 맞춤형 여행지 추천 등으로 만족도 높은 여행 관련 서비스를 제공하는 것을 목표로 한다. 개인적으로 정말 유용하게 활용할 서비스들이라 빠른 시일 내에 이 세 가지가 모두 지원되길 바란다.
이렇게 총 3개의 세션 발표를 듣고 Day1을 마무리하였다. 작년에는 부스 돌아다니면서 경품이나 제품 설명 및 시연에 더 집중했다면 올해는 AWS 발표 세션 참석에 큰 의미를 두었다. 앞으로 생성형 AI로 무궁무진한 서비스를 만들어 고객이 더 나은 삶을 살 수 있도록 하는 것이 목표다. 따라서, 이번 발표 세션을 계기로 AI에 본격적인 관심을 가져보려고 한다. 그럼 20000👋👋👋👋 Day2 후기 때 다시 만나요 우리🤗
