DEVOCEAN OpenLab - Tech Day 후기

Judy·2024년 8월 8일

OpenLLM스터디

목록 보기

10/10

지난 4월, 운 좋게 데보션 OpenLab 스터디에 2개나 합격했습니다!
LLM을 공부하고자 지원한 LLMOps 팀과 OpenLLM 팀에 합격하게 되었고,
저 나름대로 최선을 다한 끝에 7월에 스터디를 완주할 수 있었습니다.

그리고 이 스터디 결과 발표회인 Tech Day 에 오게 되었는데요,
제가 참여한 스터디 팀원분들의 발표 위주로 후기를 정리합니다.

DEVOCEAN OpenLAB Tech Day 소개

Session

GraphRAG 로 여행 100% 준비하고 떠나기 (정이태 님)

LLMOps 팀의 Graph 고수(!!) 정이태 님의 발표였습니다.

여행을 앞두고 로밍 요금제 및 혜택을 효과적으로 활용하기 위한 방법을 소개해 주셨는데요,
로밍 혜택을 사용하는 고객 : 사용하지 않는 고객 비율 = 50% : 50% 이라고 합니다.

해외여행 경험이 많은 고객 (=어머님.. 🤭) 을 인터뷰하신 결과 다음과 같은 문제가 있었다고 해요.
로밍 요금제 혜택 & 기존 요금제 혜택 모두 활용했는지?

요금제를 사용하기에 복잡함!
로밍뿐만이 아니라 호텔 등의 할인 혜택까지 모두 활용하려면 복잡함

이 문제를 Graph RAG 활용하여 해결하는 것이 발표의 핵심이고,
Graph RAG 를 활용한다면 다음 문제를 해결할 수 있다고 합닏.
1. 가족결합 및 유저간 데이터 교류 확인 가능
2. T roaming, membership 혜택을 활용해서 여행에 있어 합리적인 소비 가능

결과적으로 GraphRAG 를 활용하면 기업의 비즈니스 신속성, 지속성, 다양성을 위한 토대가 될 수 있다고 설명해 주셨는데
자세한 내용은 제가 정리하지 못해서 아쉽습니다... 😢
(사실 개인적으로 Graph 는 들어도 들어도 잘 이해하기 어렵습니다... Graph 가 저에게는 유독 어려워요 😂)

AI Travel Agent, Travel GO (김하림 님)

LLMOps 팀의 두번째 발표입니다.
하림님께서는 여행 스타트업의 팀장님이신 만큼 여행 도메인에 대한 시야가 넓고
그만큼 Agent 설계와 향후 상품화까지 구체적으로 고려하신 점이 인상깊었습니다.

여행 준비, 왜 어려울까?

제한된 자원 내에서 완벽한 여행 계획 짜기가 어려움
변화하는 정보 형태 (정보 탐색 채널)

여행 준비, Agent 로 해결해 보자

Agent : 주변 환경을 인지하고 상호 작용하며, 목표를 달성하기 위해 자율적으로 행동하는 시스템

Travel Go, TGO

TGO 팀장 Agent
- 사용자의 질의를 받아 적합한 Agent 에 역할 위임 (작업 할당)
  - 장소 추천 Agent
  - 질문 답변 Agent
  - 일정표 생성 Agent

TGO 상품화

상품화 범위는 무궁무진!
- 광고 플랫폼 / 에이전트 구독료 / OTA&여행사 / 원클릭 결제 시스템 구축 등등

Demo

OpenLLM / RAG 업무 필요 사례 (이길호 님)

마지막 발표는 OpenLLM 팀의 에이스 이길호 님께서 Advanced RAG 를 주제로 해 주셨습니다.

Advanced RAG

Retrieval 앞뒤에 Pre / Post Retrieval 추가
Pre-Retrieval
- Multi-Query
  - LLM을 통해 쿼리를 추가로 생성하여 답을 찾는다
- Hyde
  - LLM 을 통해 가상의 답변을 생성하고 이를 이용
Post-Retrieval
- Rerank
  - Context 를 유사도 계산을 통해 유사도 기준 재정렬