안녕하세요! 데보션영 3기 서희건입니다.
이번 11월 초에 개최된 행사! AI에 관심이 많다면, SK AI 서밋 2024는 절대 놓치면 안 될 행사였습니다.(하지만 전 놓쳐서..ㅎㅎ)
시간이 되지 않아서 온라인으로 틈틈히 참여했답니다.
그중에서도 이번 프로젝트에 적용하며 알게된 RAG!
덕분에 가장 열심히 듣고 제일 기억남는 세션 후기를 남겨보려고요!
고객 상담의 뉴 레벨! RAG 기술로 상담사를 업그레이드하다.(김은희님)
SK텔레콤의 김은희 님께서 발표한 상담사의 업무 효율성을 극대화하기 위한 AI 전략 세션에 참석했습니다. 발표 내용은 기업용 AI를 활용한 검색 및 답변 시스템의 개선 과정과 결과를 중심으로 진행되었는데요, 굉장히 인상 깊고 많은 영감을 얻은 시간이었습니다.
기억에 남는것
특히 컷오프(Cut-off) 기법과 SKT 임베딩의 조합이 도입된 사례가 인상 깊었습니다. 검색 엔진이 단순히 상위 문서를 보여주는 것을 넘어, 정답 문서가 상위에 노출되도록 부스팅하는 방식은 정말 신선했어요. LLM에서 발생하는 할루시네이션 문제를 해결하기 위해 정답 문서만 LLM으로 보내는 구조를 만든 점도 굉장히 효율적이라는 생각이 들었습니다.(왜 저는 이런생각을 못했을까요..)
매번 생각하지만 어렵고 복잡해 보이지만 실상은 쉽게 다가가고, 생각해 볼 수 있는 기법들이 많아서 위안이 되었습니다. ㅎ.ㅎ
또한, 경량 모델과 라지 모델을 비교하며 경량화와 품질 사이의 딜레마를 설명하던 부분도 다시 한번 돌아보게되었습니다. 경량 모델은 속도는 빠르지만 품질 저하로 인해 결국 라지 모델로 돌아갔다는 점에서, AI 개발에서 최적화를 넘어선 품질의 중요성을 다시 한 번 느꼈습니다.
탐구하고 싶은 파트
이 강연을 들으며 멀티 컬렉션 리랭킹과 크로스 인코더 리랭킹에 대한 구체적인 구현 방법에 관심이 생겼습니다. 발표에서 설명된 도메인별 최적화 랭킹 모델링과 엔진 스코어 조합 방식이 정말 신기했습니다.
또한, 성능 향상 과정을 보여주신 지표에서 어떤 방식으로 개선했는지 알려주셔서 저도 직접 적용해 보려고 합니다!
AI린이인 저에겐 모든것이 새롭고 신기하더라고요 ㅎㅎ..
(NDCG라는 용어만해도 이번 세션에서 배웠습니다. 하하)
새로운 기법들을 천천히 알아가 보려고 합니다.
이번 SK AI 서밋 2024는 AI에 대한 실질적인 전략을 공유받는 유익한 시간이었습니다. 직접 현장에 참가하지 못해 너무아쉽지만, 앞으로도 이런 기회를 통해 기술 트렌드를 적극적으로 배우고, 저만의 방식으로 실무에 활용해 보고 싶네요! 😊
