LLM 활용 서비스들에 대한 생각

최근 LLM 활용해서 만든 서비스가 많이 쏟아지고 있다.
내가 본 많은 LLM 서비스의 구조가 비슷했는데, 비즈니스 데이터가 있고 그걸 벡터디비에 저장해서 RAG, Agent 로 서비스하는 구조였다.
아마도 이러한 구조가 패턴화되고 있는 것 같다.

최근의 LLM, 파운데이션 모델의 발전으로 개발자로서 할 수 있는 것들 중 몇가지 중요한 것들에 대해 생각이 들었는데,
1. 기존 RDB, NoSQL 에 저장하던 어느정도 정형화된 데이터 (테이블, JSON 등) 를 넘어 더 다양한 데이터 (텍스트, 이미지, 대화 기록 등) 를 서비스에 활용하는게 쉬워졌다.
2. 기업의 비즈니스 데이터를 어떻게 활용할지가 중요하다, 과거에는 서비스하지 못했던 것들을 마치 플랫폼처럼 만들어서 서비스할 수 있다.
3. 활용할 데이터가 없으면 사용자에게 받아서 새로 쌓거나, 크롤링을 활용할 수도 있다.

또, 개발자의 역할에 대해서도 다시 생각이 들었다.
내가 아는 좋은 엔지니어는 장인정신을 가지고 서비스 품질을 가능한 한 최고로 만드는 사람이다.
그런데 기존 서비스들의 품질, 품질 지표로 볼 수 있는 것들에 더해 LLM 서비스에는 새로운 품질에 대한 기준이 필요하다.

• LLM 서비스의 품질이란 뭘까?
• 많은 기업들이 LLM 서비스의 품질을 평가할 때, 사람이 직접 평가를 하거나 또는 LLM 으로 평가한다고 한다.
  • 서비스가 커져서, 사용자가 100만명이 넘어간다던지 하면 사람이 어떻게 직접 평가를 할수 있을까?
  • LLM 으로 평가하는 것은 믿을만 할까?
• 무언가 스코어를 먹여서 품질을 평가한다고 하자. 과연 이 스코어는 사용자가 느끼는 서비스 품질과 상관관계가 일치할까?

이러한 고민들이 어느 기업이던 발생할거라고 생각이 들었다.
내가 현재 맡은 서비스에 적용해 보면서 고민해봐야 겠다.