NLP Trends: 시장, Provider, Applications

1. LLM 시장 현황

• 지속 성장 예상
• LLM 사전 학습은 매우 많은 비용을 요구하고 있으며 이후에도 LLM 계산량은 지속적으로 증가하리라 예상되는 바, 고성능 LLM의 경우에는 어지간한 대기업도 LLM 학습이 어렵다.
• OpenAI의 ChatGPT의 성능에 도달한 기업은 아직까지 없다.
• LLM과 같은 거대 모델은 학습할 때의 노하우가 매우 중요하다
• 사견으로는, 현재 대기업들은 LLM 자체 개발의 늪에 빠져있다. 오히려 ChatGPT 등 고성능 LLM을 빠르게 적용할 수 있는 스타트업에게 기회가 있다.

2. LLM Providers (제공, Vendors)

• LLM을 직접 만들어 제공하는 업체
  • 예시) OpenAI ChatGPT, Google Gemini 등
• 일정의 인프라 기업이자 플랫폼 기업
  • 인터넷 선을 깔아서 포팅 등
  • 인터넷 서비스 업체에게 통신료를 걷음
• LLM Provider끼리 경쟁
  • 어마어마한 학습 비용으로 인해 하드와 독과점 시장
  • LLM 학습 방법 발전으로 자유시장으로 점차 변환 기대
• 스타트업이 LLM 제작에 뛰어드는 경우, 일반적으로 다소 작은 LLM (sLLM)을 목표함
  • sLLM: 대략 매개변수 수가 7B~70B 사이의 모델

Proprietary LLM

• 가중치 공개 X, API 형태로 사용하는 서비스
  • 사용량에 따라서 요금이 부과된다.
• 정해진 형태로만 활용이 가능하고
• 대표적인 서비스
  OpenAI ChatGPT, Google Gemini

Open-weight LLM

• 가중치가 공개되어 있는 모델
  • 가중치 공개와 별도로 라이선스에 따라 상용으로 사용이 불가능할 수도 있음
• 커스터마이징이 가능
• 대표적인 모델: 라마, 미스트랄, SOLAR

비교 정리

사유 LLM	공유 LLM
클라우드 서비스	자체 구축
설비 구축 및 관리가 최소화	자체 설비 구축 및 관리 필요
비용이 적음	비용이 많음 (GPU 서버 구매)
요청하는 만큼 금액 청구	GPU를 최대한 활용하지 않을 시 비쌈
Fine-tuning을 활용할 시 매우 비쌈	Fine-tuning 여부와 관계 없이 동일한 유지비용
데이터 유출 우려 존재 (Query가 외부 회사에 전달)	데이터 유출 우려 없음

3. LLM Applications (응용)

• LLM을 직접 만들진 않지만, LLM 응용 프로그램을 만드는 업체
  • 네이버와 같은 포털 사이트를 운영하며, 내가 직접 인터넷 선을 깔 필요는 없음
• 여러 LLM Provider 중 고품질/가성비의 LLM을 제공하는 업체를 선택
• 사용자에게 LLM을 응용한 서비스를 제공하여 사업화
• 스타트업의 접근성이 좋음
  • LLM에 응용한 많은 금융규제나, 각 분야에 빠르게 대응 및 적용하기엔 스타트업이 적격

CahtGPT Plugins

• ChatGPT에 추가 기능 설치
• ChatGPT가 추가된 도구를 호출하여 다양한 상호작용이 가능

GPTs

• ChatGPT 개인화 도구
  특정 목정에 맞게 Customizing
• 코딩 없이도 개인화가 가능
• 다양한 능력을 알맞게 설정 가능
  • 파일을 읽기, 웹 검색, 이미지 생성 등
  • 특정 주소 서버 API를 호출하여 외부 서비스 작동

GPT Store

• Customizing 된 GPT를 공유하고 판매하는 곳
  • ChatGPT판 Play store

... 이외에도 많다...

4. LLM Deployment

• 다양한 LLM이 등장하였지만, 이들은 제각기 다른 API 형태를 지니고 있다.
  • Huggingface, ChatGPT, Gemini
• Torch나 Huggingface 등기존 라이브러리는 학습과 같이 LLM 서빙시 불필요한 모듈이 존재한다.
• 다양한 LLM을 동일하게 다루면서, LLM 추론만을 전문적으로 하는 라이브러리가 없을까?

Langchain

• 개발자 Harrison Chase가 2022년 10월 말 공개
• LLM과 응용 프로그램의 통합을 간소화
• 다양한 연산을 Chain으로 엮어 순차적으로 작업이 수행됨
• LLM 활용을 위한 다양한 모듈을 제공

양자화

• 거대한 LLM을 직접 운용하기위하여 모델 크기를 줄이는 것이 필요
• 실수 표현을 정수 표현으로 바꾸어 계산을 가속화

LLM을 직접 운용하는 경우 채산성을 잘 고려할 것

• 직접 운용: 서버 장애 가능성 항상 염두, 유지 보수 관리 필수
• 클라우드 운용: GPU 활용율이 50% 인 경우, 사실상 2배 비싼 금액으로 운용하고 있는 격이다.
  • 사용량이 많지 않다면, API를 활용한 사유 LLM 금액이 더 저렴할 수 있다.