LLM, sLLM, sLM에 대하여

참고

• 언어 모델 비교 - LLM, sLLM, sLM
• [LLM] AI 언어 모델 종류 정리(LLM, SLM, sLLM, VLM, Vertical)
• LLM/sLLM/sLM 정의 및 특징

RAG를 진행하며, LLM을 많이 사용한다.
그 와중에 sLLM이라는 것도 사용하게 되어서, 둘 간의 차이점이 뭔지 궁금해졌다.
그에 더해 sLM이라는 것도 있다 하여 아래에 정리해보고자 한다.

1. LLM

• Large Language Model의 약자.
• 대규모 텍스트 데이터를 학습해 언어를 이해하고 생성하는 모델.
• 수십억~수천억 개의 파라미터를 가짐.
• 예시: GPT-4, GPT-5, LLaMA, Claude 등.
• 장점: 높은 성능, 다양한 작업 가능.
• 단점: 크고 무겁고, GPU 자원이 많이 필요.

2. sLLM

• Small-scale Large Language Model 또는 Small LLM이라고 부름.
• LLM에서 파생된 개념으로, 파라미터 수를 줄인 경량 모델.
• 보통 10억~70억 파라미터 수준 (LLM은 100B~1000B 이상이 흔함).
• 장점: 가볍고 빠르며, 로컬 PC나 단일 GPU에서도 실행 가능.
• 예시:
  • LLaMA 7B
  • Mistral 7B
  • Qwen 7B
  • 이런 모델들이 흔히 sLLM 범주에 들어감.

3. sLM

• Small Language Model의 약자.
• 수억 개 이하의 파라미터를 가진 더 작은 언어모델.
• 특정 도메인(법률, 의료, 기업 내부 문서 등)에 특화된 경량 모델로 자주 사용.
• 장점: 초저자원 환경에서도 동작 가능, 특정 태스크에 최적화.
• 예시: 사내 QA 챗봇용 소규모 모델, 오픈소스 DistilBERT, MiniLM 등이 해당.

정리

📌 한 줄 정리

• LLM: 초대형 범용 모델 (수백억+ 파라미터).
• sLLM: 작은 LLM, 경량화된 대형모델 (수십억 파라미터).
• sLM: 아주 작은 언어모델, 특정 목적/도메인용 (수억 이하 파라미터).

📌 표 정리