📌 언어 모델(Language Model)이란?

1. 정의

**언어 모델(Language Model, LM)**은 **단어 시퀀스(문장)에 확률을 할당(assign)**하는 모델입니다.
쉽게 말해, 어떤 단어들이 가장 자연스럽게 이어지는지 판단하는 모델입니다.

언어 모델을 만드는 방법은 크게 두 가지입니다.

1. 통계 기반 방법
2. 인공 신경망 기반 방법 → 현재 주류, GPT·BERT 등 최신 LLM도 여기에 포함

최근에는 인공 신경망 언어 모델이 압도적으로 높은 성능을 보여주고 있습니다.

2. 언어 모델의 역할

언어 모델은 주어진 문장에서 다음에 올 단어를 예측하거나,
빈칸을 채우는 방식으로 문장의 적절성을 판단합니다.

• 다음 단어 예측 → GPT 계열 모델 (Autoregressive LM)
• 빈칸 채우기 → BERT 계열 모델 (Masked LM)

NLP 연구에서 "언어 모델링(Language Modeling)"은
주어진 단어로부터 아직 모르는 단어를 예측하는 작업을 의미합니다.

3. 왜 단어 시퀀스에 확률을 할당할까?

언어 모델은 확률 계산을 통해 더 자연스러운 문장을 선택합니다.

예시:

• 기계 번역

  P(나는 버스를 탔다) > P(나는 버스를 태운다)

• 오타 교정

  P(달려갔다) > P(잘려갔다)

• 음성 인식

  P(나는 메론을 먹는다) > P(나는 메롱을 먹는다)

4. 다음 단어 예측의 확률 표현

언어 모델은 조건부 확률로 다음 단어를 예측합니다.

예를 들어 다섯 번째 단어의 확률은:

전체 문장의 확률은 각 단어의 조건부 확률을 곱하여 계산합니다.

5. 직관적 이해

예:
"비행기를 타려고 공항에 갔는데 지각을 하는 바람에 비행기를 [ ? ]"

• 사람은 놓쳤다가 가장 적절하다고 판단
• 기계는 앞 단어들을 보고 가능한 후보 단어의 확률을 계산해 가장 높은 확률의 단어를 선택

6. 검색 엔진에서의 활용

검색 엔진은 사용자가 입력한 단어 시퀀스를 기반으로
다음에 올 가능성이 높은 단어를 예측하여 추천 검색어를 제공합니다.

📌 정리

• 언어 모델 = 문장에 확률을 부여하는 모델
• 최신 LLM의 근본 원리
• GPT, BERT 모두 언어 모델의 한 형태
• RAG까지 가기 위해서는 언어 모델 → 파인튜닝 → 검색 결합 순서로 학습 필요