LLM과 VLM
LLM
LLM은 Large Language Model의 약자로, 대량의 텍스트를 학습한 언어 모델이다. LLM은 완성된 문장을 한 번에 만들어내는 것이 아니라, 앞에 나온 token들을 보고 다음 token의 확률분포를 예측하는 방식으로 문장을 생성한다.
즉, LLM의 기본 동작은 다음과 같다.
P(next token | previous tokens)예를 들어 입력 문장이 “이 이미지에는 고양이가” 라고 할 때, 모델은 다음에 올 수 있는 token 후보들에 대한 확률을 계산한다.
| 다음 token 후보 | 의미 |
|---|---|
| 있다 | “고양이가 있다” |
| 보인다 | “고양이가 보인다” |
| 앉아 | “고양이가 앉아…” |
| 있다가 | 다른 문장 전개 가능 |
모델은 이 후보 token들에 확률을 부여하고, 선택된 token을 문장 뒤에 붙인다. 그리고 다시 그다음 token의 확률분포를 예측한다. 이 과정을 반복하면서 문장이 생성된다. 이처럼 LLM은 완성된 문장을 한 번에 꺼내는 모델이 아니라, 앞에 나온 token들을 보고 다음 token의 확률분포를 예측한다. 즉, LLM은 next token prediction을 반복해서 자연어 문장을 생성하는 모델이다.
이때, LLM이 다음 token의 확률분포를 만들었다고 해서 항상 가장 확률이 높은 token만 고르는 것은 아니다. 어떤 방식으로 token을 선택하느냐에 따라 생성 결과가 달라진다. 예를 들어 temperature가 낮으면 확률이 높은 token에 더 몰리기 때문에 안정적이고 보수적인 문장이 나온다. 반대로 temperature가 높으면 낮은 확률의 token도 선택될 가능성이 커져서 더 다양하지만 불안정한 결과가 나올 수 있다. 즉, LLM의 문장 생성은 단순히 확률이 높은 답을 꺼내는 것이 아니라 다음 token 확률 분포 예측과 token 선택 규칙이 맞물려 이뤄진다.
| 방식 | 의미 | 특징 |
|---|---|---|
| Greedy | 가장 확률이 높은 token만 선택 | 안정적이지만 반복적일 수 있음 |
| Sampling | 확률분포에서 무작위로 선택 | 다양하지만 불안정할 수 있음 |
| Temperature | 확률분포를 날카롭게 또는 부드럽게 조절 | 낮으면 보수적, 높으면 다양함 |
| Top-k | 확률 상위 k개 후보에서만 선택 | 너무 낮은 확률 후보 제거 |
| Top-p | 누적확률 p 안의 후보에서 선택 | 문맥마다 후보 수가 달라짐 |
VLM
VLM은 Vision-Language Model의 약자로, 이미지 정보와 언어 정보를 함께 처리하는 모델이다. 이는 이미지를 feature로 바꾸고, 언어모델이 그 feature와 질문을 함께 보고 텍스트 답변을 생성한다. 쉽게 말해서, 이미지 정보를 LLM에 연결해서 자연어 답변을 생성하는 모델을 의미한다.
이때, LLM은 원래 텍스트 token을 입력으로 받아 다음 token을 예측하는 모델이다. 그런데 이미지는 텍스트 token이 아니기 때문에 그대로 LLM에 넣을 수 없다. 그래서 VLM은 이미지를 먼저 feature로 바꾼 뒤, 그 feature를 LLM이 처리할 수 있는 형태로 연결한다. 그러면 언어모델은 그 feature와 질문을 함께 보고 텍스트 답변을 생성한다. 즉, VLM은 이미지 자체를 바로 언어모델에 넣는 것이 아니라, 이미지를 언어모델이 이해 가능한 정보로 변환한 뒤 질문과 함께 처리하는 구조이다.
VLM은 보통 다음의 세 부분으로 구성된다. VLM은 이미지를 그대로 언어모델에 넣지 않고, Vision Encoder가 이미지를 feature로 바꾸고, Projector가 이를 LLM 입력 형태로 맞춘 뒤, Language Model이 이미지 feature와 질문 token을 함께 보고 답변 token을 생성하는 구조를 지니고 있다.
VLM의 답변 생성 방식은 LLM처럼 next token prediction 방식으로 답변을 생성한다. 다만 일반 LLM과 다른 점은, 입력에 텍스트만 있는 것이 아니라 이미지 feature도 함께 들어간다는 점에 있다.
| 구성 요소 | 역할 |
|---|---|
| Vision Encoder | 이미지를 feature로 변환 |
| Projector | 이미지 feature를 LLM이 처리할 수 있는 형태로 맞춤 |
| Language Model | 이미지 feature와 질문 token을 함께 보고 답변 token 생성 |
CLIP과의 차이 정리
| 구분 | CLIP | VLM |
|---|---|---|
| 입력 | 이미지 + 텍스트 후보 | 이미지 + 질문/명령 |
| 처리 | 이미지 embedding과 텍스트 embedding 비교 | 이미지 feature를 LLM에 연결 |
| 출력 | 유사도 점수 | 자연어 답변 (문장) |
| 대표 작업 | zero-shot 분류, 이미지 검색 | image captioning, VQA |
| 핵심 | 같은 embedding space에서 비교 | 이미지 정보를 이용해 텍스트 생성 |
CLIP은 VLM을 이해하기 위한 좋은 출발점이다. 하지만 CLIP은 직접 대답을 생성하지 않는다. VLM은 이미지 feature를 언어모델에 연결하여 답변을 생성한다는 점에서 한 단계 더 생성형 AI에 가깝다.
하지만, VLM은 이미지를 보고 답변을 생성하지만, 항상 정확하게 본다고 보장할 수는 없다. 특히 아래 상황에서는 결과를 조심스럽게 해석해야 한다.
