📢 Transformer와 LLM에 대한 기본 내용을 정리한 페이지입니다.
포함 관계 정리
AI (인공지능)
└─ ML (머신러닝)
└─ DL (딥러닝)
└─ Transformer (아키텍처)
└─ LLM (대규모 언어 모델)ML
규칙을 사람이 직접 짜는게 아니라, 기계가 데이터로 스스로 패턴을 학습하는 방법론이다. 스팸 분류기, 추천 시스템이 여기에 속한다.
DL
신경망을 여러 층으로 깊에 쌓아 학습하는 ML 의 한 방법론이다. 이미지 인식, 음성 인식이 여기에 속한다.
Transformer
2017년 구글이 발표한 DL 아키텍쳐다. 어텐션(attention) 메커니즘이 핵심이다. BERT, GPT, Qwen 이 여기에 속한다.
LLM
Transformer 를 아주 크게 만들고, 방대한 텍스트로 학습시킨 언어 특화 모델이다. GPT-4, Gemini, Claude 가 여기에 속한다.
Transformer 란?
등장 배경
기존 방식(RNN, LSTM 등)의 한계로 등장했다. 한계라 함은 아래와 같다.
1. 문장을 순서대로 하나씩 읽어야 해서 처리 속도가 느리다.
2. 문장이 길어지면 앞부분 내용을 잊어버리는 장기 의존성 문제가 있다.
이를 해결하는게 Attention 이다.
Attention
문장 속 각 단어가 다른 단어들과 얼마나 관련 있는지를 계산해서 맥락을 파악하는 방식이다.
Transformer 가 가져온 변화
- 문장 전체를 한 번에 병렬로 처리가 가능하여, 학습/추론 속도가 대폭 향상되었다.
- 긴 문맥도 상대적으로 잘 유지한다.
- 이후 등장하는 대부분의 언어 모델의 기본 뼈대가 되었다.
LLM 이란?
Large Language Model 로, Transformer 아키텍처를 기반의 파라미터 수를 수십억~수천억개 규모로 키우고, 방대한 텍스트 데이터로 사전학습 시킨 모델이다.
LLM 의 일반적인 개발 단계
- 사전학습(pretraining): 방대한 텍스트로 언어를 이해/생성하는 일반 능력을 학습시킨다.
- 파인튜닝(fine-tuning): 특정 목적(지시 따르기, 특정 도메인 지식 등)에 맞게 추가 학습시킨다.
- (선택) RLHF / 정렬(Alignment): 사람의 선호도에 맞게 응답 스타일을 조정한다.
파인튜닝 방식 비교
| 방식 | 설명 | 특징 |
|---|---|---|
| Full Fine-tuning | 전체 파라미터 재학습 | 성능은 좋지만 GPU 자원 多 필요 |
| LoRA | 원본 가중치는 고정, 작은 어댑터 레이어만 학습 | 적은 자원으로 가능, 실무에서 널리 사용 |
| QLoRA | LoRA + 4bit 양자화 결합 | 더 적은 메모리로 가능 |
정리
Transformer = "어텐션 메커니즘 기반의 딥러닝 아키텍처" (설계도)
LLM = "그 설계도로 만든, 언어에 특화된 초대형 모델" (완성품)- Transformer는 구조(아키텍처)를 가리키는 말
- LLM은 그 구조를 활용해 대규모로 만들어진 언어 모델을 가리키는 말
- 오늘날 거의 모든 유명 LLM(GPT, Gemini, Claude, Qwen 등)은 Transformer 아키텍처를 기반으로 함
