LLM 파인튜닝/훈련 생명 주기

LLM 파인튜닝의 생명주기를 단순한 “단계 나열”로 보면 실제 운영에서 실패하기 쉽습니다. 핵심은 각 단계가 독립이 아니라 피드백 루프를 형성하는 시스템이라는 점입니다. 아래는 실무 기준으로 재구성한 lifecycle과 각 단계에서 흔히 놓치는 포인트입니다.

---

1) Raw Data 수집

목표: “모델이 앞으로 해야 할 일”의 분포를 최대한 반영

핵심 포인트

• Task-aligned data가 가장 중요
  → 일반 웹데이터보다 실제 서비스 로그가 훨씬 가치 있음
• Quantity vs Quality
  → 파인튜닝에서는 양보다 정제된 품질이 더 중요
• Long-tail 확보
  → 실패 케이스 중심 데이터 수집 (이게 성능을 좌우)

실무 팁

• 로그 기반 수집: 사용자 질문 + 모델 응답 + 수정된 정답
• synthetic data 생성 (teacher model 활용)
• 데이터 스키마 정의 (instruction / input / output)

---

2) 데이터 가공 (Curation & Labeling)

목표: 모델이 학습 가능한 형태로 구조화

핵심 포인트

• Instruction tuning format

{
  "instruction": "...",
  "input": "...",
  "output": "..."
}

• 노이즈 제거 > 데이터 양 증가
• 스타일 통일 (tone, format consistency)

중요한 문제

• Label leakage (정답 힌트 포함)
• bias amplification
• hallucination 데이터 포함

고급 전략

• ranking 데이터 구축 (RLHF/DPO 대비)
• multi-turn conversation 구성
• error tagging (왜 틀렸는지 메타데이터 추가)

---

3) 파인튜닝 (Training)

목표: Base model → 특정 task/domain에 최적화

방법론

• SFT (Supervised Fine-Tuning): 기본
• DPO / RLHF: 응답 품질 개선
• PEFT (LoRA, QLoRA): 비용 절감

주요 선택지

• Full fine-tuning vs LoRA
• instruction tuning vs domain adaptation
• context length 확장 여부

실패 패턴

• overfitting (특히 데이터 적을 때)
• catastrophic forgetting
• instruction following degrade

---

4) 평가 (Evaluation)

목표: “좋아졌다”를 객관적으로 증명

평가 레이어

1. 자동 평가

   • BLEU / ROUGE (거의 의미 없음 for LLM)
   • LLM-as-a-judge

2. Task-specific metric

   • 정확도, F1, retrieval hit rate

3. Human evaluation (필수)

   • helpfulness
   • correctness
   • safety

핵심 포인트

• Offline eval ≠ 실제 서비스 성능
• 반드시 golden dataset 유지

---

5) 서비스 (Serving)

목표: 실제 사용자 환경에서 안정적으로 동작

구성 요소

• inference 서버 (vLLM, TGI 등)
• prompt engineering
• RAG 결합 여부

중요 포인트

• latency vs quality tradeoff
• context window 관리
• caching 전략

현실 문제

• hallucination
• 비용 폭증
• prompt injection

---

6) 업데이트 (Iteration & Feedback Loop)

목표: 지속적 성능 개선

User Interaction → 로그 수집 → 실패 케이스 분석 → 데이터 추가 → 재학습

전략

• Active learning
• Online A/B testing
• Continual fine-tuning

가장 중요한 부분
👉 이 단계가 실제 성능을 결정함

---

전체 Lifecycle 구조 (핵심 요약)

[Data Collection]
        ↓
[Data Curation]
        ↓
[Fine-tuning]
        ↓
[Evaluation]
        ↓
[Serving]
        ↓
[Feedback Loop → 다시 Data Collection]

---

실무 관점에서의 핵심 인사이트

1. 모델 성능 = 데이터 품질

   • 모델 구조보다 데이터가 더 중요

2. Evaluation 설계가 절반

   • 잘못된 평가 → 잘못된 모델 선택

3. Fine-tuning보다 RAG가 더 효과적인 경우 많음

   • 특히 최신 정보 / factual task

추천 아키텍처 (실전형)

Base LLM
   ↓
SFT (instruction tuning)
   ↓
RAG layer 추가
   ↓
DPO (선택)
   ↓
Production
   ↓
Feedback loop (핵심)

---

추가로 고려해야 할 고급 요소

데이터 측면

• data versioning (DVC)
• dataset lineage
  모델 측면
• model registry
• experiment tracking (MLflow)
  운영 측면
• canary deployment
• rollback 전략

---

결론

LLM 파인튜닝 lifecycle의 본질은 다음 한 줄로 정리됩니다:
👉 “모델을 학습시키는 것이 아니라, 데이터를 통해 시스템을 계속 진화시키는 과정”