AI | 파인튜닝

🥔 파인튜닝(Fine-tuning)이란?

파인튜닝(Fine-tuning)은 사전학습된(Pre-trained) 모델에 도메인 특화 데이터를 추가로 학습시켜 특정 작업에 더 잘 맞는 모델로 만드는 과정이다.

즉, 이미 일반적인 언어 이해 능력을 가진 모델에게 “너는 이제 고객센터 업무에 집중해줘” 혹은 “이제 법률 문서를 잘 다뤄야 해” 같은 식으로 추가 학습을 시켜주는 것이다.

---

🥔 왜 파인튜닝을 사용할까?

상황	설명
기존 LLM이 너무 범용적일 때	범용 LLM은 전문 용어나 특정 문맥에 약할 수 있음
매번 프롬프트로 컨텍스트를 설명하기 번거로울 때	모델 자체가 도메인 지식을 내재화하도록 만들면 편리
응답의 일관성과 톤이 중요할 때	사내 스타일이나 정책에 맞는 응답을 유도 가능
특정 포맷이나 작업을 자동화하려 할 때	예: 회의 요약, 이메일 분류, 코드 자동완성 등

---

🥔 파인튜닝의 구조

graph TD
    A[사전학습된 LLM] --> B[도메인 특화 데이터셋]
    B --> C[파인튜닝된 모델]
    C --> D[특정 작업 성능 향상]

• A: 범용 LLM (ex: GPT, BERT 등)
• B: 기업 내부 FAQ, 대화 데이터, 코드 등
• C: Fine-tuned Model (LLM + Custom Knowledge)
• D: 챗봇, 요약, 분류, 추론 등의 성능 향상

---

🥔 파인튜닝 vs 프롬프트 엔지니어링

항목	파인튜닝	프롬프트 엔지니어링
방식	모델의 가중치를 직접 조정	프롬프트만 조작
장점	높은 일관성, 성능	빠르고 저렴
단점	비용, 시간, 복잡성	한계 존재, 유지보수 어려움
용도	장기적인 대화, 전문 작업	빠른 테스트, 단발성 질의

---

🥔 파인튜닝에 사용되는 데이터

형태	예시
Q&A 쌍	고객 질문 & 모범 답변
대화 로그	상담사와 고객 간 대화
명령어 데이터	“보고서를 요약해줘” → “요약 결과”
코드 데이터	함수명 → 기능 구현

⚠️ 데이터가 클린하고 일관성 있어야 모델 성능도 좋아진다!

---

🥔 파인튜닝의 흐름

1. 데이터 정제 (Cleaning)

   • 중복 제거, 포맷 통일, 이상값 제거

2. 데이터 포맷팅

   • JSONL 또는 명령어-응답 구조로 구성

3. 학습 환경 구성

   • AWS Sagemaker, Hugging Face Trainer, LoRA 등 선택

4. 모델 학습

   • 학습률, 에폭, 배치사이즈 등 하이퍼파라미터 튜닝

5. 평가 및 배포

   • 평가 데이터로 정확도 확인 → API 혹은 애플리케이션에 연결

---

🥔 대표적인 파인튜닝 방식

방식	설명
Full Fine-tuning	전체 모델 파라미터 학습. 성능 높지만 리소스 많이 소모
LoRA	파라미터를 일부만 업데이트. 경량화에 적합
QLoRA	Quantization + LoRA. 효율성과 성능의 균형
PEFT	다양한 Parameter Efficient Fine Tuning 기법 통칭

---

🥔 파인튜닝 도구 & 프레임워크

• Hugging Face Transformers: 가장 대중적, 커뮤니티 활발
• AWS Sagemaker JumpStart: GUI 기반 실습 지원
• OpenAI Fine-tuning API: GPT 모델 기반 파인튜닝 지원
• Colossal-AI / DeepSpeed: 대규모 학습 최적화

---

🥔 정리

• 파인튜닝은 “우리 조직만의 LLM”을 만들기 위한 핵심 기술이다.
• 장기적, 고정된 작업에서는 프롬프트보다 효율적일 수 있다.
• 데이터 품질과 목적에 따라 LoRA, QLoRA 등 경량화 기법도 적극 고려해보자.