[Study] LLM vs Diffusion 모델

LLM vs Diffusion 모델: 생성 AI의 두 축

LLM (Large Language Model)

LLM은 대규모의 텍스트 데이터를 학습하여 사람처럼 자연스럽게 문장을 생성하거나 이해할 수 있는 모델. 예시: GPT, Claude, Gemini

• 특징
  Transformer 기반: Attention 메커니즘을 활용하여 문맥 이해 능력이 뛰어남.
  사전학습(Pre-training) + 미세조정(Fine-tuning) 구조.
  텍스트 생성, 요약, 번역, 질문 응답 등 다양한 자연어 처리 작업에 특화.
• 대표 모델
  OpenAI GPT 시리즈
  Google PaLM, Gemini
  Anthropic Claude 등
• 사용 예시
  ChatGPT와 같은 챗봇
  이메일 자동 작성
  코드 자동 완성 (Copilot)
  논문 요약, 번역 등

Diffusion Model

Diffusion 모델은 이미지를 점차적으로 노이즈로 바꿨다가, 다시 원래 이미지로 복원하는 과정을 학습해 이미지를 생성하는 모델입니다.

• 특징
  확률적 생성 모델로, 노이즈를 제거해가며 이미지를 만들어냄.
  학습과정은 ‘노이즈 추가 → 제거’를 반복하며 데이터 분포를 익힘.
  시간은 오래 걸리지만 고해상도, 사실적인 이미지 생성이 가능.
• 대표 모델
  Stable Diffusion (오픈소스, 로컬 실행 가능)
  DALL·E 2 (OpenAI)
  Midjourney
  Google의 Imagen 등
• 사용 예시
  AI 아트워크 생성
  이미지 기반 광고 시안
  게임, 애니메이션 캐릭터 컨셉 제작
  Text-to-Image 서비스 등

LLM vs Diffusion 모델 비교

항목	LLM	Diffusion Model
주로 다루는 데이터	텍스트	이미지
기반 구조	Transformer	확률적 샘플링 기반
주요 사용 분야	대화, 요약, 번역, 코드	이미지 생성, 편집
생성 과정	다음 단어를 예측	노이즈를 제거하며 이미지 복원
대표 서비스	ChatGPT, Claude, Gemini	Stable Diffusion, DALL·E, Midjourney

언제 무엇을 써야 할까?

텍스트가 중심인 작업 -> LLM.
이미지 생성/편집 작업 -> Diffusion.