목차
- 1. Diffusion 모델이란
- 2. 이미지 생성에서의 활용 방식
- 3. Diffusion 모델이 잘 작동하는 이유
- 4. Diffusion 모델의 주요 장점
- 5. 단점
- 6. GAN 및 VAE와의 비교 요약
- 7. 핵심 정리
1. Diffusion 모델이란?
데이터에 점진적으로 노이즈(noise)를 추가했다가, 그 노이즈를 단계적으로 제거하면서 원본 데이터를 복원하도록 학습하는 생성 모델
완전히 무작위한 노이즈에서 시작해, 조금씩 노이즈를 제거하면 결국 실제 데이터가 된다는 내용이다.
참고 : 용어 설명
- Diffusion(확산): 시간이 지남에 따라 정보가 점점 퍼지고 흐려지는 과정
- Noise(노이즈): 이미지에 인위적으로 추가한 무작위 잡음
- Step(단계): 노이즈를 추가·제거하는 작은 시간 단위
2. 이미지 생성에서의 활용 방식
Diffusion 모델은 두 개의 과정으로 구성된다.
(1) Forward Process (확산 과정)
실제 이미지에 여러 단계에 걸쳐 점점 더 많은 노이즈를 추가한다.
최종적으로 거의 완전한 가우시안 노이즈가 된다.
원본 이미지를 조금씩 망가뜨려서 마지막에는 아무 의미 없는 노이즈로 만드는 것이다.
(2) Reverse Process (역확산 / 생성 과정)
신경망은 노이즈가 섞인 이미지 로부터 추가된 노이즈를 예측하고 제거하는 법을 학습한다.
그 과정을 반복하면 순수 노이즈에서 실제 이미지가 생성된다.
흐릿한 이미지에서, “이 단계에서 제거해야 할 잡음이 무엇인지”를 맞히는 모델이 되는 것이다.
3. Diffusion 모델이 잘 작동하는 이유
(1) 학습 목표가 단순하다
- GAN: 두 네트워크 간 경쟁 → 불안정
- Diffusion: 노이즈 예측이라는 명확한 회귀 문제
“이 이미지에 섞인 노이즈가 무엇인지 맞혀라” 라는 단순하고 안정적인 목표를 가진다.
(2) 데이터 분포를 직접 근사하지 않는다
Diffusion은 데이터 분포를 한 번에 맞히지 않고, 아주 작은 단계들의 조건부 분포를 차례대로 학습한다.
따라서 고차원 데이터에서도 안정적으로 학습 가능하다.
(3) Mode Collapse 문제가 거의 없다
Diffusion 모델은 노이즈에서 시작해 다양한 경로를 거치므로 출력 다양성이 매우 높다.
참고 : Mode Collapse: 생성 모델이 소수의 결과만 반복 생성하는 현상 (GAN의 대표적 문제)
4. Diffusion 모델의 주요 장점
(1) 높은 이미지 품질
- 디테일, 질감, 구조 표현이 매우 뛰어남
- 현재 최고 수준의 이미지 생성 성능
(2) 학습 안정성
- GAN처럼 미묘한 균형 조절 필요 없음
- 수렴이 비교적 예측 가능
(3) 다양한 조건부 생성 가능
- Text-to-Image
- Image-to-Image
- Inpainting / Outpainting
- Super-resolution
→ 조건을 추가하기 쉬운 구조
(4) 이론적 해석이 명확함
- 확률적 모델 기반
- 변분 추론(Variational Inference) 관점에서 설명 가능
5. 단점
- 샘플링 속도가 느림. 수십~수백 step 필요
- 계산 비용 큼
※ 최근에는 DDIM, Latent Diffusion, Sampling Acceleration 기법으로 많이 개선됨
6. GAN 및 VAE와의 비교 요약
| 항목 | GAN | VAE | Diffusion |
|---|---|---|---|
| 학습 안정성 | 낮음 | 높음 | 매우 높음 |
| 이미지 품질 | 높음 | 낮음 | 매우 높음 |
| Mode Collapse | 있음 | 없음 | 거의 없음 |
| 샘플링 속도 | 빠름 | 빠름 | 느림 |
| 이론적 기반 | 약함 | 강함 | 강함 |
7. 핵심 정리
- Diffusion 모델은 노이즈를 제거하는 과정을 학습하는 생성 모델
- 순수 노이즈에서 시작해 단계적으로 이미지를 생성
- 학습이 안정적이고 결과 품질이 매우 높음
- 현재 이미지 생성 분야의 표준 모델 구조
Diffusion 모델은 노이즈에서 시작해 점점 이미지를 복원하는 방식으로,
안정적이면서도 고품질의 이미지를 생성하는 모델이다.
