Denoising Diffusion Probabilistic Model

Forward process

• forward process는 이전 단계($X_{t-1}$) 기준으로 다음 단계($X_{t}$)에 noise를 추가하는 과정

• 이 과정을 Markov process로 진행하게 되는데 Markov process란 다음 state가 현재 state에만 의존하는 형태이다.

• forward process는 그림과 같이 $q(X_{t} | X_{t-1})$ term으로 볼 수 있음

• 이때, 더해지는 noise는 미리 정해둔 variance schedule $β$를 사용하는데 이를 통해 가우시안 노이즈를 더해가는 프로세스를 q로 정의

Reverse process

• Reverse process는 forward process와 반대로 noise를 제거하는 과정

• $q(X_{t-1} | X_{t})$를 구할 수 없기 때문에 $pθ(X_{t-1} | X_{t})$를 학습하고자 하는 것

• 각 t에서 생성된 노이즈 첨가 샘플들은 reverse process를 학습하기 위한 조건부로 사용

Loss

DDIM

- DDPM과 objective는 동일하지만 non-Markovian process를 보장할 수 있는 새로운 방법을 제시

- DDIM은 non-Marovian process를 통해 deterministic한 sampling을 가능하게 하여 t step에 대한 noised input이 $x_{0}$으로부터 온 것을 명시하여 이전 state에만 의존했던 방법에서 벗어남

sampling