[Deep Learning👽] Loss 정리 1️⃣ : GAN loss

간단하게 딥러닝을 할 때 사용되는 Loss 몇 개를 정리해 보고자 한다.

이번 포스팅부터 loss 하나씩 차근차근 알아보자.

---

✅ GAN Loss (Minimax Loss)

GAN(Generative Adversarial Nets)

GAN은 Generative Adversarial Nets이다.

이 논문에서 소개되는 adversarial nets 프레임워크의 컨셉은 ‘경쟁’으로, discriminative model(판별자)은 sample data가 generative model(생성자)이 생성해낸 sample data인지, 실제 training data distribution인지 판별하는 것을 학습한다.

결국 GAN의 핵심 컨셉은 각각의 역할을 가진 두 모델을 통해 적대적 학습을 하면서 ‘진짜같은 가짜’를 생성해내는 능력을 키워주는 것.

GAN을 설명할 때 많이 사용되는 위조지폐범과 경찰로 GAN을 비유한 이미지이다

minimax loss function

GAN에서 사용하고 있는 loss function은 minimax loss로, 식은 다음과 같다.

각각의 항은 다음을 의미한다.

• 첫번째 항: real data x를 discriminator 에 넣었을 때 나오는 결과를 log 취했을 때 얻는 기댓값
• 두번째 항: fake data z를 generator에 넣었을 때 나오는 결과를 discriminator에 넣었을 때 그 결과를 log(1-결과)했을 때 얻는 기댓값

이 방정식을 Discriminator의 입장, Generator의 입장에서 각각 이해해보자. (아래부터는 간단하게 D,G로 칭하겠다)

1. (D의 입장에서) 이 value function V(D,G)의 이상적인 결과를 생각해보자.
   D가 매우 뛰어난 성능으로 판별을 잘 해낸다고 했을 때,

   • D가 판별하려는 데이터가 실제 데이터에서 온 샘플일 경우에는, D(x)가 1이 되어 첫번째 항은 0이 되어 사라지고 G(z)가 생성해낸 가짜 이미지를 구별해낼 수 있으므로 D(G(z))는 0이 되어 두번째 항은 log(1-0)=log1=0이 되어 전체 식 V(D,G) = 0이 된다.
   • 즉 D의 입장에서 얻을 수 있는 이상적인 결과, '최댓값'은 '0'임을 확인 할 수 있다.

2. (G의 입장에서) 이 value function V(D,G)의 이상적인 결과를 생각해보자.
   G가 D가 구별못할만큼 진짜와 같은 데이터를 잘 생성해낸다고 했을 때,

   • 첫번째 항은 D가 구별해내는 것에 대한 항으로 G의 성능에 의해 결정될 수 있는 항이 아니므로 무시하고
   • 두번째 항에서는 G가 생성해낸 데이터는 D를 속일 수 있는 성능이라 가정했기 때문에 D가 G가 생성해낸 이미지를 가짜라고 인식하지 못하고 진짜라고 결정내버린다. 그러므로 D(G(z)) =1이 되고 log(1-1) = log0 = -∞ 가 된다.
   • 즉, G의 입장에서 얻을 수 있는 이상적인 결과, '최솟값'은 '-∞'임을 확인할 수 있다.

다시말해,

• D는 training data의 sample과 G의 sampl에 진짜인지 가짜인지 올바른 라벨을 지정할 확률을 최대화하기 위해 학습하고, (V(D,G) 최대화)

🌟 이 때 판별자 D는 real or fake를 판단하므로, Binary Cross Entropy loss를 사용한다) 🌟

• G는 log(1-D(G(z))를 최소화(D(G(z))를 최대화)하기 위해 학습되도록하는 것이 (V(D,G) 최소화)

GAN과 minimax loss function의 핵심이다.

(약 1년전 동아리 과제로 이 논문을 리뷰한 적이 있어 관련 링크를 첨부한다 이 리뷰를 다시 보며 기억을 되살리며 loss를 정리했다)

⇒ GAN paper review

---

여러 loss들이 있지만, 아무 생각 없이 정의해서 사용했던 loss들이 많은 것 같아 정리를 시작하게 되었다. (사실 딥러닝 모델에서 중요한건 loss function인데 말야,,) SRGAN에서 사용하는 VGG loss, 그리고 GAN에서 판별자가 binary cross entropy loss를 사용함으로써 발생하는 몇 문제들을 해결하기 위해 제시한 WGAN loss 등등 다른 loss들을 앞으로 정리해 보고자 한다.

끝`(>﹏<)′