[Deep Learning👽] Loss 정리 2️⃣ : VGG loss

✅ VGG Loss (SRGAN Content Loss)

VGG Loss는 SRGAN( [CVPR2017] photo-realistic single image super-resolution using a generative adversarial network )에서 처음 등장한 Loss이다.

VGG loss를 설명하기 위해 SRGAN에서 사용하는 loss function 전체를 확인해보자.

SRGAN에서 사용하는 loss function은 논문 내에서 "Perceptual loss function"이라고 정의하는데 형태는 다음과 같다.

1. content loss
2. adversarial loss

이렇게 두가지의 합으로 이루어져 있고, content loss에서 기존의 super resolution model에서의 MSE loss를 사용하지 않고 새로운 'VGG Loss'를 제안하였다는 점이 이 논문에서 주목할만한 점이다. adversarial loss부분은 앞 포스팅에서 정리한 GAN loss의 형태와 똑같으므로 넘어가고, content loss부분만 살펴보겠다.

MSE loss와 비교

content loss부분을 MSE loss가 아닌 VGG loss를 사용하였다고 했는데,
먼저 pixel-wise MSE loss는 다음과 같은 식으로 정의된다.

MSE loss는 식에서도 확인할 수 있듯이 high resolution 이미지와 low resolution 이미지를 화질 개선하여 만들어낸 이미지의 차이를 제곱하여 '평균'을 낸다. 결국은 pixel단위로 평균을 내는 loss이므로 과하게 smoothing되는 단점이 존재한다.

이 때, PSNR의 식의 분모에는 MSE값이 포함되기 때문에, PSNR과 MSE는 역수관계에 있어 MSE 값이 낮아질수록 PSNR이 높아지므로 PSNR을 높이기 위해 MSE 값을 계속 작게 만들게 될 것이고,
결국 너무 많이 smoothing되어 high frequency부분(ex. edge부분)은 날라가 texture이 잘 표현되지 않게 된다.

참고로, PSNR의 식은 다음과 같다.

VGG loss

이러한 MSE loss의 문제점을 해결하기 위해 'VGG Loss'를 새로 정의하는데 VGG Loss는 다음과 같은 식으로 정의된다.

perceptual similarity에 더 가까운 loss로, 이 loss는 pre-train된 19 layer VGG network의 ReLU 활성화 계층을 기반으로 정의한다.

pre-trained된 VGG net을 이용해서 feature map(VGG19 network 속 i번째 maxpooling layer 전 activation 후 j번째 convolution에 의해 얻어진 feature map)에서의 유클리디안 거리를 계산하는 방법을 사용한다. reconstructed image와 reference image(high resolution image)의 feature map사이 거리를 구하는 것이다.

따라서 pixel 각각의 값이 아닌 'perceptual similarity'에 집중하였기 때문에 좀 더 detail한 부분을 잘 잡아낼 수 있게 되었다.

(이 vgg loss이 정말 perceptual similarity를 잘 잡아내는지, 관련 질문들에 대한 답을 준 논문이 바로 저번 포스트에 리뷰했던 논문이다)
=> [CVPR 2018] The unreasonable effectiveness of deep features as a perceptual metric

---

이 VGG loss는 무언가를 할때마다 꼭 등장하는 loss인 것 같다..이 loss를 사용하지 않으면 edge 부분이 전혀 살아나지 않다는 걸 얼마 전 이미지 생성하는 task를 하다가도 또 한번 느꼈었다..!

다음 글로는 Wasserstein GAN에서 사용한 WGAN loss를 정리해야겠당,,,

끝`(>﹏<)′