Abstract
- cnn을 이용한 super-resolution의 정확도와 속도에도 불구하고, texture details이 떨어지는 현상 해결
- by minimizing MSE, to optimize super resolution method >> high peak signal-to-noise ratios(PSNR : super resolution을 평가하는 지표)
- mse에 의존한 psnr값 자체로는 높을지언정 눈으로 판별했을 때의 해상도는 높지 않다.- 4X upscaling이 가능한 최초의 framework로 psnr을 판단하는 데에 있어서 다른 지표를 제안 >> adversarial loss와 content loss를 포함하는 perceptual loss function을 제안한다.
goal
LR input image로부터 HR image를 생성하는 Generating function G를 훈련시켜서 texture detail이 표현된 고화질의 image생성
결과 Generator는 Discriminator를 속이기 위한 HR image를 만든다.
idea
- MSE는 pixel-wise average loss 즉 평균을 내어 계산하기 때문에 smooth하지만, high-frequency content에서는 문제가 될 수 있다.
(MSE를 계산할 때 쓰이는 아래의 Natural Image들은 possible solutions의 result이다.)- 따라서 mse대신, VGG loss(based on RELU activation layers of pre-trained 19 layer VGG network)를 정의한다. (generator을 통해 얻어낸 이미지를 직접 비교하는 것이 아닌, pre-trained VGG model에 입력했을 때 나오는 feature map에서의 차이를 perceptual loss의 content loss로 이용한다)
content loss
