논문해석

이 논문은 최초로 딥 러닝을 이용한 새로운 super-resolution(초해상화) 기술을 제안한다. SR 저해상도 이미지에서 고해상도 이미지를 복원하는 기술이다.

딥러닝 기반의 SRCNN 모델이 super-resolution 분야에서 눈에 뛰는 속도와 품질결과를 보여줬었다. 그러나 real-time(24fps)으로 구현하기에는 높은비용의 연산량 때문에 턱없이 부족했다.

최근 초해상화 관련 논문은 deep convolutional neural networks (DCNN)을 이용한 모델들이 많았다. 특히, residual learning 기술들이 초해상화 성능 향상에 크게 기여했다.

최근 연구들에 따르면 deep convolutional neural networks를 이용한 super-resolution의 성능이 향상했다. 이 논문은 dense skip connection을 사용한 깊은 SRDenseNet 모델을 소개한다

Deep convolutional neural networks (CNNs)를 사용해서 Addictive White Gaussian Noise(AWGN)를 성공적으로 지울 수 있었지만, 실제 real world에서 생기는 노이즈를 지우는 것은 아직까지 제한적이었다.

모델 베이스 최적화 방법론과 차별화 학습 방법론이 low-level vision의 문제를 푸는데 대부분 사용된다.

USRNet은 처음으로 end-to-end 학습 모델로 classical degradtion 문제들을 해결

Single Image Super-resolutoin (SISR)으로 현실에서 훼손된 이미지를 복원할려고 하면 잘 되지 않는 경우가 많다. 여러 종류의 열화기법을 사용해서 SISR 모델을 학습을 시켜도 현실에서 여러 이유로 훼손된 이미지를 복구하기란 쉽지않다.

이 논문은 기존의 강력한 ESRGAN super-resolution 모델을 다양한 전처리 열화기법 단계를 추가해서 Real-ESRGAN 모델로 확장한다. 실생활에서 생기는 열화를 구현하기 위해 high-order 열화기법이 도입됬다.

열화가 심한 이미지에서 사람의 얼굴을 복원하는 것은 대단히 어려운 일이다. 알 수 없고 복잡한 방법으로 열화 이미지를 deep neural network (DNN)으로 학습한 모델로 결과를 보면 참담하다.

최근에 GAN으로 생성한 이미지의 품질과 해상도가 크게 향상되었다. 하지만 수 많은 연구가 있었지만 현실적인 이미지를 생성하는 것은 불완전해보였다. 논문의 저자는 안정적이게 고해상도의 얼굴 이미지를 생성하는 모델을 제안한다.

StyleGAN은 고해상도의 이미지를 현실적으로 생성한다. 하지만 특정 부분에서 노이즈를 생성하고 또 부자연스러운 부분을 생성하기도 한다.

Focal loss 손실함수는 Focal Loss for Dense Object Detection 객체탐지 논문에서 처음으로 등장했다.

단일 데이터로 스타일을 입힌 모델은 스타일의 자세한 특징을 담기 어렵다는 것이 문제다. 예로 들어 눈의 모양, 얼굴형 등이 있다.

사람이 가진 눈, 팔, 어깨, 다리, 발목을 deep learning 으로 탐지해보자