[논문 리뷰] Super Resolution : (SRCNN) Image Super-Resolution Using Deep Convolutional Networks

논문 이름 : Image Super-Resolution Using Deep Convolutional Networks (ECCV 2014)
원본 논문 : https://arxiv.org/pdf/1501.00092
키워드 : Super-resolution, deep convolutional neural networks, sparse coding

요약 : CNN을 활용한 딥러닝 super resolution의 시초

느낀 점 : 딥러닝 기초적인 개념에 대해서 공부한 뒤, 처음 읽는 논문으로 컨볼루션에 쓰임에 대해서 알 수 있었고 초해상화의 베이직한 매커니즘을 알 수 있었음.

---

1. Introduction

Single Image Super Resolution (SISR) : 저해상도(Low Resolution) 이미지를 고해상도(High Resolution) 이미지로 바꾸는 것

여기서 ill- posed problem 발생함

ill- posed problem : LR 이미지를 HR 이미지로 바꾸면 HR 이미지 후보가 여러가지이며 해가 하나로 특정되지 않음

해당 문제를 해결하기 위해 사전 정보을 통해 HR 범위 제한하여 문제 해결사전 정보를 학습하기 위해 example-based startagy 사용

Sparse-coding-based method : 대표적인 external-based SR methods
1. input image의 overlapping patches densely crop & 전처리
overlapping은 패치들이 서로 겹치게 패치를 설정하고 densely는 겹치는걸 빽빽하게 하여 설정

2. 이 patches들은 low - resolution dictionary에 인코딩

3. high resolution patches을 만들기 위해 sparse coeffcient들이 high resolution dictionary로 전달

4. reconstruct된 overlapping patches들은 weighted averaging 같은 과정을 통해 output을 만듬

​

• 다시 정리하면, 인풋에서 패치를 빽빽하게 추출하고 저해상도 딕셔너리에 맵핑 그다음 저해상도 딕셔너리와 고해상도 딕셔너리의 관계를 해석

• 딕셔너리를 최적화, 학습 시켜 효율적인 매핑 함수를 만듬

​

이 파이프라인은 개별적으로 learning&optimizing 됨 거의 unified하게 되지 않음

SRCNN은 end to end mapping 기법으로 진행되고 기존 Sparse 방법에서 변형된 것이 아니라 기존 방법을 따라 CNN으로 구현

dictionary, manifold 사용 안하고 hidden layer로 달성

SRCNN의 특징

1. 구조 간단, 기존과 비교하면 성능 우수

2. CPU 환경에서도 빠른 속도로 돌아감 why? : feed-forward, 동작 중 최적화 노필요

3. 크고 다양한 데이터셋, 모델을 사용할 시 우수하게 복원 가능

4. 3채널 컬러 이미지인 경우 3채널에 대해 동시 처리 가능

​

3 CNN for SR

LR을 bicubic interpolation으로 upscale 유일한 pre-processing -> Y

F(Y)을 ground-truth (X)에 가깝게 만드는 F을 학습

1) Patch extraction and representation

overlapping으로 patch 추출 -> high dimension vector 표현

: 이미지의 픽셀값들을 수치적으로 변환해서 고차원 벡터로 표현, 이미지의 각 픽셀에 해당하는 색상값을 나열하여 하나의 긴 벡터를 만듬

==

첫 번째 layer에서 필터들로 컨벌루션 최적화를 포함

Relu 함수 통과

2) Non - linear mapping

F1(Y)에서 n1차원 feature 추출했음

n2차원으로 벡터를 비선형적으로 매핑 : 11, 33, 5*5 conv

-> 또 다른 feature map 집합 구성

비선형 매핑으로 이미지의 복잡한 패턴, 세부사항 복원하기 위함

3) Reconstruction

W3이 평균화 시키는 필터

고해상도 patch들을 평균화시켜서 output 만듬

다른 도메인에서 표현 : 가중치를 먼저 coefficientt를 image 도메인으로 project 시킨 후 평균화

이미지 도메인 : 바로 필터들이 평균화 필터

Loss function : MSE loss

Experiments

---

코드 구현 및 실행