Abstract
저조도 이미지에서 신호 특징을 식별하고 고조도 범위의 이미지를 과도하게 강조하지 않고 적응적으로 밝히는 autoencoder 기반의 접근 방식을 제안함
The Low-light Net (LLNet)
Learning features from low-light images
-
SSDA
SSDA는 unsupervised 방식으로 데이터 세트의 공간에 포함된 불변 특징을 학습하도록 하는 deep autoencoder이다.y ∈ RN : 깨끗하고 손상되지 않은 데이터
x ∈ RN : 손상되고 노이즈가 있는 y 버전
denoising autoencoder를 사용하면 feed-forward learning function에서는 각 요소를 h(x) = σ(Wx + b) 및 ˆy(x) = σ′(W′h + b′) 식으로 특성화함
-
LLNet
LLNet은 SSDA로부터 영감을 얻어 sparsity-inducing characteristic(희소성 유도 특성)이 신호를 노이즈로부터 정리하는데 사용함
여러 디비에서 많은 이미지들을 사용하여 훈련-> 합성처리(비선형적으로 어둡게 만들고 가우시안 노이즈를 추가)-> 저조도 상황을 시뮬레이션함충분한 양의 자연 저조도 이미지를 수집하고 밝게 조명된 상반품도 확보하는 것은 현실적으로 어렵기 때문
=> 합성 및 자연 이미지 모두 사용하여 노이즈 제거 및 대비 향상 성능을 평가함
- S-LLNet
stage 1에서는 대비 향상, stage 2에서는 노이즈 제거를 위해 일렬로 배치된 별도의 모듈을 포함함
LLNet과의 차이점: 모듈이 어둡게 나온 train set과 노이즈만 있는 train set을 각각 별도로 훈련 된다는 점
=> 유연성이 더 커짐, inference 시간이 조금 더 증가함
Training
LLNet은 3개의 DA(denoising autoencoder) 레이어로 구성되어 있음
169개의 표준 테스트 이미지에서 추출된 422,500개의 패치를 사용하여 모델을 훈련함
패치 생성 시에는 이미지 픽셀을 0과 1 사이로 정규화, 각 이미지에서 2500개의 무작위 위치에서 패치를 생성
17×17 픽셀 패치는 MATLAB 사용하여 비선형적으로 어둡게 만들어지고, 가우시안 노이즈로 손상.
=> 이렇게 함으로써 실제 생활에서 발생할 수 있는 여러 저조도 시나리오를 모방
오토인코더를 사용하여 저조도와 노이즈의 불변적인 표현을 학습. 재구성된 이미지는 손상되지 않은 버전과 비교하여 MSE를 계산
