[논문리뷰] DesnowNet: Context-Aware Deep Network for Snow Removal

👉paper
안녕하세요😁 오늘은 단일 영상에서 Snow를 제거하기 위한 논문인 DesnowNet에 대한 논문 리뷰를 해보았습니다.

Abstract

현재 있는 rainy나 hazy 영상과 같은 대기 중의 particle을 지우는 learning-based 방법들은 특별한 frequency, trajectory, trajectory, translucency를 가정하고 설계를 한다.

하지만 snow 입자를 제거하는 것은 훨씬 더 복잡하다. 왜냐하면, snow 입자는 다양한 크기와 형태, 속성들이 하나의 이미지 안에 담겨있기 때문이다.

현재, 영상의 snow를 지우는 일의 대부분이 수작업으로 진행되고 있기 때문에, 일반화가 어렵다. 이를 위해, 제안하는 논문이 반투명하고, 불투명한 snow입자들을 제거하기 위한 multistage network DesnowNet을 제안했다.

저자들은 정확한 estimation을 위해서 translucency와 chromatic aberration속성으로 눈을 구분하였다. 또한 , 저자들은 불투명한 눈에 의해 사라진 디테일들을 복구하기 위해 snow-free 영상으로 보완을 한다. 추가적으로, snow의 다양성을 위해 multi-scale design이 전체적인 network에 적용되었다.

제안하는 논문은 learning-based atmospheric phenomena removal 방법들에서 state-of-the-art 결과를 보였다.

Introduction

폭풍우나, 폭설, 안개, 보슬비와 같은 대기현상은 computer vision application의 인식을 방해한다.

이러한 조건은 지능형 보안 감시 시스템과 같은 민감한 사용 환경에 영향을 미칠 수 있으며, 잘못된 경보와 불안정한 기계 해석의 위험을 높일 수 있다.

Figure 2는 object 중심의 labeling에서 대기의 입자가 방해하는 것을 보여준다.

object를 가리는 대기의 particle을 제거하고, 풍부한 deatil을 제공하기 위한 기술들은 다양하게 제안되어왔다. 최근 연구의 공통적인 topic들은 안개와 rain particles를 제거하는 것이다.

learning-based의 비와 안개 제거 methods는 locating과 대기의 particles을 제거를 할 수는 있지만, snow는 복잡한 특성을 가지고 있기 때문에, 이것을 snow 제거에 적용시키긴 어렵다.

구체적으로, snow는 고르지 않은 밀도와, 다양한 particle size와 shapes를 가지고 있고, 규칙적이지 않은

궤도와 투명도를 가지고 있어서 snow 제거는 다양한 learning-based rain, haze remove는 사용할 수 없는 더 어려운 task이다.

이 논문에서는 반투명하거나 불투명한 snow 입자를 다루기 위한 DesnowNet을 제안하였다. DesnowNet은 multi-sage degine이 되어있으며, 그 이유는 불투명한 snow 입자 coverage에 손실된 세부 정보를 정확하게 추정하고 복원하기 위한 것이다.

Related Works

[ Snow Removal ]

spatial frequency, 궤적, 반투명성이 비교적으로 유사한 rain, haze 영상들과는 달리 snow는 모든 것들이 다양하기 때문에 복잡하다. 하지만, 존재하는 snow removal methods는 rainfall-driven (HOG)나 frequency space seperation이나 color assumptions를 이용해서 눈이 내리는 속성을 모델링하였다. 이러한 특징들은 단순히 눈의 부분적 속성만을 modeling했을 뿐만 아니라, generalization하기에 좋지 않다.

Proposed Method

위의 식과 같이, 눈이 오는 color image x는 다음의 이미지들로 구성되어 있다고 가정할 수 있습니다.

y : 눈이 없는 color image.

z : 독립적인 snow mask (눈의 반투명도를 보여준다.)

a : chromatic aberration map (color aberration을 보여준다.)

x로부터 snow-free image에 도달하기 위해서는, 정확한 snow mask 추정과 chromatic aberration map이 정확히 추정되어야 한다.

이를 위해 제안하는 논문은 다양한 눈 입자를 위해 multi-scale receptive fields network를 디자인했다.

제안된 네트워크의 overview는 위의 그림과 같이 다른 두개의 목적을 갖는 두 모듈로 구성이 된다.

목적 1. Translucency recovery module. (TR module)

목적 2. Residual Generation module. (RG module)

각 두 모듈의 D는 multi-scale feature f를 추출하고, snow-free estimate y'와 r을 만들어내기 위한 R 모듈 두개가 있다.

Figure 3의 Dt와 Dr은 같은 타입의 descriptor를 적용하였다. Dt와 Dr은 위에서 설명한 것과 같이 다른 목적을 가지고 있지만, snow 입자를 분석해야하는 것은 동일하다.

제안하는 논문에서는 multi-scale receptive fields에서 최적화된 features 때문에 Inception-v4를 backbone으로 사용했다고 한다.

저자는 Atrous spatial pyramid pooling (ASPP) - DeepLab에서 영감을 받아 새로운 subnetwork인 dilation pyramid를 제안하였다. 또한 multi-scale features를 직접적으로 더하는 대신, 위의 식과 같이 concatenating시켰다고 한다.

Pyramid maxout

recovery submodule인 Rt (Fig.5.)는 반투명한 눈 입자 뒤의 details을 복구한다. 이 submodule은 SE (snow mask attention)과 AE (aberration estimation)으로 구성되어 있다. SE는 mask인 z를 생성하는 역할이고, AE는 chromatic aberration map을 생성한다.

Translucency recovery

이 module은 translucent snows 뒤의 content를 복원한다. 관련된 식은 아래와 같다.

일반적인 사진에서 눈은 아래 사진 (b)와 같이 middle gray로 보이지만, 아래 사진 (a)와 같이 제안하는 chromatic aberration map 'a'는 잠재적으로 감지하기 힘든 color variations를 묘사한다.

Residual generation(RG)

Residual generation은 추정된 snow-free image에서 residual complement를 생성하는 목적을 갖는다.

Dataset

snow removal에 관해 공개되어 있는 데이터 셋이 부족하기 때문에, training과 evaluation을 위해 저자들은 $Snow100K^2$라는 데이터셋을 제작했다. 이 데이터셋은 아래와 같이 구성이 되어있다.

• 100k의 snowy images
• snowy images와 pair인 snow-free ground truth images
• snow masks
• 1,329장의 realistic snowy images

또한, 저자들은 각 이미지의 가장 큰 경계 크기를 640픽셀로 정규화하고 원래의 가로 세로 비율을 유지했습니다.

저자들은 눈 영상을 합성하기 위해서 5.8k의 base masks를 포토샵을 이용해서 생성하였다고 합니다. 각 base mask는 Table 1과 같이 small, medium, large particle sizes로 구성이 되어있으며, Fig 7과 같이 각기 다른 densities, shapes, movement trajectories, transparencies를 가진다.

Snow100K dataset은 Table 2와 같이 구성이 되어 있으며, 각각은 아래와 같이 합성되었다고 한다.

• Snow100K-S : Small category에 있는 base mask를 random으로 선택하여 overlap.
• Snow100K-M: Small category & Medium category에서 하나씩 골라 overlap
• Snow100K-L: Small, Medium, Large 모든 category에서 하나씩 골라 overlap

Snow superposition process를 위해, 저자들은 두가지의 random factors를 추가하였다고 한다.

1) snow brightness : superposed snow의 밝기를 [($max(y_i)x0.7, max(y_i)$] 내에서 랜덤으로 선택하였다고 한다.

2) random cropping : base mask가 ground truth보다 크기 때문에, base mask를 ground truth size에 맞게 random crop하여 사용하였다고 한다.

Review

Desnow는 다른 대기현상들과 비교했을 때 많이 어려운 task인 것 같다. 앞으로 관련된 논문들을 잘 읽어봐야겠다🎈