시작하기에 앞서 본 논문에서는 MRI(Magenetic resonance imaging) 이미지의 노이즈를 제거하는 과정을 다룬다. 아래의 이미지처럼 MRI 이미지는 촬영 방식의 특성상 노이즈가 존재하는 경우가 많다.

1. Abstract & Introduction

---

MRI는 인체 조직의 구조를 확인할 수 있는 중요한 진단 도구이지만, 가속 촬영이나, 저강도 자기장에서 촬영할 경우 노이즈로 인해 영상의 품질이 크게 저하되기도 한다. 따라서 이러한 노이즈를 줄이기 위해 딥러닝 모델들은 크게 두 가지 방법론을 활용하였다.

1. Supervised Learning
   Supervised Learning의 경우 노이즈가 없는 정답 데이터를 활용하여 학습을 진행한다. 하지만 이러한 정답 데이터를 얻는 것은 불가능에 가깝다. 따라서 대부분의 경우 깨끗한 이미지 위에 가우시안 노이즈를 추가하여, 합성된 노이즈 이미지를 얻어 학습을 진행한다.

2. Self-Supervised Learning
   Self-supervised 방식은 정답 데이터가 필요없다는 장점은 존재하지만, supervised 방식에 비해 성능이 좋지 않다는 단점이 존재한다. 또한 과도한 smoothing으로 high frequency 정보들을 잃게 된다.

따라서 본 논문에서는 "Score-Based Self-Supervised MRI Denoising"이라는 새로운 프레임워크, 즉 Corruption2Self (C2S)를 제안하였다. C2S는 Denoising score matching(DSM)의 아이디어를 확장하여, 정답 데이터 없이 이미지 잡음을 효과적으로 제거할 수 있도록 설계되었다.

논문에서 제시하는 contribution은 다음과 같다.

1. Generalized denoising score matching (GDSM) loss
   DSM의 확장된 버전으로, GDSM loss를 설정함으로써 기본 데이터에서 더 노이즈가 추가된 영상을 통해서 깨끗한 이미지를 추정할 수 있다.

2. Reparameterization
   노이즈 레벨의 재매개변수화를 통해, 전체 노이즈 범위에 대해 균일한 학습이 가능해지고, 결과적으로 더 부드럽고 빠른 학습 수렴이 가능하다.

3. Detail refinement
   Detail refinement를 통해 기존의 supervised 방식의 모델들 보다 좋은 성능을 보여줄 수 있다.

2. Method

---

2.1 Background

2.1.1 Learning-Based Denoising Without Clean Targets

깨끗한 정답데이터가 존재하지 않을때, 기존의 딥러닝 모델들이 사용했던 학습 방법은 2가지가 있다.

1. J-invariance
   입력 이미지의 일부 픽셀을 마스킹하여 주변 정보를 통해 해당 픽셀을 예측하게 함으로써, 깨끗한 레이블 없이도 denoising 문제를 해결할 수 있다.

2. Noise pair
   단일 noisy 이미지로부터 두 개의 noisy 샘플을 생성해 감독학습의 효과를 내는 Neighbor2Neighbor, Noisier2Noise, Recorrupted2Recorrupted 등 다양한 접근법이 제안되었다.

2.1.2 Denoising Score Matching

Denosing score matching 모델의 목표는 $E[X_0|X_t]$를 구하는 것이다. 그러기 위해서 우선 깨끗한 이미지에서 노이즈를 추가하는 과정을 거친다.

학습되는 모델 h는 입력으로 노이즈레벨 $t$와 노이즈가 추가된 이미지 $X_t$를 input으로 받아 깨끗한 이미지 $X_0$를 추정한다.

이러한 모델 $h$는 아래의 MSE loss를 통해 학습이 가능하다. 즉 학습이 완료되면 목표인 $E[X_0|X_t]$를 구할 수 있게 되는 것 이다.

추가적으로 만약 모델 $h$가 학습이 충분히 완료되었다면 tweedie 공식을 적용하여 다음과 같은 식을 유도할 수 있다.

즉 모델 $h$의 학습이 진행됨에 따라 $x_t$ 데이터의 score정보도 implicit 하게 같이 학습할 수 있게 된다.

2.2 Methodology

2.2.1 Statement

우선 본 논문의 문제상황을 정리하면 우리가 가지고 있는 이미지는 노이즈가 약간 존재하는 초기 MRI 이미지 즉 $X_{t_{data}}$이다. 따라서 구하고자 하는 이미지는 $X_0$이기에 이를 조건부 기대값으로 표현하면 $E[X_0|X_t]$ 이다. 여기서 조금 일반화 하여 표현하면 $E[X_{t_{target}}|X_t]$ 이다.그래서 우리가 가지고 있는 $X_{t_{data}}$ 는 $X_0$보다 약간의 노이즈가 추가된 형태로 다음과 같이 표현 가능하다.

여기서 추가적으로 $X_{t_{data}}$에서 forward 즉, 노이즈를 추가하는 과정을 거친 $X_t$는 아래와 같이 표현할 수 있다.

2.2.2Generalized Denoising Score Matching(GDSM)

위의 2.1.2에서 살펴본 $X_t$와는 이제 다르게 생긴걸 확인할 수 있다. 따라서 위에서 정의했던 손실함수를 재정의 하면 다음과 같다.

이렇게 조금 복잡하지만, 이런 손실함수를 통해 모델 $h_\theta$ 는 아래와 같이 수렴하게 된다.

2.2.3 Reparameterization

현재 노이즈레벨을 확인해 보면 비선형적일 수 있다. $\sqrt{\sigma_t^2 -\sigma_{t_{data}}^2}$ 이므로 이러한 노이즈 레벨을 reparameterize하여 균일한 샘플링이 가능하도록 하였다

여기서 $\sigma_t$는 단조증가함으로 역함수가 존재한다. 따라서 t를 $\sigma_t$의 역함수의 식으로 다시 표현할 수 있게 된다.

이렇게 reparametrize한 뒤 2.2.2에서 살펴본 손실함수를 다시 서술하면 다음과 같다.

### 2.2.4 Corruption2Self(C2S) Framework

Reparametrized된 GDSM을 기반으로 조건부 기댓값 $E[X_{t_{target}}|X_t]$ 을 학습하는 것이 본 논문에서 제시하는 딥러닝 아케텍처이다. 2.2.3에서 보았던 loss 함수와 동일하지만 이름만 조금 변경된 형태이다.

최종적으로 알고리즘을 정리하면 다음과 같다.

3.Results

4.Structure

5.Conclusion

사실 논문에서 제시하는 self supervised denoising 모델은 기존 noise 데이터가 깨끗한 사진에서 노이즈가 추가된 이미지라 가정하고, 두번의 tweedie공식을 적용하여, loss를 설정하고 학습을 진행한다는 점에서 Ambient Denoising Score Matching (ADSM)모델과 매우 유사하다. 하지만 reparametrization을 통해서 학습의 안정성을 추가하고, detail refinement과정을 통해서 supervised 모델보다 좋은 성능을 보여주었다는 것이 논문의 큰 장점이다.