About Image Restoration project seminar

안녕하세요.

이번에 다루고자 하는 내용은 GIST 소재웅 교수님께서 Image Restoration project에 대해서 설명해주신 세미나 내용입니다.(GIST에서 살아남기 5주차...)

(약 한 달 만에 처음 걸린 럭키비키한 숫자)

---

Image restoration

Image restoration 은 원본 이미지가 있고 화질이 저하된 이미지에서 화질이 복원된 이미지로 변환하는 과정입니다. 이때, 이를 다음과 같이 표현할 수 있습니다.

$x = clean \ signal$, $y = noisy \ image$

$Raw\ image$ -> $Image \ degradation$ $g(x, y)$ -> $Image \ Denoising$ $f(x, y)$

크게 Image Restoration 분야에서 Image degradation은 reflect, raint, Foggy, resolution , SR, JPEG compression 등이 있습니다.

---

MAP

이제, Denoising 즉, iamge restoration에서 문제를 어떤 식으로 정의하고 이를 풀어 나아가는지 확인해보도록 하겠습니다.

$y(observed) = Hx + n -> max \ p(x | y) = \frac{p(y|x)\times p(x)}{p(y)}$

$y = observed$
$p(x | y) = postrior$
$p(y|x) = likelihood$
$p(x) = prior$
$p(y) = evidence$

위처럼, 우리가 관측한 이미지를 y로 두었을 때, likelihood와 prior로 나타낼 수 있습니다. 이때, 해석의 용이성을 가져가기 위해서 $log$를 활용하고 이를 통해서 distribution을 훨씬 쉽게 비교할 수 있습니다.

$log\ p(x|y)$ $\ \alpha$ $\ log\ (p(y|x))$ + $log\ p(x)$

이 때, 위 수식들에서 ill-posed problem이 발생합니다 -> 즉, likelihood 관점에서는 solution이 너무 많아지기 때문에 못 풀고 postprior은 반면에 단 하나의 solution을 선택할 수 있습니다. 즉, postprior의 관점에서는 가장 유사한 이미지 한 장을 고를 수 있다는 의미입니다. 그래서 필요한 게 prior(정의, 모델링)가 필요하게 됩니다.

Q. 확률적으로 prior이 어떤 의미를 갖는지를 해석해보기 - 암이 1000명 중 1명 걸리고 키트가 95% -> likelihood, prior 분류하기
A. 암에 걸린 사람들을 기준으로 prior - 0.001, likelihood - 0.95가 되고 이 때, postrior는 양성이 나왔는데 진짜 암일 확률인 $P(C \mid T^+) = \frac{P(T^+) P(T^+ \mid C)}{P(C)}$가 되고 이 결과는 0.0187정도가 됩니다.

ill-posed란? 잘못된 문제 설계로 인해서 구하고자 하는 해에 해당하는 정의역이 너무 많은 것을 의미합니다.y : x1, x2, x3, x4 ...

이때, likelihood는 알고 있고 prior를 어떻게 수행할 것인지가 중요하게 됩니다. 이를 해결하기 위해서 어떤 정의를 내릴 것인지, 어떤 모델링을 수행할 것인지 적용하게 됩니다.

prior로 가장 많이 모델링 대표적인 게 Non-local self-similarity로 모델링을 수행하는 것입니다. 이는 아래와 같습니다.

• 각 픽셀이 서로 비슷하다
• 주변 픽셀들을 수집해서 평균을 내면 노이즈를 줄일 수 있다.
• 여기서 transformer가 접목될 수도 있음. -> 해당 픽셀로부터 주변 픽셀의 관계를 attention해서 softmax 취하고 가장 유사한 걸 줘라

---

ISP 과정

렌즈 -> 각 픽셀은 하나의 색상만 볼 수 있음 - ISO gain and raw image processing -> RGB Demosaicking -> Noise Reduction(sw algorithm) -> White balancing 및 color Transform -> color manipulation -> mapping sRGB -> jpeg compression

위 과정에서 노이즈가 생기게 되는 부분은 크게 두 가지 단계가 있습니다.

먼저, 각 픽셀은 하나의 색상만 볼 수 있음 - Photon Noise, Dark Noise
Photon noise는 특정 센서에 들어오는 광자가 많을 수록 노이즈가 커짐을 의미하고 Dark noise 센서에 아무런 광자가 오지 않았는데 이를 오인하는 현상을 의미합니다.

두 번째로는 ISO gain -> analog amplification , A/D converter -> Read noise, ADC noise로 주로 이들은 포아송 + 가우시안으로 모델링함

즉, Real Noise
signal dependency, spatial correlation, Non-Gaussian(heteroscedestic Gaussian, std dependency)하기 때문에 Noise를 모델링 하는 것이 중요한 역할을 갖게 됩니다.

Image bluring으로는 mean, low-pass filter(aliasing artifacts 방지를 위함), focussing, motion blur 등 다양한 요인이 있습니다.

---

Solution

얼만큼 잘 표현했는지 정도를 Data Fidelity + Regularization(Anchor)로 나타낼 수 있습니다. 이때, 해당 문제를 convex 문제, non- convex(DL, Transform, diffusion) 문제로 접근할 것인지 두 가지 방향성이 있습니다.

$(half-quadratic \ splitting) \ HQS \ method$

이때, 해당 수식을 풀기 위해서 z라는 변수를 추가하고 $x, z$ 두 가지 관점에서 iterative하게 문제를 푸는 method 입니다.

이 때, $z$를 Denoising model(노이즈에 따라 서로 달리 동작하는 Denoiser)로 두고 풀 수도 있고 수학적 모델링을 통해서 풀어낼 수도 있습니다. 즉, 여기서 z는 Denoising에서 중요한 Regularization 역할을 수행하게 됩니다.

---

Project 방향성

앞으로 어떤 연구를 수행하든 어떤 레이어를 수정할지, 학습할지를 실험적으로 연구하면서 결과를 해석해야 한다고 하셨습니다. 추가적으로 현재, AI 분야의 Trend가 더 이상 더 좋은, 더 효율적인 Architecture를 구축하는 것에서 멀어지고 기존에 잘 만들어진 reference를 가져와서 각각의 도메인에 맞게 Application 하는 것이 주된 방향성이라고 말씀해주셨습니다.

그렇기 때문에, 남은 GIST 동계인턴 기간동안 이러한 연구 방향성의 Trend와 위에서 Image Restoration의 문제 정의 및 해결 방법, 그리고 ISP 과정에서 생기는 노이즈들에 대해서 생각해보고 수행하고자 합니다!!

---

본 내용들은 교수님의 세미나 자료에서 급박한 필기로 정리하다 보니 틀린 내용도 있을 수도 있고 부정확한 필기들도 있을테니 언제든지 수정이 필요한 부분은 알려주세요❗️

더불어서, 다양한 연구 방향성에 대해서 이야기 해주시면 감사하겠습니다😎