[CV] Image Restoration and Reconstruction(1) - A Model of the Image Degradation and Restoration Process & Noise Models

Yeontachi·2025년 8월 12일
AIComputer_Vision

Computer Vision Note

목록 보기
21/47

영상 복원(Image Restoration)의 궁극적인 목표는 미리 정의된 기준(a predefined sense)에 따라 손상된 영상을 개선하는 것이다. 이 과정의 핵심은 영상이 겪은 열화 과정(Degradation process)에 대한 사전 지식을 적극적으로 활용하여 원본 영상을 재구성(reconstruct)하는 데 있다. 즉, 우리는 '어떻게 이미지가 손상되었는가?'에 대한 단서를 가지고, 이를 역으로 풀어내는 정밀한 복원 작업을 수행한다.

이러한 접근 방식 때문에 영상 복원은 철저히 객관적인(objective) 프로세스로 간주된다. 복원의 성공 여부는 '얼마나 원본에 가까워졌는가'를 측정할 수 있는 명확한 평가 기준(criterion of goodness)을 수립하고 달성하는지에 달려있다. 이는 단순히 보기 좋게 만드는 것을 목표로 하는 주관적인(subjective) 프로세스인 영상 향상(Image Enhancement)과는 근본적인 차이를 보인다. 영상 향상이 경험적이고 직관적인 절차(heuristic procedures)에 의존하는 반면, 영상 복원은 손상의 원인을 수학적으로 모델링하고, 그 모델을 기반으로 최적의 해를 찾아가는 과학적 탐구 과정이라 할 수 있다.

A Model of Image Degradation/Restoration

영상 열화/복원 모델(A Model of Image Degradation/Restoration)은 깨끗한 원본 영상이 어떠한 물리적, 시스템적 과정을 거쳐 우리가 관찰하는 손상된 영상으로 변환되는지를 수학적으로 공식화한 것이다. 반대로, 복원은 이 열화된 영상으로부터 원본 영상을 추정하는 역(inverse) 과정을 의미한다.

수식(Equation)

공간 영역(Spatial Domain)에서 이 모델은 다음과 같은 식으로 표현된다.

g(x,y)=h(x,y)∗f(x,y)+η(x,y)g(x,y) = h(x,y)*f(x,y)+\eta(x,y)

  • f(x,y)f(x,y) : 원본 영상(Original Image). 열화가 전혀 없는, 우리가 복원을 통해 얻고자 하는 이상적인 영상

  • h(x,y)h(x,y) : 열화 함수(Degradation function). 영상에서 체계적으로 영향을 미치는 열화 요소를 나타낸다. 주로 초점이 맞지 않거나(out-of-focus), 피사체나 카메라의 움직임으로 인해 발생하는 블러(blur)를 모델링한다. 물리학에서는 Point Spread Function, PSF라고 부른다.

  • ∗* : 컨볼루션(Convolution) 연산자. 열화 함수 h(x,y)h(x,y)가 원본 영상 f(x,y)f(x,y)의 모든 픽셀에 동일한 방식으로 영향을 미치는 것을 표현한다. 즉, 블러 효과가 이미지 전체에 적용되는 과정을 나타낸다.

  • η(x,y)\eta(x,y) : 부가 노이즈(Additive Noise). 카메라 센서의 열, 조명 상태, 신호 전송 오류 등 예측 불가능하고 무작위적인(random) 요인에 의해 발생하는 영상의 왜곡을 나타낸다. 모델에서는 이 노이즈가 열화 함수를 거친 결과에 '더해진다'고 가정하여 '부가적(additive)'이라고 부른다.

  • g(x,y)g(x,y) : 열화된 영상(Degraded image). 블러와 노이즈가 모두 적용된 후, 우리가 실제로 관찰하고 처리하게 될 입력 영상이다.

  • f^(x,y)\hat{f}(x,y) : 복원된 영상(Restored Image). 우리가 g(x,y)g(x,y)와 h(x,y),η(x,y)h(x,y), \eta(x,y)에 대한 정보를 이용해 원본 영상 f(x,y)f(x,y)를 추정한 결과물이다. 복원 목표는 f^(x,y)\hat{f}(x,y)를 최대한 f(x,y)f(x,y)에 가깝게 만드는 것이다.

동작 방식
(1) Degradation

  • 깨끗한 원본 영상 ff이 입력으로 들어온다.
  • 열화 함수 HH 시스템을 통과하며 컨볼루션 연산 ∗*이 적용된다. 이 단계에서 주로 영상이 전반적으로 흐릿해지는 블러가 발생한다.
  • 그 후, 외부 요인에 의한 노이즈 η\eta가 더해진다. 이 단계에서 영상에 미세한 점들이나 불규칙한 밝기 변화가 추가된다.
  • 최종적으로 우리가 얻는 것은 이 모든 과정이 합쳐진 열화된 영상 gg이다.

(2) Restoration

  • 영상 복원의 목표는, 최종 결과물인 열화된 영상 gg라는 단 하나의 '증거'를 분석하고, '사전 지식'을 이용하여 원래 모습, 즉 원본 영상 ff를 추정해내는 것이다.
  • 이때 필요한 '사전 지식'은 아래와 같다.
    • 열화된 영상 g(x,y)g(x,y) : 우리가 유일하게 직접 관찰할 수 있는 입력 데이터이다.
    • 열화 함수 HH에 대한 지식 : 영상이 '어떻게' 체계적으로 손상되었는지에 대한 정보이다. 예를 들어, 수평 방향으로만 움직여서 생긴 모션 블러인지, 카메라 렌즈의 특성으로 인한 아웃 포커스 블러인지 등을 아는 것을 의미한다. 이 h(x,y)h(x,y)를 정확히 알수록 복원 성능은 비약적으로 향상된다.
    • 노이즈 η\eta에 대한 지식 : 영상에 '어떤' 종류의 잡음이 섞였는지에 대한 정보이다. 노이즈가 정규분포를 따르는 가우시안 노이즈인지, 아니면 흰 점과 검은 점으로 나타나는 Salt-and-pepper Noise인지 등 통계적 특성을 파악하면 효과적으로 제거할 수 있다.
  • 결론적으로, 영상 복원이란 주어진 g,h,η\eta에 대한 최대한의 지식을 동원하여, 원본 ff의 가장 그럴듯한 추정치 f^\hat{f}를 만들어내는 과정이다.

Noise Model

노이즈는 영상 신호에 추가되는 원치 않는 무작위적인(random) 값의 변동을 의미한다. 이는 이미지 센서의 물리적 한계, 조명이 부족한 환경, 신호 전송 과정에서의 오류 등 다양한 원인에 의해 발생한다. 노이즈를 단순히 '지저분한 것'으로 치부하는 대신, 우리는 그 통계적 분포를 수학적으로 모델링하여 특성을 파악할 수 있다.

Gaussian Noise 가우시안 노이즈

전자 회로의 열 잡음(therma noise)이나 센서의 판독 잡음(read noise) 등 수많은 무작위 현상의 합으로 인해 발생하는 가장 일반적인 노이즈이다. 중심 극한 정리(Central Limit Theorem)에 따라 많은 독립적인 무작위 변수의 합은 가우시안 분포를 따르기 때문에, 그 출현 빈도가 매우 높다.

p(z)=12πσe−(z−μ)2/2σ2p(z) = \frac{1}{\sqrt{2\pi}\sigma}e^{-(z-μ)^2/2\sigma^2}
  • zz : 노이즈의 강도(픽셀 값의 변화량)
  • μμ : 노이즈의 평균값(mean)
  • σ\sigma : 노이즈의 표준 편차. σ2\sigma^2는 분산(variance)으로, 노이즈의 퍼진 정도를 결정한다.

영상 전체에 미세하고 균일한 입자 형태의 왜곡을 추가한다. 종 모양의 그래프에서 알 수 있듯, 평균값 μμ(보통 0) 근처의 약한 노이즈가 발생할 확률이 높고, 강한 노이즈는 드물게 나타난다.

Impulse(Salt-and-Pepper) Noise 임펄스 노이즈

영상 신호 전송 중 발생하는 급작스러운 오류, 메모리 결함, 또는 고장 난 센서 픽셀(faulty pixel) 등으로 인해 발생한다. 픽셀 값이 극단적인 최솟값(검은색, '후추') 또는 최댓값(흰색, '소금)으로 변하는 특징을 가진다.

p(z)={Pa   for  z=aPb   for  z=b0   otherwisep(z) = \begin{cases} P_a\,\,\, for \,\,z=a\\P_b\,\,\, for \,\,z=b\\0\,\,\,otherwise \end{cases}
  • a,ba,b : 노이즈의 픽셀 값(예: 0과 255)
  • Pa,PbP_a, P_b : 각 노이즈 값이 나타날 확률

영상 위에 소금과 후추를 뿌려놓은 것처럼 흰 점과 검은 점들이 무작위로 나타난다. 그래프를 보면 특정 지점(예: a,b)에서만 값을 갖는 임펄스 형태로 나타난다.

Uniform Noise 균일 노이즈

특정 범위 내의 모든 노이즈 값이 발생할 확률이 동일한 노이즈이다.

p(z)={1b−a   if  a≤z≤b0   otherwisep(z) = \begin{cases} \frac{1}{b-a} \,\,\,\text{if}\,\,a\le z \le b \\ 0 \,\,\,otherwise \end{cases}
  • [a,b][a, b] : 노이즈 값이 존재할 수 있는 범위
    가우시안 노이즈보다 다소 거친 질감을 보일 수 있으며, 특정 범위 내에서 무작위적인 밝기 변화를 추가한다. 실제 물리 현상에서 나타나기 보다는, 이론적 분석이나 양자화(quantization) 과정에서 발생하는 오차를 모델링하는 데 주로 사용된다.

Gamma, Erlang & Exponential Noise 감마 및 지수 노이즈

이들은 모두 비대칭적인 확률 분포를 가지며, 주로 레이저, X선, 방사선 영상 등 입자(photon) 계수와 관련된 분야에서 나타나는 노이즈를 모델링하는 데 사용된다.

  • 지수 노이즈(Exponential) : 감마/얼랑 노이즈의 가장 단순한 형태이다.
  • 얼랑 노이즈(Erlang) : 지수 분포를 따르는 독립 확률 변수 b개의 합의 분포이다.
  • 감마 노이즈(Gamma) : 얼랑 노이즈를 정수 b에서 실수 b로 일반화한 것이다.

지수(Exponential)

p(z)={ae−az   for  z≥00   for  z<0p(z) = \begin{cases}ae^{-az} \,\,\, for \,\,z\ge0\\0\,\,\,\text{for}\,\,z<0\end{cases}

Erlang

p(z)={abzb−1(b−1)!e−az   for  z≥00   for  z<0p(z) = \begin{cases} \frac{a^bz^{b-1}}{(b-1)!} e^{-az} \,\,\,\text{for} \,\,z\ge0\\0\,\,\,\text{for} \,\,z<0\end{cases}
  • a,ba,b : 분포의 모양을 결정하는 파라미터

양수 값만 가지며 오른쪽으로 긴 꼬리를 갖는 비대칭 분포이다. 영상에서는 주로 밝은 점 형태의 노이즈(speckle)로 나타난다.

Rayleigh Noise 레일리 노이즈

바람의 속도 분포 등 자연 현상 모델링에 사용되며, 영상에서는 주로 거리 측정 영상(range imaging)에서 나타나는 왜곡을 모델링하는 데 쓰인다. 가우시안 노이즈의 크기(magnitude) 분포와 관련 있다.

p(z)={2b(z−a)e−(z−a)2/b   for  z≥a0   for  z<ap(z) = \begin{cases} \frac{2}{b}(z-a)e^{-(z-a)^2/b} \,\,\,\text{for}\,\,z\ge a\\0\,\,\,\text{for}\,\,z<a \end{cases}
  • a,ba, b : 분포의 시작점과 모양을 결정하는 파라미터


감마/지수 노이즈처럼 오른쪽으로 긴 꼬리를 갖는 비대칭 분포이다.

전체 비교 이미지


profile
Yeontachi
기초를 다지는 중입니다.📚🧑‍💻
이전 포스트

[CV] Filtering in the Frequency Domain(3) - Image Sharpening Using Highpass Filters

다음 포스트

[CV] Image Restoration and Reconstruction(2) - Restoration by Spatial Filtering

0개의 댓글