[CV] Image Restoration and Reconstruction(2) - Restoration by Spatial Filtering

공간 필터링을 이용한 영상 복원은 영상의 공간 좌표계(spatial domain)에서 픽셀과 그 이웃 픽셀들을 대상으로 직접 연산을 수행하는 마스크(mask) 또는 커널(Kernel)을 적용하여 잡음을 제거하거나 흐림 현상을 완화하는 기법들을 총칭한다. 이 접근법은 특히 열화의 원인이 부가적인 잡음(additive noise)만이라고 가정할 수 있는 상황, 즉 $g(x,y) = f(x,y) + \eta(x,y)$ 모델에 매우 효과적이다. 푸리에 변환을 이용하는 주파수 필터링과 달리, 공간 필터링은 구현이 비교적 간단하고 직관적이며, 특정 형태의 잡음에 특화된 다양한 필터를 적용할 수 있다는 장점이 있다.

성공적인 복원의 첫 단계는 영상에 어떤 종류의 잡음이 존재하는지 파악하는 잡음 파라미터 추정(Estimation of Noise Parameters)과정이다.(Noise Models) 잡음의 종류(가우시안, 임펄스 등)와 특성(분산, 확률 등)을 알아야만 그에 가장 적합한 필터를 선택할 수 있기 때문이다. 예를 들어, 가우시안 잡음과 같은 분포 형태의 잡음을 제거하기 위해서는 평균 필터(Mean Filters) 계열을 주로 사용한다. 여기에는 산술 평균, 기하 평균, 조화 평균 필터 등이 포함되며, 이들은 이웃 픽셀들의 평균값을 이용해 해당 픽셀을 대체함으로써 잡음을 완화하지만, 이미지의 예리한 디테일(edge 등)을 흐리게 만드는 단점이 있다. 특히 이 계열의 역조화 평균 필터(Contraharmonic Mean Filter)는 잡음 종류에 따라 놀라운 성능을 보이지만, 필터의 차수 $Q$ 값의 부호를 잘못 설정하면(Wrong Sign in Contraharmonic Filtering) 오히려 잡음을 증폭시키는 심각한 문제를 일으킬 수 있다.

반면, 소금-후추 잡음(Salt-and-Pepper noise)과 같은 임펄스성 잡음을 처리할 때는 순위 통계 필터(Order-Statistic Filters)가 훨씬 효과적이다. 이 필터들은 이웃 픽셀들을 평균 내는 대신, 값의 순위를 매겨 통계량을 취하는 비선형(non-linear) 필터이다. 대표적인 예로 중앙값 필터(Median Filter)가 있으며, 이 펄터는 극단적인 값(잡음)을 효과적으로 무시하고 주변의 값으로 대체함으로써 경계를 보존하면서 임펄스 잡음을 제거하는 데 탁월한 성능을 보인다. 이처럼 공간 필터링 기반 복원은 잡음의 특성을 정확히 이해하고, 그에 맞는 필터(평균 필터 또는 순위 통계 필터)를 선택하여 적용하는 것이 핵심이다.

Mean Filters

평균 필터는 공간 필터링을 이용한 잡음 제거의 가장 대표적인 방법으로, 특정 픽셀 주변의 이웃 픽셀 값들의 통계적 평균을 계산하여 해당 픽셀 값을 대체하는 방식이다. 이 필터들은 주로 가우시안 잡음이나 균일 잡음(Uniform noise)처럼 이미지 전반에 분포하는 랜덤 잡음을 부드럽게(smoothing) 만들어 감소시키는 데 효과적이다. 하지만 이 과정에서 이미지의 경계(Edge)나 미세한 질감(Texture) 같은 중요한 고주파 성분도 함께 흐려지는 단점이 있다.

평균 필터에는 여러 종류가 있으며, 각각 다른 형태의 평균을 사용하고 고유한 특성을 가진다.

산술 평균 필터(Arithmetic Mean Filter)

가장 간단하고 직관적인 평균 필터이다. 마스크 영역 내 모든 픽셀 값의 합을 픽셀의 개수로 나누어 산술 평균을 구한다.

• $\hat{f}(x,y)$ : 복원된 이미지의 (x,y) 위치 픽셀 값
• $S_{xy}$ : $(x,y)$를 중심으로 하는 $m\times n$ 크기의 마스크(커널) 영역
• $g(s,t)$ : 마스크 영역 내에 있는 입력(열화된) 이미지의 픽셀 값
• $mn$ : 마스크 영역 내의 총 픽셀 수

이 필터는 저주파 통과 필터(low-pass filter)의 역할을 한다. 국소 영역의 픽셀 값들을 평균내어 급격한 값의 변화(잡음)를 완화시키므로, 이미지 전체가 부드러워지고 흐려지는(blurring) 효과가 나타난다.

구현이 매우 간단하고, 가우시안 잡음이나 균일 잡음 제거에 효과적이다. 하지만 잡음 뿐만 아니라 이미지의 중요한 경계선까지 흐리게 만들어 디테일 손실이 크다.

활용 사례로는 다른 복잡한 필터링을 적용하기 전, 전처리 단계에서 전반적인 잡음을 부드럽게 만드는 용도로 사용된다.

기하 평균 필터(Geometric Mean Filter)

마스크 영역 내 모든 픽셀 값의 곱을 ($1/mn$) 제곱하여 기하 평균을 구한다.

• $\prod$ : 마스크 영역 내 모든 픽셀 값을 곱하는 연산자

기하 평균 필터는 산술 평균 필터와 유사한 스무딩 효과를 내지만, 픽셀 값의 편차가 클 때 상대적으로 어두운 값에 더 큰 가중치를 둔다. 이로 인해 산술 평균 필터보다 디테일 손실이 적은 경향이 있다.

위 이유로 기하 평균 필터는 산술 평균 필터보다 경계 보존 능력이 우수하지만, 마스크 내에 0인 픽셀이 하나라도 있으면 결과가 0이 되어버리는 치명적인 단점이 있다.

실제 활용은 스무딩이 필요하지만 산술 평균 필터보다는 디테일을 보존하고 싶을 때 사용된다.

조화 평균 필터(Harmonic Mean Filter)

픽셀 값의 역수들의 산술 평균을 구한 뒤, 그 결과의 역수를 취하는 조화 평균을 사용한다.

이 필터는 낮은 값(어두운 픽셀)에 더 큰 영향을 받는다. 따라서 밝은 값의 잡음인 Salt Noise 제거에 탁월한 성능을 보인다. 또한 가우시안 잡음 제거에도 효과적이다.

하지만 어두운 값의 잡음인 Pepper Noise에는 작동하지 않는다. 마스크 내에 0(Pepper Noise)이 있으면 분모가 무한대가 되어 필터가 정의되지 않는다.

주로 Salt Noise가 우세한 영상의 복원에 사용된다.

역조화 필터(Contraharmonic Mean Filter)

조화 평균과 산술 평균을 일반화한 필터로, 필터의 차수(order) $Q$라는 파라미터를 가진다. 이 $Q$ 값에 따라 필터의 동작이 크게 달라진다.

• $Q$ : 필터의 차수(order)
• $Q > 0$ : 필터가 어두운 픽셀에 더 큰 가중치를 둔다. 따라서 Pepper Noise을 제거하는 데 효과적이다.
• $Q < 0$ : 필터가 밝은 픽셀에 더 큰 가중치를 둔다. 따라서 Salt Noise을 제거하는 데 효과적이다.
• $Q = 0$ : 수식이 산술 평균 필터와 같아진다.
• $Q=-1$ : 수식이 조화 평균 필터와 같아진다.

이렇게, $Q$ 값을 조절하여 소금 또는 후추 잡음을 선택적으로 제거할 수 있어 매우 유연하고 강력하다.

하지만, 위 특성으로 생각해볼 수 있듯이 잡음의 종류를 미리 알아야한다. 만약 소금 잡음이 있는 영상에 양수 $Q$를 적용하거나, 후추 잡음이 있는 영상에 음수 $Q$를 적용하(Wrong Sign), 오히려 해당 잡음 픽셀이 부각되어 결과가 크게 악화된다.

실제로 소금 잡음 또는 후추 잡음 중 하나가 우세하게 나타나는 영상 복원에 매우 효과적이다.

Wrong Sign in Contraharmonic Filtering

아래 이미지는 역조화 평균 필터(Contraharmonic Mean Filter)에서 차수(Order) Q의 부호를 잘못 설정했을 때 발생하는 문제를 보여준다.

좌측 이미지는 Pepper Noise에 오염된 이미지를 보여준다. 이미지에 검은 점 형태의 잡음이 추가되었다. 이 잡음은 음수 Q를 사용해야 효과적으로 제거된다.

우측 이미지는 Salt Noise에 오염된 이미지를 보여준다. 이미지에 흰 점 형태 잡음이 추가되었다. 이 잡음은 양수 Q를 사용해야 효과적으로 제건된다.

Order-Statistic Filters

순위 통계 필터는 마스크(커널) 영역 내 픽셀들을 값의 크기 순서대로 정렬(ranking)하고, 그 순위를 기반으로 특정 값을 선택하여 중앙 픽셀을 대체하는 비선형(non-linear) 필터이다. 평균 필터가 모든 픽셀 값을 산술적으로 고려하는 것과 달리, 순위 통계 필터는 값의 순서에만 의존하기 때문에 소금-후추 잡음(impulse noise)과 같은 돌발적인 이상치(outlier)를 제거하는 데 매우 탁월한 성능을 보인다. 또한, 평균 필터의 고질적인 문제인 경계선 흐림(blurring) 현상이 훨씬 적어 이미지의 디테일을 잘 보존한다.

중앙값 필터(Median Filter)

마스크 영역 내 픽셀들을 오름차순으로 정렬했을 때, 가장 중앙에 위치하는 값(median)을 선택하여 출력하는 필터이다.

• $\hat{f}(x,y)$ : 복원된 이미지의 $(x,y)$ 위치 픽셀 값
• $S_{xy}$ : $(x,y)$를 중심으로 하는 마스크 영역
• $g(s,t)$ : 마스크 영역 내에 있는 입력 이미지의 픽셀 값

윈도우 안의 값을 크기 순으로 정렬해 가운데 값으로 대체한다. 평균 대비 이상치(outlier)에 둔감하여 임펄스 잡음 제거에 최적이다.

최대값/최소값 필터(Max/Min)

max는 밝은 점을 확장(작은 구멍을 메움), min는 어두운 점을 확장(밝은 영역의 얇은 가는 구조 제거)에 해당한다. 회색조 형태학에서 각각 그레이스케일 팽창/침식과 동일하게 해석된다.

Midpoint Filter

Midpoint Filter는 Order-Statistic 필터의 한 종류로, 윈도우(마스크) 내 가장 밝은 픽셀 값과 가장 어두운 픽셀 값의 평균을 출력으로 사용하는 비선형 공간 도메인 필터이다.

• 잡음 억제 목적: 특히 균일 분포(Uniform noise) 형태의 랜점 잡음 제거에 효과적이다.
• Median filter와 달리 중간값이 아니라 극값(최대/최소)만 사용하므로 계산량이 적고, 엣지를 일정 부분 보존하면서도 잡음을 완화할 수 있다.

• $\hat{f}(x,y)$ : 필터링된 출력 영상의 픽셀 값
• $g(s,t)$ : 입력 영상의 픽셀 값
• $S_{xy}$ : $(x,y)$ 주변의 마스크(윈도우)영역
• max, min : 각각 윈도우 내 최대 $\cdot$ 최소 픽셀 강도
• 즉, 가장 밝은 값과 가장 어두운 값을 평균내어, 극단적 잡음을 완화시킨다.
  

References

Computer Vision: Algorithms and Applications 2nd Edition - Richard Szeliski

Digital Image Processing 2nd Rafael C.Gonzalez, Richard E. Woods