[TIL] 230403 영상처리 5주차: 영상향상(3) Spatial operations

Jimin·2023년 4월 4일

TIL 영상처리

영상 향상(Image Enhancement)

이미지 향상의 목적은 처리된 이미지가 특정 애플리케이션에 대한 원래 이미지보다 더 적합하도록 이미지를 처리하는 것
cf) 이미지 복원 시 이상적인 이미지가 저하되었으며, 처리된 이미지를 최대한 원본 이미지와 닮게 하는 것이 목적임
영상 향상 기술의 분류
1. Point operations: contrast manipulation, histogram modification`
2. Spatial operations: noise smoothing, median filtering, edge sharpening
3. Transform operations: linear filtering, homomorphic filtering

Point operations

Contrast Stretching

저대비 영상은 종종 조도가 나쁘거나 균일하지 않거나 영상 센서의 비선형성 또는 작은 동적 범위로 인해 발생함
Contrast Stretching의 아이디어는 처리 중인 영상에서 회색 레벨의 동적 범위를 늘리는 것임
변환 함수의 기울기는 확장 영역의 단일성보다 크게 선택됨

Clipping

α = γ = 0인 경우를 클리핑이라고 함
이것은 입력 신호가 [a, b] 범위에 있는 것으로 알려진 경우 노이즈 감소에 유용함
또한 부호 없는 문자와 같이 제한된 수의 비트로 표시될 이미지에 대해서도 클리핑을 수행해야 함

Thresholding

a = b = t 및 출력이 이진수가 되는 클리핑의 특수한 경우임

Image Negative

v = L - u

Range Compression

일반적인 단일 변환 이미지의 동적 범위는 매우 커서 몇 개의 픽셀만 볼 수 있음
동적 범위는 로그 변환을 통해 압축할 수 있음

결과값이 굉장히 큰 실수일 수도 있음 -> 그러나 0~255 범위읙 값을 원함
-> Rabge Compression
v = c log(1 + |u|)

cf) 처리 영상을 display
0~1 -> 0~255
수백만 -> Nomalization 사용 or Range Compression

Image subtraction (변화 검출)

많은 이미징 애플리케이션에서 두 이미지를 비교하는 것이 바람직함
간단하지만 강력한 방법은 두 이미지를 정렬하고 빼는 것임

v(i, j) = ax | u1(i, j) - u2(i, j)| + b
여기서 (i,j)는 각 픽셀 위치를 의미하며, u1과 u2는 비교되는 두 개의 이미지임

영상에서 scene이 바뀔 때 사용 -> Frame Difference

Histogram Modification

디지털 영상의 히스토그램은 영상에서 각 그레이 레벨의 상대적인 발생 빈도를 나타냄
히스토그램은 각 회색 수준의 발생 확률에 대한 추정치를 제공함

Histogram equalization

히스토그램 균등화에서 목표는 출력 영상에 대해 균일한 히스토그램을 얻는 것임
영상 픽셀 값 u>=0이 연속 확률 밀도 함수 pu(u)를 갖는 랜덤 변수라고 가정함
(0,1)에 걸쳐 균일하게 분포됨
u에 대한 v의 도함수는 다음과 같음

변환에 의한 pv(v)와 pu(u)의 관계 적용
변환된 pdf, pv(v)는 균일한(uniform) pdf를 가짐

Histogram Specification

Histogram specification의 목적은 특정 히스토그램에 분포를 매핑하는 것임
확률 밀도 pu(u)를 갖는 무작위 변수 u>=0을 v>=0으로 변환하여 지정된 확률 밀도 pv(v)를 갖는다고 가정하자.
이것이 사실이 되기 위해, 균일한 무작위 변수를 정의함

Spatial operations

Smoothing

스무딩 필터는 블러링 및 노이즈 감소에 사용됨
블러링은 이미지에서 작은 세부 사항을 제거하는 것과 같은 전처리 단계에서 사용됨
각 픽셀은 이웃 픽셀의 가중 평균, 즉

여기서 y(m,n)와 v(m,n)는 각각 입력 및 출력 이미지이고, W는 적절하게 선택된 창이며, a(k,l)는 공간 마스크라고 불리는 임펄스 응답임
공간 평균 필터의 공통 클래스는 모두 동일한 가중치를 가지며, 다음과 같음

a(k,l)=1/Nw 및 Nw는 창의 픽셀 수

모든 LPF에서 모든 가중치의 합은 1이다.

공간 영상은 입력/출력 공간을 따로 배정해야 함!

cf1) Separable Filtering

모든 선형 필터의 경우, n차원 필터를 사용한 차원 신호의 필터링 결과는 연속적인 n-time 1차원 필터링 결과와 동일함

cf2) Integral Image(적분 이미지)를 통한 빠른 Smoothing: 무게가 동일한 상자 필터에만 해당

단점

Weighted Averagy는 적용 못함

Euqal Weight만 가능

// horizontal
for (int i = 0; i < cols; i++) {
	for (int j = 0. j < cols; j++) {
   	if (j == 0 ) q[i * cols + j] = p[i * cols + j];
       else q[i * cols  + j] = p[i * cols + j] + q[i * cols + (i-1)];
	}
}

Sn = Sn-1 + An
S0 = A0
p: An, q: Sn

 for (int i = 0; i < cols; i++) {
 	for (int j = 0. j < cols; j++) {
    	q[j * cols + i] += q[(j-1) * cols + i];
	}
}

통합 이미지 사용의 이점: 통합 이미지의 4개 값만 사용되고 마스크 크기와 상관이 없기 때문에 특정 블록의 합계 작업이 매우 빠름

Integral image는 Adaptive(적응적인) thresholding에서 유용함

cf3) Gaussian blurring (표준 정규분포 곡선)

주어진 창 크기 W에 따른 방정식의 1차원 이산 창 생성, σ = W/6.
무게 표준화(모든 무게의 합계

는 LPF에서 1이어야 합니다.)
분리 가능한 필터

Median Filtering

각 픽셀은 중앙 픽셀 주위의 창 W에 포함된 픽셀의 중앙값으로 대체됨
order statistics 와 같은 비선형 필터로 분류됩니다.
일부 order statistics 필터는 지정된 창의 최소값 또는 최대값을 사용합니다.
그것은 충동적인 소음 (impulsive nosie)를 줄이고 가장자리를 잘 보존한다.
주의: 1D 분리 가능 중위수 필터와 2D 정규 중위수 필터 사이의 결과는 비선형성으로 인해 고유하지 않습니다.
예) {y(m)}={2,3,8,4,2}와 W=[-1,0,1]로 하자. 시퀀스의 외부 값이 0이라고 가정합니다.
- v(0) = median {0,2,3} = 2, v(1) = median {2,3,8} = 3
  v(2) = median {3,8,4} = 4, v(3) = median {8,4,2} = 4
  v(4) = median {4,2,0} = 2
속도 느림
Salt and papper noise에 대해 효과가 좋음