[CV] Edge Detection(1) - Edge detection and Image gradient

Yeontachi·2025년 8월 13일

Computer Vision Note

목록 보기

24/47

에지 검출(Edge Detection)과 영상 기울기(Image Gradient)는 디지털 영상 처리에서 객체의 경계나 구조를 파악하기 위한 핵심 기법이다. 영상에서 에지는 픽셀 밝기(Intensity)가 급격하게 변화하는 영역을 의미하며, 물체의 형태와 위치, 표면의 디테일을 추출하는 데 중요한 역할을 한다.

영상의 경계 정보는 1차 및 2차 미분 연산을 통해 강조할 수 있다. 1차 미분은 밝기 변화의 크기와 방향을 나타내는 그래디언트(Gradient)를 계산하며, 에지의 위치를 검출하는 데 효과적이다. 반면, 2차 미분은 변화의 급격함을 한 번 더 분석하여 에지의 중심이나 얇은 구조를 잡아내지만, 노이즈에 민감하다.1,2차 미분을 이용한 경계 검출

에지 검출 과정은 일반적으로 세 단계로 구성된다.

에지 강화(Edge Enhancement) - 미분 연산자나 필터를 이용하여 밝기 변화가 큰 영역을 강조한다.
에지 검출(Edge Detection) - 그래디언트 크기와 방향을 계산하고, 임계값을 적용하여 경계 후보를 추출한다.
후처리(Post-processing) - 비최대 억제, 연결성 분석 등을 통해 불필요한 픽셀 제거 및 경계를 선명화한다.

이 과정에서 사용하는 대표적인 기법에는, Prewitt, Sobel, Laplacian, Canny와 같은 필터 기반 방법이 있다. 이러한 연산자는 영상의 방향성, 경계 강도, 노이즈 수준에 따라 선택된다. 또한, 노이즈가 많은 영상에서는 미분 연산 전 스무딩(Smoothing)을 통해 불규칙한 고주파 성분을 줄이는 것이 필수적이다.

결과적을, Edge Detection & Image Gradient는 객체 인식, 형태 분석, 영상 분할과 같은 고차원 비전 작업의 전처리 단계로서 필수적인 역할을 하며, 필터 선택, 파라미터 조정, 전처리 방법에 따라 검출 성능이 크게 달라진다.

Edge Detection

Detection of Isolated Points

고립점은 주변 픽셀 값과 뚜렷하게 차이가 나는 단일 픽셀을 의미한다. 이런 점은 영상의 잡음, 결함, 또는 특이 구조물(예: 결함 검사 시 결함의 중심점)로 나타날 수 있다. 검출을 위해서는 공간 마스크를 이용하여 해당 픽셀과 주변 픽셀 간의 강도 차이를 계산하고, 이 값이 특정 임계값(Threshold) 이상일 경우 이를 고립점으로 판단한다.

수식은 아래와 같다.

|R| \ge T

$T$ : 임계값
$R = w_1z_1 + w_2z_2 + ... + w_9z_9$
- $w_i$ : 마스크의 가중치
- $z_i$ : 해당 위치의 픽셀 값

즉, 마스크와 영상의 국소 영역을 컨볼루션(Convolution) 한 결과 $R$ 의 절댓값이 임계값 이상이면 해당 위치를 고립점으로 판정한다.

예시

위 행렬은 Laplacian Filter 형태의의 Point detection mask이다. (b) 이미지는 터빈 블레이드의 X-ray 영상으로 내부 기공(검은 점)이 존재한다. (c)는 마스크를 영상에 컨볼루션한 결과이고, (d)는 위 수식을 영상에 적용한 뒤, 검출된 고립점 하나를 시각적으로 보여준 결과이다.

Line Detection

Laplacian Image

Laplacian 연산자는 영상의 2차 미분을 계산하여 밝기 변화가 급격한 위치를 강조한다.
선 검출에서 Laplacian은 양 $\cdot$ 음의 이중선(double-line) 형태로 응답하는 특징이 있다. 선의 한쪽 경계에서는 양수 값, 다른 경계에서는 음수 값이 나타나고, 그 사이에 선의 중심이 위치한다.

Isotropic 특성 : Laplacian은 모든 방향에 대해 동일하게 작동하므로(방향 불변), 가로 $\cdot$ 세로 $\cdot$ 대각선 방향의 선을 동일하게 검출할 수 있다.

아래 이미지는 Laplacian이 방향성이 없는(isotroppic) 2차 미분 필터로, 모든 방향의 선과 에지를 균일하게 검출하는 모습을 보여준다.

(a)는 원본 이미지로 칩 패턴 형태의 구조를 갖는다. (b)는 Laplacian 이미지로 확대된 부분에서 양 $\cdot$ 음 응답의 이중선 특성이 잘 보인다. (c)는 Laplacian의 절댓값 영상이다. 경계 강도를 부호화 관계없이 강조한다. (d) Laplacian의 양수 값만 표시한 영상이다. 특정 극성(Positive edge)만 강조하여 분석할 수 있다.

즉, Laplacian은 방향성이 없는(isotropic) 2차 미분 필터로, 모든 방향의 선과 에지를 균일하게 검출한다. 선의 중심이 아닌 밝기 변화의 양쪽 경계를 강하게 표현하며, 노이즈에 민감해 보통 스무딩(예: Gaussian) 후 적용한다.

Line Detector

선 검출기(Line Detector)는 영상에서 특정 방향의 선(밝거나 어두운 선)을 검출하기 위해 설계된 마스크(커널)를 사용한다. 마스크는 해당 방향의 선이 중앙에 위치하고, 배경은 일정하다고 가정할 때 최대 응답(Max Response)을 내도록 구성된다. 예를 들어 수평(Horizontal) 마스크는 중앙 행(row)에 큰 양의 가중치를, 그 위아래 행에는 음의 가중치를 부여하여 수평 방향의 선을 강조한다.

마스크 예시
아래는 3x3 마스크로 구성된 4가지 방향 필터 예시이다.
1. Horizontal (수평)

\begin{bmatrix} -1 & -1 & -1 \\ 2 & 2 & 2 \\ -1 & -1 & -1 \end{bmatrix}

중앙 행의 선을 강조

2. +45° (대각선 ↘ 방향)

\begin{bmatrix} 2 & -1 & -1 \\ -1 & 2 & -1 \\ -1 & -1 & 2 \end{bmatrix}

좌상에서 우하로 향하는 대각선 검출

3. Vertical (수직)

\begin{bmatrix} -1 & 2 & -1 \\ -1 & 2 & -1 \\ -1 & 2 & -1 \end{bmatrix}

중앙 열(column)의 선을 강조

4. -45° (대각선 ↗ 방향)

\begin{bmatrix} -1 & -1 & 2 \\ -1 & 2 & -1 \\ 2 & -1 & -1 \end{bmatrix}

좌하에서 우상으로 향하는 대각선 검출

각 마스크는 특정 방향에서 강한 응답을 보이므로, 여러 마스크를 동시에 적용하면 다양한 방향의 선을 탐지 가능하다. 일반적으로 각 마스크로 필터링한 후, 응답이 가장 큰 방향을 해당 픽셀의 선 방향으로 판단한다.

잡음에도 반응할 수 있으므로, 사전 스무딩(Smoothing)이 필요할 수 있다.

2D discrete derivative Example

2D 이산 미분(Discrete Derivative) 연산이 실제 데이터에 어떻게 적용되는지 보여주는 예시이다.

입력 행렬은 $I$ 이다.

위 그림은 입력 행렬 $I$ 에 Horizontal 마스크를 적용한 결과 $I_y$ 를 보여준다. 위 그림의 필터는 세로 방향(Y방향) 기울기를 계산하는 역할을 한다.

필터에서 가중치 변화가 일어나는 방향이 검출하는 기울기의 방향이다. 위 필터를 보면 세 행(row)마다 값이 달리진다. 즉, 위쪽과 아래쪽 픽셀 값 차이를 계산하는 구조이기 때문에, 수직 방향(Y방향) 기울기를 검출하는 역할을 하게된다.

결국, 입력 행렬 내에서 세로 방향으로 값 변화가 없기 때문에, Y방향 미분 값이 0이되어 결과가 전부 0이된다.

위 그림은 입력 행렬 $I$ 에 Vertical 형태의 마스크를 적용한 결과 $I_x$ 를 보여준다. 이 필터는 가로 방향(X방향) 기울기를 계산한다.

입력 행렬 값을 보면 X방향으로 값의 변화가 존재(10 $\to$ 20)하기 때문에, 결과 행렬의 값이 10이됨을 확인할 수 있다. 행렬의 첫번 째 행과 열, 마지막 행과 열이 0인 이유는 Boundary Problem 때문이며, 값이 -10이 아닌 10으로 나오는이유는 커널이 Flip한 후 연산이 되기 때문이다.

Edge models

엣지(Edge)는 영상에서 서로 다른 영역을 구분 짓는 경계선이며, 일반적으로 픽셀 밝기(Intensity)가 급격하게 변하는 부분에서 나타난다. 이러한 변화는 영상 내 물체의 경계, 표면의 패턴 변화, 또는 조명 차이로 인해 발생한다. 엣지 검출(edge detection)은 이 밝기 변화가 뚜렷하게 나타나는 지점을 찾아내어, 영상의 세그멘테이션(segmentation)과 물체 인식에 핵심적인 역할을 한다.

이상적인 엣지는 밝기 변화의 패턴에 따라 크게 세 가지로 모델링할 수 있다.

Step Edge

한쪽 영역에서 다른 영역으로 밝기가 갑자기 변하는 형태로, 픽셀 강도가 일정하다가 경계에서 순간적으로 변화가 발생한다.

예를 들면, 물체의 뚜렷한 경계, 명암 대비가 큰 부분 등이 있다.

Ramp Edge

밝기가 점진적으로 변하는 형태이다. 실제 영상에서 흔히 발생하며,(카메라 초첨, 센서 특성, 모션 블러 등의 영향으로 경계가 흐려짐) 경계 구간의 폭이 step edge보다 넓다.

Roof Edge

밝기가 특정 위치에서 최대(최소)를 이루고 양쪽으로 완만하게 감소한다. 얇은 선이나 가느다란 구조에서 나타나는 패턴이다.

예를 들면, 머리카락, 혈관, 회로 기판의 선 등이 있다.

CT 영상 예시를 확인해보면, 위 세 가지 모델이 나타남을 확인할 수 있다. Step Edge는 뼈와 연조직 경계처럼 명확하게 구분되는 영역, Ramp Edge는 연부 조직과 같은 경계가 흐린 부분, Roof Edge는 혈관, 가느다란 구조물 등에서 보인다.

각 모델의 실제 프로파일(밝기 값 변화)를 보면, 이상적 모델과 매우 유사하게 나타나며, 엣지 검출 알고리즘은 이러한 밝기 변화 패턴을 이용해 경계를 찾는다.

First and Second Derivatives

경계(Edge)는 픽셀 밝기 값(Intensity)이 급격하게 변하는 지점에서 나타난다. 이를 수학적으로 분석하기 위해 1차 미분(First derivative)과 2차 미분(Second Derivatives)을 사용한다.

1차 미분(First Derivative) : 1차 미분은 영상의 밝기 변화율을 나타낸다.
예를 들어, 어떤 방향으로의 밝기 변화를 $g_x, g_y$ 로 나타낼 수 있다.
- 값이 0이면 해당 방향으로 밝기 변화가 없음을 의미한다.
- 값이 양수 또는 음수이면 해당 방향으로 밝기가 증가하거나 감소하고 있음을 의미한다.
- 경계 부근에서는 1차 미분이 최대값 또는 최소값을 가지며, 이 지점이 에지 후보가 된다.
2차 미분(Second Derivative) : 2차 미분은 밝기 변화율의 변화, 즉 기울기 변화율을 나타낸다.
- 경계에서는 2차 미분이 부호가 바뀌는 지점(Zero Crossing)을 만든다.
- 이 특성을 이용하면 에지 위치를 정밀하게 찾을 수 있다.
  예를 들어, 라플라시안(Laplacian) 필터는 2차 미분에 기반하여 경계를 찾는다.

Image Gradient
그라디언트는 영상의 밝기 변화 방향과 크기를 벡터 형태로 표현한 것이다. 그라디언트 벡터는 다음과 같이 정의된다.

\nabla f = \begin{bmatrix} g_x \\ g_y \end{bmatrix} = \begin{bmatrix} \frac{\partial f}{\partial x} \\ \frac{\partial f}{\partial y} \end{bmatrix}

여기서 $g_x$ 는 가로 방향, $g_y$ 는 세로 방향의 밝기 변화율이다.

(1) 크기(Magnitude)
그래디언트의 크기는 에지 강도를 의미한다.

|\nabla f| = \sqrt{g_x^2 + g_y^2}

(2) 방향(Direction)
그래디언트 방향은 영상에서 밝기가 가장 크게 변하는 방향을 나타낸다.

\alpha(x, y) = \tan^{-1} \left( \frac{g_y}{g_x} \right)

이 방향은 경계의 수직 방향과 일치한다.

1차 미분은 에지의 우치를 찾는 데 직관적이고 빠르지만, 잡음에 민감하다. 반면 2차 미분은 Zero Crossing을 이용해 경계의 위치를 보다 정밀하게 잡을 수 있다. 여기에 그래디언트를 사용하면, 경계의 강도와 방향을 동시에 계산하여 더욱 풍부한 에지 정보를 얻을 수 있다.

따라서 실제 에지 검출 알고리즘(Sobel, Prewitt, Canny 등)은 이 세 가지 개념을 적절히 결합하여 사용한다.

Various Masks

영상에서 에지를 검출하기 위해 다양한 마스크(mask)가 사용된다. 마스크는 2차원 필터 형태로, 특정 방향(수평, 수직, 대각선) 또는 크기 변화를 강조하도록 설계된다. 각 마스크는 이미지의 국소 영역(예: 3x3 픽셀 블록)에서 기울기(Gradient)를 근사 계산하는 역할을 한다.

Roberts Masks

2x2 크기의 마스크를 사용하여 대각선 방향의 기울기를 계산한다. 연산량이 적고 단순하지만, 잡음에 민감하고 에지 두께를 일정하게 유지하기 어렵다. 주로 빠른 에지 검출이 필요할 때 사용한다.

Prewitt Masks

3x3 마스크를 사용하며, 수평 및 수직 방향의 에지를 검출한다. 가중치가 균일하여 계산이 단순하여 간단한 구현에 적합하고, 잡음 억제력이 Sobel보다 낮다.

수식은 다음과 같다.
$g_x, g_y$ 를 각각 계산한 후, 다음 공식을 사용해 기울기 크기를 계산한다.

∇f ≈ |g_x| + |g_y|

또는

∇f = \sqrt{g_x^2, g_y^2}

Sobel Masks

Prewitt와 유사하지만, 중앙 행(또는 열)에 더 높은 가중치(2)를 부여한다. 잡음 억제 효과가 뛰어나고, 경계 근처에서 더 정확한 기울기 추정이 가능하다. 특히 수평 및 수직 방향의 에지 검출에서 안정적 결과를 제공한다.

Prewitt와 Sobel의 대각선 에지 검출

일반적인 Prewitt와 Sobel 마스크는 수평 $\cdot$ 수직 에지에 최적화되어 있지만, 변형된 형태를 사용하면 **대각선 방향( $±45\degree$ ) 에지도 효과적으로 검출할 수 있다.

Prewitt 대각선 마스크
- $45\degree$ 및 $-45\degree$ 방향의 픽셀차이를 강조.
- 단순한 구조로 빠른 계산이 가능하다.
Sobel 대각선 마스크
- 중앙 대각선에 더 큰 가중치(2)를 줘서 잡음 억제 강화
- 경사 방향의 경계 검출 품질이 Prewitt보다 우수하다.

Edge Detection under Noise and Smoothing

이미지 경계를 찾는 작업인 엣지 검출(Edge Detection)은 물체의 형태를 파악하고 구역을 나누는 데 필수적인 단계이다. 엣지는 일반적으로 픽셀 강도(intensity)가 급격하게 변화하는 부분에 해당하며, 이러한 변화는 1차 또는 2차 미분을 통해 쉽게 감지할 수 있다. 그러나 실제 환경에서 촬영된 이미지는 이상적인 조건과 달리 노이즈가 포함되어 있어, 단순한 미분 연산만으로는 안정적인 엣지 검출이 어렵다.

Effect of Noise

위 이미지는 ramp edge(점진적으로 밝아지는 경계)에 무작위 가우시안 노이즈를 추가했을 때, 원본 강도 프로파일과 1차 $\cdot$ 2차 미분 결과가 어떻게 변하는지를 보여준다.

노이즈가 없을 때는 경계 부근에서만 뚜련한 변화가 나타난다.
노이즈가 커질수록 1차 미분 결과에 많은 잡음 신호가 추가되고, 2차 미분은 더 불안정한 결과를 보인다. 이로 인해 경계 위치를 정확히 판단하기 어려워지며, 잘못된 엣지가 검출될 수 있다.

Three Fundamental Steps

효과적인 엣지 검출을 위해서는 다음과 같은 3가지 스텝이 필요하다.

1. Image smoothing for noise reduction : 먼저 필터링을 통해 노이즈를 줄인다.

2. Detection of edge points : 미분 연산 등을 사용해 경계 후보 픽셀을 찾는다.

3. Edge localization : 경계의 정확한 위치를 결정하고 불필요한 엣지를 제거한다.

위 Three Fundamental Steps에서 볼 수 있듯이 노이즈의 영향을 줄이는 가장 간단한 방법은 미분 전에 스무딩(평활화)을 적용하는 것이다.

스무딩 펄터 $g$ (예: 가우시안)와 원본 영상 $f$ 를 컨볼루션하면, 노이즈가 줄어든 $g*f$ 를 얻을 수 있다.
그 후 미분 연산을 수행하면, 불필요한 고주파 성분(노이즈)이 제거된 상태에서 안정적인 엣지 검출이 가능하다.

위 그래프에서 볼 수 있듯이, 원본 신호 $f$ 는 노이즈가 심하지만, $g*f$ 는 완만한 곡선이 되고, 이를 미분한 결과는 경계 위치에서 뚜렷한 피크만 남는다.

Derivative Theorem of Convolution

미분과 컨볼루션은 순서를 바꿀 수 있다. 수식으로 표현하면 다음과 같다.

\frac{\partial}{\partial x}(g * f) = \left( \frac{\partial g}{\partial x} \right) * f

즉, 원본 영상을 먼저 스무딩하고 나서 미분하는 대신, 미분된 필터를 만들어 영상과 바로 컨볼루션해도 동일한 결과를 얻을 수 있다. 이 성질은 실제 필터 설계 시 연산 효율을 높이는 데 매우 유용하다.

Implementation of Derivative

미분 필터는 다양한 형태로 구현할 수 있다. 예를 들어, 1차 미분 필터 [1 0 -1]는 x축 방향 변화량을 계산하는 기본적인 커널이다. 이를 가우시안과 결합하면, 스무딩과 미분이 동시에 수행되어 노이즈에 강한 엣지 검출이 가능하다.

실제 구현에서는 Roberts, Prewitt, Sobel과 같은 고전적인 마스크가 많이 사용된다.

2D Edge detection filters

엣지 검출은 2차원 공간에서 수행되므로, 필터 또한 2D 형태로 확장된다.

Gaussian Filter : 노이즈 제거
Derivative of Gaussian : 가우시안 스무딩 후 1차 미분으로 경계 검출
Laplacian of Gaussian : 2차 미분을 사용해 모든 방향의 엣지를 동시에 검출

라플라시안 연산자는 다음과 같이 정의된다.

\nabla^2 f = \frac{\partial^2 f}{\partial x^2} + \frac{\partial^2 f}{\partial y^2}

이 연산은 방향에 구애받지 않고 엣지를 찾지만, 노이즈에 민감하므로 반드시 가우시안 스무딩과 함께 사용해야 한다.(Laplacian Filter, Gaussian Filter)

Examples

아래 그림은 Sobel masks를 이용한 엣지 검출 과정을 단계별로 보여주는 예시이다. 원본 이미지는 (a)이다.

(b), | $g_x$ |, x 방향 그래디언트로, (c)는 | $g_y$ |, y방향 그래디언트, (d)는 | $g_x$ |+| $g_y$ |, 두 결과를 합쳐 모든 방향의 경계를 강조한 이미지이다.

아래 그림은 위에서 본 이미지들과 동일한 결과 이미지이지만, 차이점은 에지 검출 전에 원본 영상을 5x5 평균 필터(averaging filter)로 스무딩했다는 점이다.

각 결과별로 비교해보면, 확실히 스무딩으로 작은 패턴과 잡음 제거 후 큰 구조 위주의 깔끔한 에지가 검출된 것을 확인할 수 있다.

아래 이미지는 Gradient angle image, 즉 그래디언트 벡터의 방향(angle)을 시각화한 영상이다.

밝기가 일정한 영역은 같은 각도 값을 갖는 픽셀들이 모여 있는 영역을 의미한다. 즉, 그 부분에서는 경계의 방향이 동일하다는 의미이다.

건물 외곽선이나 지붕선 부분은 각도가 비슷해서 회색 패턴이 균일하게 보인다. 반면 벽돌 패턴은 세부 구조 방향이 미세하게 변하므로 점점 무늬가 복잡하게 나타난다.

아래 그림은 대각선 방향 에지 검출 결과를 보여준다.

아래 이미지는 Gradient와 Thresholding을 결합한 엣지 검출 결과를 보여주는 예시이다.
과정은 다음과 같다.
1. Gradient 계산, Sobel 마스크를 사용해 $g_x$ , $g_y$ 를 구하고 이를 결합해 | $g_x$ |+| $g_y$ | 형태의 gradient magnitude 이미지를 얻는다. 이 gradient magnitude는 각 픽셀에서 밝기 변화량(엣지 강도)를 나타낸다.

2. Threshold 적용, 엣지 강도가 충분히 큰 부분만 남기고, 나머지는 제거하기 위해 임계값(Threshold)을 설정한다. 아래 그림에서는 이미지 내 최고값의 33%를 임계값으로 사용했다. 이렇게 하면 강한 엣지(건물 외곽선 등)는 남고, 벽돌 무늬처럼 세부적이고 약한 엣지는 제거된다.

(a) 이미지는 Examples 첫 번째 그림의 (d)에서 얻은 gradient에 33% 임계값을 적용한 결과이다. 잡음과 텍스처 엣지가 많이 사라지고 건물 외곽선 위주로 남은 모습을 확인할 수 있다.

(b)는 엣지 검출 전 smoothing을 적용한 후 얻은 gradient에 동일한 임계값을 적용한 결과이다. 미리 smoothing을 했기 때문에 (a)보다 잡음이 적고, 엣지가 더 깔끔하다.

References

Computer Vision: Algorithms and Applications 2nd Edition - Richard Szeliski

Digital Image Processing 2nd Rafael C.Gonzalez, Richard E. Woods

Yeontachi

기초를 다지는 중입니다.📚🧑‍💻

이전 포스트

[CV] Image Restoration and Reconstruction(3) - Adaptive and Model-based Noise Reduction in the Frequency Domain

다음 포스트