📝이 포스트는 canny edge detection에 대해 알아보겠습니다.

---

정의

이미지에서 edge를 찾아내는 데에 매우 효과적인 경계 검출 기법이며, 정확성을 보장하고 얇은 edge 검출하는데에 우수한 성능을 보이는 경계 검출 기법이다.

장점

1. gaussian filter를 이용하여 선명하고 정확한 edge 검출이 가능하다.
2. non-maximum suppression을 사용하여 얇은 edge를 얻을 수 있다.

단점

1. 여러 단계를 거치는 경계 검출 기법으로, 여러 단계를 거치는 만큼 연산량이 많아져 자원 효율성이 낮다.
2. threshold 를 적절하게 튜닝해야한다.

---

목적

기존 sobel edge detection의 두꺼운 형태로 edge로 검출하는 단점으로 정확하게 검출하는데 문제가 있었다.
그래서 sobel edge detection의 단점을 보완하여 얇고 정확한 edge를 검출하며 잡음을 없애기 위해 canny edge detection을 사용한다.

---

원리

1. 가우시안 필터링 : 노이즈 제거하기 위해 gaussian filter를 사용한다.
   gaussian filter의 공식은
   
   $G(x,y) = \frac{1}{2\pi\sigma^2}e^{-\frac{x^2+y^2}{2\sigma^2}}$
   와 같다.
2. gradient 계산 (크기 & 방향)
   sobel filter를 사용하여 수직 방향($x$)과 수평 방향($y$)의 미분값을 구하여 gradient를 계산합니다.
   이 값을 통해 gradient의 크기와 방향을 구할 수 있다.
   $magnitude : \lVert f \rVert = \sqrt{f^2_x + f^2_y}$
   $phase : \theta = tan^{-1}(\frac{f_y}{f_x})$
3. 하나의 edge가 여러 개의 픽셀로 표현되는 현상을 없애기 위해 gradient가 최댓값(local maximum)인 픽셀만을 엣지로 설정하는 Non-Maximum Suppression을 수행합니다.
   gradient 방향(수직, 수평)을 기준으로 NMS를 적용하기 때문에 얇은 edge를 구할 수 있습니다.
   https://velog.io/@mykirk98/Non-Maximum-SuppressionNMS
   NMS에 대한 제 포스트이니 모르시는 분들은 참고하여 주시기 바랍니다👍🏽.
4. Hysteresis Threshold
   Hysteresis란 $Threshold_{low}$, $Threshold_{high}$ 두 개의 임계값을 사용하여 이미지의 픽셀을 두 가지 edge 그룹으로 분류하는 방법입니다.
   • 
     위의 케이스와 같은 $Threshold_{high}$ 이상의 gradient를 갖는 edge를 "Strong edge" 라고 합니다.
     $Threshold_{high}$ 과 $Threshold_{low}$ 사이의 구간을 "Hysteresis" 라고 합니다.
     고로 gradient가 감소하여 $Threshold_{high}$ 아래로 Hysteresis 구간 이하로 감소하지 않고 $Threshold_{high}$ 위로 유지하는 gradient 를 "Strong edge" 라고 합니다.
   • 
     이번 케이스는 $Threshold_{low}$ 아래로 gradient가 증가하지 못하는 경우는 edge가 아니라고 판별합니다.❌
     픽셀 값이 기준에 미치지 못하고 현저히 낮아 edge가 될 수가 없는 상황입니다.
   • 
     위의 케이스같은 경우는 gradient가 감소하여 $Threshold_{high}$ 아래까지 감소하여 Hysteresis 구간에 들어왔다. 하지만 continuous한 곡선을 유지하며 $Threshold_{high}$ 이상의 gradient 값이 유지되는 이 구간 gradient 값을 "weak edge" 라고 합니다.
   • 
     하지만 이 경우에는 "weak edge" 가 성립되지 못합니다❌.
     왜냐하면 $Threshold_{low}$ 아래로 gradient가 감소하였기 때문입니다. Hysteresis 구간 아래로 gradient 값이 감소하면 edge가 아니라고 판별합니다❌.
   • 
     그러면 위 그림을 한번 적용해보죠.
     이 같은 경우는 하이라이트 친 부분은 edge를 고려할 만한 gradient 값이 아닙니다.
     결국 "weak edge" 는 아니지만 $Threshold_{high}$ 이상의 값을 유지하는 저 좁은 구간만 "strong edge" 가 됩니다.

---

코드 이해

우리가 직접 소스코드를 만들어도 되지만, 노동력과 시간효율성을 고려했을 때 OpenCV 라이브러리에서 구현한 canny edge detection 메소드를 사용하는 방법이 있습니다.

• 단순한 구현

import cv2

canny = cv2.Canny(image, threshold_1, threshold_2)

이 cv2.Canny() 메소드를 이용하면 한줄에 canny edge detection을 완성할 수 있습니다.

Before Canny

After Canny

제가 '원리' 부분에서 설명한 것들이 이러한 결과를 도출합니다.
이미지로 이해를 도울 수 있으면 좋겠네요😅

• 사용자 정의 함수로 구현

  가우시안 필터링
  

# size : 커널 크기       sigma : 표준편차 (sigma^2 : 분산)
def Gaussian(size, sigma):
	#중심에서부터의 거리 계산
    array = np.arange((size//2)*(-1), (size//2)+1)
    
    #x^2+y^2 배열 초기화
    xx_yy_array = np.zeros((size, size))
    
    for x in range(size):
        for y in range(size):
            #중심에서부터의 거리를 제곱합으로 계산
            xx_yy_array[x,y] = array[x]**2+array[y]**2
    
    # 필터 초기화
    filter = np.zeros((size, size))
    
    for x in range(size):
        for y in range(size):
             # 수학적 수식 구현부
             filter[x,y] = 1 / (2 * np.pi * sigma**2) * np.exp(-xx_yy_array[x,y]/(2 * sigma**2))

    # Scaling
    filter /= filter.sum()
    
    return filter

가우시안 필터를 이렇게 구현할 수 있습니다.

가우시안 적용 이미지

그 다음 gradient를 구한다.
gradient는 소벨 필터로부터 구할 수 있다.

# gradient를 구하는 방법
# 소벨 필터
def sobel(image):
    #x,y 필터
    sobel_vertical = np.array([[-1, 0, 1],
                               [-2, 0, 2],
                               [-1, 0, 1]])
    sobel_horizontal = np.array([[-1,-2,-1],
                                 [ 0, 0, 0],
                                 [ 1, 2, 1]])

    # x축, y축에 대해 콘볼루션
    gradient_x = cv2.filter2D(image, -1, sobel_vertical)
    gradient_y = cv2.filter2D(image, -1, sobel_horizontal)

    # 유클리디안 거리 구하기
    # == np.sqrt(gradient_x **2 + gradient_y ** 2)
    gradient = np.hypot(gradient_x, gradient_y)
    # Normalization
    gradient = gradient / gradient.max() * 255
    
    theta = np.arctan2(gradient_y, gradient_x)

    return (gradient, theta)

gradient를 구한 이미지

이제 Non-Maximum Suppression을 통해
45도 간격으로 라운딩하여 edge 값과 현재 픽셀의 edge 값을 비교한다.

def non_max_suppression(gradient, theta):
    #Height, Width
    height, width = gradient.shape
    # 
    result = np.zeros((height, width), dtype=np.int32)
    #각 방향을 돌면서 계산
    angle = theta * 180. / np.pi
    angle[angle < 0] += 180

    #(0,45,90,135) 방향을 돌면서 연산
    for i in range(1, height-1):
        for j in range(1, width-1):
            # 0 degrees ( & 180 degree)
            if (0 <= angle[i, j] < 22.5) or (157.5 <= angle[i, j] <= 180):
                left = gradient[i, j - 1]
                right = gradient[i, j + 1]

            # 45 degrees ( & 225 degree)
            elif 22.5 <= angle[i, j] < 67.5:
                left = gradient[i - 1, j + 1]
                right = gradient[i + 1, j - 1]

            # 90 degrees ( & 270 degree)
            elif 67.5 <= angle[i, j] < 112.5:
                left = gradient[i - 1, j]
                right = gradient[i + 1, j]

            # 135 degrees ( & 315 degree)
            elif 112.5 <= angle[i, j] < 157.5:
                left = gradient[i - 1, j - 1]
                right = gradient[i + 1, j + 1]

            if (gradient[i, j] > left) and (gradient[i, j] > right):
                result[i, j] = gradient[i, j]
            else:
                result[i, j] = result[i, j]
    return result

NMS 적용 이미지

그리고 그 이후에 hysteresis threshold를 적용하여

가 도출된다.
하이퍼 파라미터를 튜닝하여 각자 원하는 값을 달리 하여 적재적소에 필요한 이미지를 도출할 수 있다.