1.Abstract

세상을 3D로 인식하기 위해서는 엣지 필터링이 굉장히 중요하다. 코너와 엣지를 검출하는데 local-auto-correlation이라는 기술을 사용하고 괜찮은 성능을 보인다.

2. Introduction

최근(1988 당시) 컴퓨터비전의 주된 과제는 3D 세상에 대한 인식이다. 단안카메라를 통한 모션분석으로 3D세상 인식을 도전하고 있다. 이미지의 특징들을 트래킹하기 위해서는 이미지 특징들이 discrete 해야한다. 때문에 이전에는 feature-points와 corners를 추출하는 방식이 사용되어왔다. 하지만 feature-points는 표면이나 물체 등 높은 수준의 description을 뽑아내는데 한계가 있었다. 우리는 더 풍부한 정보가 필요했고 그것은 엣지를 통해 가능하다.

3. The edge tracking problem

스테레오 카메라 환경에서 Rotation과 Translation(R|t) 를 알고 있을 때 epipolar camera geometry를 통해 이미지들 간 엣지들을 매칭시키는 것이 가능하다. 하지만 카메라 모션을 알 수 없는 경우, 즉 R|t를 모르는 경우에는 모션 트래킹을 진행 할 수 없다. 이런 경우 칼만 필터같은 무거운 연산을 통해 모든 엣지와 픽셀에 대하여 트래킹을 진행해야 한다.
edge를 추출할 때 (특히 곡선에서) 약간의 조명변화와 각도변화에도 엣지의 모양이 달라져 트래킹이 매우 어렵고 불필요할 수 있다. 하지만 추출한 edge들과 코너들을 연결하면 wire-frame structure representation과 3D surface 등의 의미있는 결과물을 뽑아낼 수 있다. 아래 이미지는 canny edge detection의 한계를 보여주고 있다. 두 이미지의 곡선부분 엣지가 매칭이 안되는 부분이 많은 것을 확인할 수 있다.

4. Moravec revisited

코너와 엣지를 검출하여 잇는 방법을 사용하기 위해 MORAVEC의 방법에서 인사이트를 얻었다.
Moravec은 픽셀을 기준으로 일정한 크기의 윈도우를 8방향으로 움직여 intensity변화를 확인하므로써 코너 여부를 검출했다.

• 윈도우를 움직였을때 intensity 변화가 미미 -> Flat
• 윈도우를 특정 방향으로만 움직였을 때 intensity 변화가 미미 & 수직방향으로 움직이면 intensity 변화 큼 -> edge
• 윈도우를 어떻게 움직여도 intensity 변화 큼 -> corner
  이를 수식으로 표현하면 다음과 같다.

5. Auto-correlation detector

위에 소개된 Moravec 방식의 문제점과 극복방법을 소개한다.

• 윈도우 모션의 방향이 45도로 한정되는 문제
  • analytic expansion(Tayler expansion)을 이용해 모든 방향으로 확장.
• 윈도우가 이진적이고 사각형이기 때문에 노이즈가 존재했던 문제.
  • 가우시안 블러를 이용한 부드러운 원 모양의 윈도우로 극복
• 연산 방식이 코너도 엣지로 판단하기 쉬운 문제.
  • 계산식을 수정하여 극복
    • sobel operate를 통해 픽셀 intensity의 X방향, Y방향의 1차미분계수를 구함.
    
    • 구한 1차 미분값을 윈도우에 적용해 M 매트릭스를 구함.
    
    • M 매트릭스의 eigen value를 구한다.(a,b) -> 이 값이 곧 코너, 엣지, 평면 여부를 결정
      

6. Corner/edge response funcion

본 연구는 코너와 엣지를 구분하는 것 뿐만 아니라 코너와 엣지의 퀄리티나 response를 측정할 수 있는 척도를 제안하였다. 아래 수식에서 R = response funcion을 의미한다.

• R < 0 -> edge
• R > 0 -> corner
• R = 0에 근사 -> flat