local feature의 개발 방향과 최신 기술들
1. 1980 이전의 특징점 알고리즘
영상 내의 노이즈가 많아 객체를 찾기 위해서는 객체의 경계를 나타내는 선이 중요한 특징이 되었다. 이러한 이유로 과거에는 선을 찾기위한 알고리즘 개발이 주를 이루었다.
Sobel operator(1962)
행렬 형태로 되어있는 이미지의 특정 영역에 대해 접근하는 것은 매우 어려웠다. 이를 해결하기 위해 filter 혹은 mask 형태로 된 패치를 통해 접근과 동시에 연산의 용이성을 챙겼다.
Hough transform(1972)
GPU가 없는 상황에서 직선을 찾을 수 있어 최근에도 많이 사용되는 방법이다.
Canny edge detection(1986)
안정적으로 강력한 엣지를 찾을 수 있어 많이 사용된다. 특히 엣지의 세밀함을 사용자가 정할 수 있는 특징이 있다.
Limitation of line featrue
두 사진 사이의 같은 물체를 찾을 수 이는가?
Line의 경우 각도가 영상의 각도가 틀어지면 고유한 특징을 잃어버리게 된다. 특히 멀리 떨어진 특징에 대해서는 정확도가 매우 떨어진다.
- Line-line dot product (point)
- Line-line cross product (plne)
로 부터 특징을 찾기위한 연구들이 이어졌다.
2. Point feature detector
- Keypoint:
point feature의 픽셀 위치를 의미한다. - Descriptor:
point featrue의 특징을 의미한다. Keypoint 주변을 분석(밝기 변화 등)해서 특징을 만든다. - Correspondence:
두 Keypoint feature 간의 유사도를 의미한다. - Local feature:
Moravc detection(1980)
픽셀에 대해서 4방향 좌, 좌상단, 우, 우상단의 밝기 변화는 분석해서 코너인지 확인한다.
Harris corner(1988)
Moravc detection를 개선한 방법이다. x와 y 방향에 대한 변화량만 계산된 행렬을 구하고 여기서 고윳
값을 찾은 다음에 이 값을 이용해서 코너를 찾는다.
SIFT(2002)
Scale-invariant와 Rotation-invariant를 중점으로 연구된 방법이다. 이미지 피라미드를 만들고 이들을 블러처리 한 후 차이를 구한 DOG를 만든다. 이 과정에서 scale 변화에 강한 특징을 만들게 된다.
feature descriptor를 제안한다.
FAST(2006)
keypoint detector로 SIFT보다 42배, Harr 보다 17배 빠른 속도를 보여준다.
주변 16개의 픽셀 중 10개의 연속된 픽셀이 나머지 픽셀보다 밝거나 어두운 경우 코너로 검출한다.
BRIEF descriptor(2010)
descriptor를 표현할 때 binary로 표현하는 방법이다. 때문에 메모리와 연산량을 줄인 방법이다.
ORB(2011)
SIFT의 정확도를 갖으며 실시간의 속도를 갖는 장점이있다. FAST와 BRIFT를 적절하게 사용한 방법으로 이미지 피라미드에서 FAST를 이용하여 Scale 변화에 강한 코너를 찾고 이를 BRIEF를 통해 dedcriptor를 만드는 방법을 사용했다.
AKAZE(2013)
SIFT와 ORB의 중간 정도의 속도와 정확도를 갖는 알고리즘이다.
