Bag of Features(또는 Bag of Visual Words, BoVW)는 텍스트 처리에서의 Bag of Words(BOW) 모델을 영상 인식 분야에서 응용한 방법이다. 이 방법은 이미지를 개별적인 픽셀 단위로 다루지 않고, 먼저 이미지 내의 로컬 특징(local features)을 추출한 뒤 이를 시각적 단어(visual words)로 변환하여 하나의 히스토그램으로 표현한다. 결과적으로 이미지는 단일 벡터로 요약되어, 분류기(SVM 등)에 바로 적용할 수 있게된다.
Texture Models
텍스처(texture)는 영상 인식에서 매우 중요한 요소이며, 일반적으로 반복되는 기본 단위 요소(textons)의 배열로 특징지어진다. 예를 들어, 직물, 벽돌, 그물망과 같은 표면들은 작은 패턴이 반복적으로 나타나면서 특정한 질감을 형성한다.
텍스처는 개별적인 픽셀이 아니라 지역적 반복 패턴으로 정의된다. 이 반복되는 최소 단위를 텍스톤(texton)이라고 부른다. 위 그림은 여러 형태의 패턴을 예시로, 각 이미지 아래에는 해당 텍스톤이 추출된 모습을 볼 수 있다.
텍스처는 단순히 시각적으로 구분하는 것을 넘어서, 수치적으로 표현하기 위해 텍스톤 사전(texton dictionary)과 히스토그램(histogram)을 사용한다.
여러 텍스처 이미지를 통해 텍스톤 사전(dictionary)을 구축한다. 새로운 이미지는 그 안에서 추출된 텍스톤을 사전에 매핑하고, 등장 빈도를 세어 히스토그램으로 표현한다.
이 방식은, BoF(Bag of Features) 모델과 유사하게, 텍스처 이미지를 순서에 상관없이 빈도 벡터로 요약할 수 있다. 이는 배경 분류, 재질 인식(material recognition), 장면 이해(scene understanding) 등 다양한 비전 과제에 활용된다.
Bag of Features
Bag of Features(BoF)는 객체 인식을 위해 이미지를 시각적 단어(visual words)의 빈도 분포로 표현하는 방법이다. 이는 텍스트 처리의 Bag of Words(BOW) 모델에서 착안된 것으로, 이미징서 추출한 지역적 특징(local features)을 단어처럼 취급하여 히스토그램 형태의 벡터로 변환한다.
BoF 파이프라인
-
Step 1: Extract Local Features
이미지에서 국소 영역 특징을 추출한다. 예: 눈 자전거의 바퀴, 바이올린의 곡선 등
-
Step 2: Learn Visual Vocabulary
추출된 특징들을 클러스터링(k-means 등)하여 시각적 단어 사전(visual vocabulary)을 생성한다.
아래는 Visual Vocabulary의 예시이다.
- Step 3: Quantize Local Features
새로운 이미지가 들어오면 해당 이미지의 특징들을 추출하여, 앞서 만든 시각적 단어 사전에 매핑한다. - Step 4: Represent Images by Histogram
각 단어가 등장한 빈도를 세어 히스토그램 벡터를 생성한다. 이 벡터가 이미지의 최종 표현이 된다.
Spatial Pyramid Matching(SPM)
Bag of Features(BoF) 모델은 이미지를 시각적 단어들의 빈도 벡터로 요약하여 강력한 객체 인식 성능을 보였지만, **공간적 배치(Spatial layout) 정보를 잃어버린다는 한계가 있었다. 같은 단어가 얼마나 등장했는지만 고려하기 때문에, 예를 들어 "하늘 위 새"와 "땅 위 새"를 구분하기 어렵다.
이를 보완하기 위해 제안된 방법이 Spatial Pyramid Matching이다.
핵심 아이디어
SPM은 이미지를 여러 해상도(level)로 분할하여 각 영역마다 BoF 히스토그램을 계산한 뒤, 이들을 결합하는 방식이다.
- Level 0 : 전체 이미지를 하나의 영역으로 보고 BoF 히스토그램을 만든다.
- Level 1 : 이미지를 2x2 영역으로 나누고, 각 영역에서 BoF 히스토그램을 계산한다.
- Level 2 : 이미지를 4x4 영역으로 세분화하고, 각 영역에서 BoF 히스토그램을 만든다.
최종적으로 여러 레벨의 히스토그램을 계층적(Spatial pyramid)으로 결합하여, 이미지의 지역적 분포와 전역적 특성을 동시에 반영한다.
위 그림을 보면 상단의 사원 이미지가 세 가지 해상도(Level 0, Level 1, Level2)로 분할된다. 각 영역에서 BoF 히스토그램을 생성한 뒤, 이들을 결합하여 최종 표현 벡터가 만들어진다.
SPM은 BoF의 단순성을 유지하면서도, 공간적 정보를 보존한다. 객체의 위치와 구조적 배치를 고려할 수 있어 장면 인식(scene classification)과 객체 인식(object recognition) 성능이 크게 향상된다. 또한, 다중 해상도 구조 덕분에 국소 특징과 전역 특징을 동시에 반영한다.
References
Lazebnik, Schmid & Ponce (CVPR 2006)
Slide credit: Juan Carlos Niebles
Source: B. Leibe
Slide credit: Josef Sivic
Julesz, 1981; Cula& Dana, 2001; Leung & Malik 2001; Mori, Belongie& Malik, 2001; Schmid2001; Varma& Zisserman, 2002, 2003; Lazebnik, Schmid& Ponce, 2003
ICCV 2005 short course, L. Fei-Fei
