Bag of Words

• 문서(document)를 자동으로 분류하기 위한 방법 중 하나로, 문서 내의 단어(words)가 등장하는 순서와 무관하게 사용되는 빈도와 분포를 보고 어떤 종류의 문서인지 판단하는 기법
  ex) 패스, 득점, 부상, 경고 -> 축구

Bag of words의 분류 과정

1. 등장하는 단어로부터 단어장을 생성해 출현 횟수 측정
2. 각 단어의 출현 빈도로부터 히스토그램 생성
3. 히스토그램으로부터 문서의 속성을 분류

영상처리에서의 Bag of Words

• 영상 feature(ex. SIFT, BRIEF, ...)를 추출한 후 clustrering을 거쳐 각 feature를 대표할 수 있는 코드 생성 및 코드를 모아 놓은 코드 북 생성
  

• 임의의 영상에서 feature를 추출한 후 clustering을 거친 결과를 codebook의 code와 비교해 히스토그램으로 표현해 이미지 분류 및 인식

ORB SLAM에서의 Bag of Words

• ORB SLAM 영상에서 추출한 ORB feature를 기반으로 Mapping과 Localization을 동시에 수행하는 시스템
  - 영상에서 추출한 ORB feature로부터 code 및 codebook 실행

• ORB SLAM을 다루는 3가지 시스템인 Tracking, Local Mapping, Loop Closing 전반에 걸쳐 사용됨

• Tracking
  - tracking 과정에서 lost가 발생한 경우, 새로 들어오는 영상의 ORB feature를 이전에 생성된 keyframe의 map point로 구성된 bag of words와 비교하는 과정인 global relocalization을 거친다. 이후 충분히 유효한 값이 나오면 tracking을 이어서 실시

• Local Mapping
  - 새로운 keyframe이 생성되는 경우 keyframe을 나타내는 bag of words를 계산해 새로운 map point의 triangulation의 계산을 만든다.

• Loop Closing
  - 새로운 keyframe이 Local Mapping 과정에서 만들어진 keyframe의 bag of words 내의 값과 유사하다면 이전에 지나온 장소라고 판단해 Loop Closing이 일어날 수 있는 후보로 분류
  

Reference

https://www.youtube.com/watch?v=_SplGD9ZU9M&list=PLoJdZ7VvEiRNUxlIXlgy7Fh8ziyt4Hw50&index=3