이전 포스팅에서 살펴본 R-CNN과 Fast R-CNN은 딥러닝 기반 객체 탐지의 발전 과정에서 중요한 역할을 했다.
특히 Fast R-CNN은 전체 이미지를 한 번만 CNN에 통과시키고, RoI Pooling을 통해 연산량을 크게 줄이며 속도와 정확도를 동시에 개선하는 데 성공하였다.
하지만 여전히 해결되지 않은 치명적인 문제가 하나 남아 있었다.
👉 바로 Region Proposal 단계의 병목 현상이다.
Fast R-CNN에서는 객체 후보 영역을 생성하기 위해 여전히 Selective Search 알고리즘을 사용했는데, 이 과정은
이 문제를 해결하기 위해 등장한 것이 바로 Faster R-CNN이다.
즉, CNN 기반 탐지는 빨라졌지만, Region Proposal 단계가 전체 속도를 제한하는 병목으로 남아 있었다.
Faster R-CNN은 기존의 Selective Search를 제거하고, Region Proposal 과정까지 CNN 내부로 통합한 객체 탐지 모델이다.
이를 위해 RPN (Region Proposal Network)을 도입하여, Feature Map 위에서 직접 객체 후보 영역을 생성한다.
💡 RPN 이란?
이미지에서 객체가 있을 가능성이 높은 영역(Region Proposal)을 찾아주는 딥러닝 네트워크
즉, Faster R-CNN은 Region Proposal + Object Detection을 하나의 네트워크로 통합한 모델이며,
이를 통해 속도와 성능을 모두 크게 향상시킨 모델이다.
기존 Fast R-CNN의 병목이었던 Selective Search를 제거하고, RPN을 사용하여 후보 영역을 빠르게 생성한다.
Region Proposal + Classification + BBR 의 모든 과정이 하나의 네트워크에서 동시에 학습된다.
RPN과 Object Detection 네트워크가 동일한 CNN Feature Map을 공유한다.
→ 중복 연산이 제거되어 전체 연산 효율이 향상된다.