👨‍🏫 오늘은 Faster R-CNN 논문에서 나온 RPN(Region Proposal Network)에 대해서 다시 알아볼려고 합니다. 사실 전에 Faster R-CNN 논문 리뷰를 했지만, RPN에 대해 다시 글을 쓰는 이유는 많은 다른 논문들에서 RPN을 사용하는 경우가 매우 자주 있기에 다시 한 번 정리해볼려고 한다.(항상 RPN에 대해 생각할 때마다 바로바로 떠오르지 않기에 다시 한 번 정리한다...ㅠ)

🎈 RPN의 수행 과정과 RPN의 약간의 anchor box의 detail에 대해서 살펴볼 것이다!

RPN Steps

Step 1

✔ 가장 먼저 Input 이미지를 Convolutional Neural Network에 학습시키고 마지막 레이어에서 features map을 output으로 받는다.

Step 2

✔ CNN에서 받은 feature map에서 특정 사이즈의 윈도우로(nxn), sliding window를 진행합니다. 여기서 중요한 점은 Anchor boxes를 사용한다는 점 입니다. sliding window를 하면서 각각의 features 값들에 대해 9개의 Anchor boxes를 생성합니다.(3개의 다른 aspect ratios(1:1, 1:2, 2:1) 그리고 3개의 다른 scale(128, 256, 512)) 결과적으로 W H(feature map size) K(anchor boxes)의 박스를 확인할 수 있습니다.

Step 3

✔ 각각의 anchor boxes들이 무엇을 의미하는지 알아봐야 합니다. 여기서 찾아야 하는건 각 anchor boxes들이 개체를 의미하는지 안하는지, 그리고 bbox의 offset 입니다. 즉, 각 anchor box가 foreground인지 background인지 판단하고, bbox regression을 통해 좌표의 위치를 조정해야합니다.

Step 4

✔ bbox Classifier는 GT와의 IoU값을 계산해 foreground인지 background인지 판단합니다. 일반적으로 그 확률을 objectness score라고 불립니다.

✔ bbox Regressor layer은 foreground로 분류된 anchor box의 GT에 대한 offset을 학습합니다.

👨‍🏫 간단하게 RPN의 Step에 대해서 알아봤습니다. 디테일한 부분들이 빠져있습니다. 이 글을 쓰는 목적 자체가 RPN에 대해 생각했을 때 과정이 바로 생각나는 것을 원하기 때문에 최대한 핵심적인 부분만 작성했습니다. 즉 RPN에 대해 처음 보신다면 R-CNN 계열의 논문들을 읽어보시길 추천드립니다.(하하 그리고 디테일한 부분을 명확하게 설명할 자신이 없습니다.)

About anchor boxes

✔ 위의 과정 중 혹은 RPN에 대해 공부하다보면 한 가지 의문이 드는 점이 있습니다. 위의 과정에서는 CNN에서 나온 각각의 feature 값들에 대해 anchor boxes를 제시합니다. 하지만 이 boxes를 사용하기 위해선 원본 이미지를 필요로 합니다.

✔ 예를 들어 vgg16에서는, 16배 줄인 feature map를 사용합니다. 그렇다면 위의 사진 처럼 16의 stride를 가진 feature 점을 이미지에 생성합니다. 이제 각각의 위치에서 9개의 anchor boxes를 찾을 수 있습니다.

Reference

• https://velog.io/write?id=bea4ea4f-cac4-4e45-b71f-d98d60d47384
• https://medium.com/towards-data-science/region-proposal-network-a-detailed-view-1305c7875853
• https://towardsmachinelearning.org/region-proposal-network/