[CV] Understanding RoIs(Region of Interest)

👨‍🏫 본 리뷰는 Kemal Erdem님의 블로그을 보고 작성한 리뷰입니다.

📌 Before review

  본 글을 쓰게 된 이유는 MASK R-CNN 논문을 읽는 중 RoI에 대한 글이 나오는데, 이 부분에 대해 찾아보다 너무나도 좋은 글이 있어 리뷰합니다. 항상 CV 논문을 읽다보면 논문만을 참고해 이해하기 어려워 다양한 자료를 찾아볼 때가 대부분 입니다. 또한 개인적인 생각일 수 있지만, 논문만을 읽고 이해하기 어려운 이론들도 많다고 생각됩니다..ㅠ
  본론으로 들어가 RoI는 Fast R-CNN에서 나온 개념입니다. 논문을 읽으면서 어느정도 이해가 되었다고 생각했는데, 본 글을 읽으면서 "왜 이런 의문을 가지지 못했을까" 라는 생각이 들었습니다.

RoI란?

🎈 RoI란 "원본 이미지로부터 proposed 된 region이다."라고 말할 수 있습니다. Region of Interest를 직역하면 말 그대로 흥미로운 지역을 찾는 것이라고 말할 수 있습니다. 우리가 할려고하는 task는 대부분 detection이나 segmentation이기 때문에, 이미지에서 흥미로운부분 즉, 물체가 있는 부분을 찾아야합니다.

Feature extraction

🎈 RoI를 찾기 위해 "Fast R-CNN"에서는 feature map을 추출합니다.(VGG16을 예시로 들면)

🎈 위의 사진에서 볼 수 있듯이 512x512x3을 Input으로 넣고 16x16x512인 feature map를 추출하는 것을 볼 수 있습니다. feature map의 사이즈는 input사이즈를 32로 나눈 것입니다. 이는 이미지의 정보를 16x16x512로 압축시켰다고 말할 수 있습니다. 즉, 각각의 고수준의 정보들을 담고 있다고 말할 수 있습니다. ### Sample RoIs

🎈 위의 사진의 4개의 RoI들을 볼 수 있습니다. 실제 Fast R-CNN에서는 수천개의 RoI가 존재합니다.

🎈 여기서 중요한 것은 RoI들은 bounding box를 의미하는 것이 아닙니다. 겉으로는 그럴 수 있지만 , ROI는 추가적인 processing을 하기 위해 interest를 제안해주는 것입니다.하지만 대부분의 글이나 블로그에서 편의상 RoI를 위와 같이 보여주고 합니다.

How to get RoIs from the feature map?

🎈 일반적으로 RoI를 찾았다면, 그것들 feature map에 매핑 할 수 있어야합니다.

🎈 모든 RoI는 원래 좌표와 사이즈로 이루어져있습니다. 여기서부터 제가 이 글을 쓰게된 이유 중 하나입니다.

🎈 위의 바운딩 박스의 사이즈는 145x200이며, top-left 좌표는 (192,296)입니다. 여기서 의문이 하나 생깁니다. 우리의 feature map은 16x16 이면서, 32로 나눠떨어지는 수입니다. 하지만 위의 경우에는 자연수로 떨어지지 않습니다. 이럴 경우에는 어떻게 해야할까요? 저는 Fast, Faster R-CNN을 읽을 때는 이런 의문을 가지지 않았습니다. 어떻게 보면 당연히 궁금해야하는 질문입니다만..

Quantization of coordinates one the feature map

🎈 Quantization is a process of constraining an input from a large set of values (like real numbers) to a discrete set (like integers) 라고 정의합니다. 사실 MASK R-CNN에서 Quantization라는 단어를 처음 봤던거 같습니다.(Fast R-CNN에서는 못봤던걸로 기억합니다만..)

🎈 위의 빨간색 박스가 기존의 RoI 박스입니다. 사진에서 볼 수 있듯이 각각의 값이 나눠 떨어지지 않습니다. 그렇기에 소수점을 버려 자연수로 만듭니다.(6.25 -> 6, 4.53 -> 4) 위의 주황색 부분이 수정된 값들의 범위입니다. 🎈 결과적으로 파란색 부분의 정보를 잃게되고 초록색 부분에서 새로운 정보를 얻게됩니다. 우리는 위의 제약으로 인해서 원래의 RoI를 그대로 사용하지 못합니다. 이러한 부분은 후에 RoIAlign이라는 새로운 방법론으로 해결합니다.

RoI Pooling

🎈 이후 Fast R-CNN에서는 RoI Pooling을 진행하게 됩니다. RoI Pooling이란 말 그대로 RoI들을 Pooling하는 것입니다. Pooling을 진행하는 이유는 위의 사진과 같이 FC layers를 위해 고정된 크기의 feature들이 필요합니다. 하지만 RoI들은 각각 다른 사이즈를 가지고 있기 때문에 이를 Pooling을 통해서 같은 사이즈로 바꿔줍니다.

🎈 위의 사진과 같이 4x6의 RoI를 3x3의 사이즈로 바꿔줘야합니다. 4x6을 3x3으로 바꿔주기 위해선 1x2 vector를 사용해야합니다.(4/3 = 1 x 6/3 = 2) 그렇게 된다면 위의 사진과 같이 또 다시 마지막 행의 정보를 잃게 됩니다.

🎈 각각의 모든 RoI들에 대해 Pooling을 진행하게된다면 수천개의 3x3x512의 feature map들이 추출됩니다.

📌 기존의 RoI, RoIPooling의 경우에는 보시다 싶이 일부 정보를 손실하게 됩니다. 위와 같은 문제를 해결하기 위해 RoIAlign이라는 새로운 방법론이 나오게 됩니다.

RoI Align

📌 위의 사진은 MASK R-CNN의 testing network입니다. RoI Align은 mask R-CNN에서 제시된 방법입니다. 앞에서 언급했다 싶이 RoI Align 방법은 위의 제시된 방법의 문제점(정보의 손실)을 해결해주는 방안입니다.

📌 MASK R-CNN은 Instance segmentation의 기능을 수행합니다. segmentation을 해야하기 때문에 pixel간의 관계가 더욱 중요시됩니다. 그렇기에 정보의 손실을 없애는 RoI Align 방법을 제시합니다.

📌 RoI Align는 quantization을 하지 않습니다. 즉, RoI 값을 그대로 사용합니다. 위에서 언급했듯이 Fast R-CNN에서는 2번의 quantization을 반영합니다. 즉, 2번의 정보손실이 일어납니다. RoI Align quantization을 하지 않으면서, 정보의 손실을 막을 수 있습니다. 📌 RoI의 범위를 3x3 사이즈에 맞춰, width, height을 3등분 합니다. RoI Align 역시 RoI pooling을 진행합니다(3x3). 위에서 볼 수 있듯이 RoI가 각 셀에 정확히 일치하지 않습니다. 📌 RoI pooling layer를 추출하기 위해 각각의 4개의 sampling points를 생성합니다. 📌 각각의 좌표는 아래와 같이 생성됩니다.

• $X = X_box + (width/3) * 1 = 9.94$ (top-left points)
• $Y = Y_box + (height/3) * 1 = 6.50$ (top-left points)
• $X = X_box + (width/3) * 1 = 9.94$ (top-left points)
• $Y = Y_box + (height/3) * 2 = 7.01$ (top-left points)

📌 우리는 이제 bilinear interpolation을 사용해 각각의 값을 찾을 수 있습니다.

📌 위의 사진과 같이 첫번째 포인트 박스를 보시면, (9.94, 6.50)의 좌표에서 가장 가까운 top-left 방향의 셀의 중간 좌표는 (9.50, 6.50), bottom-left 방향의 셀의 중간 좌표는 (9.50, 7.50), 위와 같은 방법으로 보면 각각 (10.50, 6.50), (10.50, 7.50) 좌표들이 가장 가까운 좌표입니다. 📌 위의 좌표들로 bilinear interpolation을 계산하면 각 지점의 값을 계산할 수 있습니다. 📌 같은 방식으로 4개점을 모두 구할 수 있습니다. 이제 4개의 값을 가지고 Max pooling(Avg pooling) 진행해 3x3 feature map을 생성할 수 있습니다. 📌 나머지는 기존의 방법이랑 동일합니다. 결과적으로 RoI Align는 quantization 없이 pooling을 진행할 수 있습니다. 즉 정보의 손실없이 Pooling을 진행할 수 있습니다.

---