[논문 리뷰] Adversarial Erasing

CAM

• WSSS에서 원하는 객체의 부분을 얻어내기 위해 Classification Network를 사용하였다.
• pixel-wise inference를 하기에는 small and sparse하게 객체의 부분을 얻는다는 문제가 있다.

AE

• CAM에서 부족하게 얻어진 객체의 영역을 보완하기 위해 이 논문에서 제안된 방법
• CAM을 통해 얻어진 객체 부분을 Adversarial 방식으로 지움으로써 작동
• 하나의 작은 객체 부분을 시작으로 점차저긍로 새롭고 보완적인 객체영역들을 찾아낸다.
• 최종적으로 이러한 localized regions는 semantic segmentation을 학습하기 위한 완전한 객체 영역이 된다.

PSL(Prohibitive Segmentation Learning)

• AE 방법을 찾아낸 영역들의 퀄리티를 높이기 위한 방법이다.
• 더욱 신뢰할만한 classifications score에 의해 변조된 Auxilary Segmentation Supervision을 제공함으로써 AE와 함께 발전

Classification to Sematic Segmentation

---

Object Region mining with AE

• AE는 두가지 작업을 반복적으로 수행

• Task 1

  • 객체의 구별 영역을 찾기 위한 classification network를 학습하는 작업
    • DeepLab-CRF-LargeFOV model에 근거하여 초기화된 classification model을 사용
    • GAP(Global Average Pooling)이 conv7에 적용되었고 생성된 representation이 분류 예측을 위해 FC를 통과
  • Squared label prediction loss를 최소화하는 classification model을 훈련

• Task 2

  • 발견한 영역을 적대적으로 지우는 작업

    1) CAM을 이용하여 이미지 수준의 라벨에서 heatmap을 얻음

    2) heatmap에 뚜렷한 임계값을 적용하여 뚜렷한 객체 영역을 얻음

    3) 모든 training image의 픽셀값의 평균으로 얻어낸 영역을 대체

    4) 처리된 이미지는 다음 classification model의 입력으로 들어감

    ⇒ 지워진 영역은 더이상 분류 예측에 기여하지 않고, classification model은 분류 정확도를 유지하기 위해 객체의 다른 구별 가능한 영역을 찾게 됨.

Online PSL for Semantic Segmentation

• AE의 한계점
  

• 위 figure의 하늘색 영역처럼 객체와 연관되거나 background와 연관된 픽셀을 놓칠 수 있음
  • boundary detail을 포착하는 것에 대한 AE의 한계로 인하여 몇몇 지정된 픽셀의 semantic label들은 noisy 할 수 있음.
  • 그래서 위 그림과 같이 saliency map과 mined object region을 합친다.

• Online PSL

  • 특징

    • image classification 결과를 활용하여 신뢰할만한 범주별 segmentation map을 식별
    • 노이즈가 적은 auxiliary supervision map으로 구성하여 AE 출력에 보조 정보를 제공

  • 과정

    • 실시간으로 segmentation network의 훈련함에 따라 생산된 auxiliary segmentation map을 update ⇒ 더욱 신뢰할만한 auxiliary supervision을 생성
      

  • 구조
    

    • 위 그림과 같이 PSL은 classification과 semantic segmentation을 위한 두개의 branch를 가지는 framework로 구성된다.
      • classification
        • segmentation score map에 weight를 주는 역할을 한다.
      • semantic segmentation
        • category-wise segmentation map을 통해 weighted map을 도출해서 더욱 신뢰할만한 auxiliary supervision map을 생성
    • squared loss
      • classification branch의 최적화를 위해 squared loss를 사용
      • squared loss를 통해 생성된 분류 신뢰도는 PSL에서 해당 범주별 segmentation score map에 가중치를 부여하는데 사용된다.
    • PSL의 효과
      • classification의 결과를 통해 다중 범주 segmentation map을 auxiliary segmentation mask로 통합할 수 있다.

Reference

[1] https://biology-statistics-programming.tistory.com/176