Paper Review : Intra-class Feature Variation Distillation for Semantic Segmentation

shjeong008·2022년 6월 2일
0

Paper Review

목록 보기
2/3

이 논문은 이전의 pairwise relation에서 knowledge distillation을 하던 것들과 달리 새로운 방법론을 제시한다. intra-class feature variation distillation (IFVD)인데 intra-class feature variation을 teacher 모델에서 student 모델로 전이하는 방법이다.

Main Contribution

  1. Semantic Segmentation 분야에서 Intra-class Feature Variation Distillation 이라는 새로운 KD 방법론을 제시
  2. Semantic Segmentation 분야에서 현존하는 KD 방법론 중 가장 뛰어난 성능을 보임

Method

이 방법은 각각의 class마다 feature center를 연산한 뒤 각각의 픽셀에 대한 feature와 이것과 일치하는 class-wise feature center와의 유사도를 연산한다. 아래 figure 1의 이미지에서 feature center는 각 색상의 별 모양이 되고 이를 중심으로 픽셀들의 유사도를 판별해 class 마다의 각각의 feature의 다양성들을 뽑아내 student 모델이 teacher 모델을 따라하도록 학습을 진행한다.

이 유사도는 Intra-class feature distribution이 어느정도 compact한지를 나타내는 지표가 된다. 더 성능이 좋은 모델은 robust한 intra-class feature representation을 나타낸다. 이러한 차이가 semantic한 관점에서의 segmentation에서 차이를 보여주며 다른 feature 분포들은 각기 다른 segmentation 결과들을 초래한다.

IFVD Pipeline

Figure 2는 제안하는 IFVD 방법론의 파이프라인이다. 각 모델의 encoder를 거쳐 feature map을 생성하게 되고 IFV 모듈을 통과해 IFV map을 얻게된다. Student 모델은 teacher 모델의 IFV map을 따라하도록 학습을 진행한다. 추가로 일반적인 Knowledge Distillation 방법도 학습에 추가되는데 이는 teacher 모델과 student 모델의 각각의 output을 KL Divergence를 이용해 생성한다. 마지막으로 Adversarial learning을 추가해 학습을 진행한다.

IFV Module

Figure 3은 IFV 모듈에 대한 설명이다. input으로 feature map이 들어오게 되면 각 클래스의 masked feature를 생성한다. 이 masked feature를 Average Pooling을 통해 class-wise prototype을 구한뒤 Unpooling 과정을 통해 최종 Prototype을 생성하고 input으로 들어왔던 Feature map과의 Cosine simillarity를 연산하여 IFV map을 생성해낸다.

Final Loss

최종적으로 나타나는 loss 값은 Segmenation prediction을 통해 생성된 loss, 일반적인 KL Divergence를 통해 생성된 KD loss, Adversarial Learning을 통해 생성된 loss, IFV 모듈을 통해 생성된 loss 이 4가지의 합으로 구성된다.

Experiments

실험에 사용한 데이터셋은 Cityscapes, CamVid, Pascal VOC 2012이다.기본적으로 teacher 모델로 ResNet101, student 모델로 ResNet18로 학습을 진행한다.

Table 1를 통해 제안하는 방법론의 정확도를 확인할 수 있다.

Table 2를 통해 제안하는 방법론이 SKD 방법론보다 훨씬 좋은 성능을 나타냄을 확인할 수 있다.

CamVid 데이터셋에도 우수한 성능을 보여줌을 확인할 수 있다.

Pascal VOC 2012 데이터셋에서도 가장 좋은 성능을 보여준다.

profile
Master Course In Artificial Intelligence

0개의 댓글