논문링크 : https://openaccess.thecvf.com/content/CVPR2022/papers/Chen_MSDN_Mutually_Semantic_Distillation_Network_for_Zero-Shot_Learning_CVPR_2022_paper.pdf
코드링크 : https://github.com/shiming-chen/MSDN

Abstract

The key challenge of zero-shot learning (ZSL) is how to infer the latent semantic knowledge between visual and attribute features on seen classes, and thus achieving a desirable knowledge transfer to unseen classes.
ZSL(Zero-shot learning)의 주요 과제는 보이는 클래스의 시각적 기능과 속성 기능 간의 잠재 의미론적 지식을 추론하여 보이지 않는 클래스로 바람직한 지식 이전을 달성하는 방법입니다.

Prior works either simply align the global features of an image with its associated class semantic vector or utilize unidirectional attention to learn the limited latent semantic representations, which could not effectively discover the intrinsic semantic knowledge (e.g., attribute semantics) between visual and attribute features.
unidirectional 단일방향의 intrinsic 본질적인
이전 연구는 단순히 이미지의 전역 기능을 관련 클래스 의미 벡터와 정렬하거나 단방향 주의를 활용하여 제한된 잠재 의미 표현을 학습함으로써 시각적 기능과 속성 기능 사이의 본질적 의미 지식(예: 속성 의미론)을 효과적으로 발견할 수 없었다.

To solve the above dilemma, we propose a Mutually Semantic Distillation Network (MSDN), which progressively distills the intrinsic semantic representations between visual and attribute features for ZSL.
progressively 점진적으로 distill 증류하다
위의 딜레마를 해결하기 위해, 우리는 ZSL에 대한 시각적 특징과 속성 특징 사이의 고유한 의미 표현을 점진적으로 증류하는 상호 의미 증류 네트워크(MSDN)를 제안한다.

MSDN incorporates an attribute→visual attention sub-net that learns attribute-based visual features, and a visual→attribute attention sub-net that learns visual-based attribute features.
incorporate 통합하다
MSDN은 속성 기반 시각적 특징을 학습하는 속성→시각적 주의 서브넷과 시각 기반 특성 특징을 학습하는 시각→시각적 주의 서브넷을 통합한다.

By further introducing a semantic distillation loss, the two mutual attention sub-nets are capable of learning collaboratively and teaching each other throughout the training process.
mutual 상호간의, 서로의 collaborateivley 협력적으로, 합작으로
의미론적 증류 손실을 추가로 도입함으로써, 두 개의 상호 주의 하위 네트워크는 훈련 과정 전반에 걸쳐 협력적으로 학습하고 서로를 가르칠 수 있다.

The proposed MSDN yields significant improvements over the strong baselines, leading to new state-ofthe-art performances on three popular challenging benchmarks.
제안된 MSDN은 강력한 기준에 비해 크게 개선되어 세 가지 인기 있는 도전적인 벤치마크에서 새로운 최첨단 성능을 제공합니다.

Our codes have been available at: https:// github.com/shiming-chen/MSDN .
우리 코드는 https://github.com/shiming-chen/MSDN에서 사용할 수 있습니다.