논문 링크 : https://www.aaai.org/AAAI22Papers/AAAI-1580.ChenS.pdf
코드 : https://github.com/shiming-chen/TransZero.

Abstract

Zero-shot learning (ZSL) aims to recognize novel classes by transferring semantic knowledge from seen classes to unseen ones.
ZSL(Zero-shot learning)은 보이는 클래스에서 보이지 않는 클래스로 의미 지식을 전달하여 새로운 클래스를 인식하는 것을 목표로 합니다.

Semantic knowledge is learned from attribute descriptions shared between different classes, which act as strong priors for localizing object attributes that represent discriminative region features, enabling significant visual-semantic interaction.
discriminateive 차별적인, 구별되는
의미론적 지식은 서로 다른 클래스 간에 공유되는 속성 설명에서 학습되며, 이는 차별적 영역 특징을 나타내는 객체 속성을 현지화하기 위한 강력한 사전 사항으로 작용하여 상당한 시각적-의미적 상호 작용을 가능하게 한다.

Although some attention-based models have attempted to learn such region features in a single image, the transferability and discriminative attribute localization of visual features are typically neglected.
transferability 이동성
일부 주의 기반 모델은 단일 이미지에서 이러한 영역 특징을 학습하려고 시도했지만 시각적 특징의 전달 가능성 및 식별 속성 위치화는 일반적으로 무시됩니다.

In this paper, we propose an attribute-guided Transformer network, termed TransZero, to refine visual features and learn attribute localization for discriminative visual embedding representations in ZSL.
refine 개선하다 discriminative 차별적인
본 논문에서는 시각적 기능을 개선하고 ZSL에서 차별적인 시각적 임베딩 표현을 위한 속성 현지화를 배우기 위해 TransZero라는 속성 유도 트랜스포머 네트워크를 제안한다.

Specifically, TransZero takes a feature augmentation encoder to alleviate the cross-dataset bias between ImageNet and ZSL benchmarks, and improves the transferability of visual features by reducing the entangled relative geometry relationships among region features.
alleviate 완화하다 transferability 이동성. 양도성 entangle 얽어지다 relative 비교적인, 상대적인
특히, TransZero는 ImageNet과 ZSL 벤치마크 사이의 교차 데이터 세트 편향을 완화하기 위해 기능 증강 인코더를 사용하고, 영역 기능 간의 얽힌 상대 지오메트리 관계를 줄임으로써 시각적 기능의 전송 가능성을 향상시킨다.

To learn locality-augmented visual features, TransZero employs a visual-semantic decoder to localize the image regions most relevant to each attribute in a given image, under the guidance of semantic attribute information.
지역성 증강 시각적 특징을 배우기 위해, TransZero는 시맨틱 속성 정보의 안내에 따라 주어진 이미지의 각 속성과 가장 관련된 이미지 영역을 현지화하기 위해 시각적 시맨틱 디코더를 사용한다.

Then, the locality-augmented visual features and semantic vectors are used to conduct effective visual-semantic interaction in a visual-semantic embedding network.
그런 다음, 시각적-의미적 임베딩 네트워크에서 효과적인 시각적-의미적 상호작용을 수행하기 위해 지역성 강화 시각적 특징과 의미 벡터가 사용됩니다.

Extensive experiments show that TransZero achieves the new state of the art on three ZSL benchmarks.
광범위한 실험을 통해 TransZero는 세 가지 ZSL 벤치마크에서 최신 기술을 달성했음을 보여줍니다.

The codes are available at: ttps://github.com/shiming-chen/TransZero.
코드는 ttps://github.com/shiming-chen/TransZero에서 사용할 수 있습니다.