논문 링크 : https://arxiv.org/abs/2101.07978
코드 링크 : https://github.com/uqzhichen/SDGZSL

Abstract

Generalized zero-shot learning (GZSL) aims to classify samples under the assumption that some classes are not observable during training.
일반화된 제로샷 학습(GZSL)은 훈련 중에 일부 클래스를 관찰할 수 없다는 가정 하에 샘플을 분류하는 것을 목표로 합니다.

To bridge the gap between the seen and unseen classes, most GZSL methods attempt to associate the visual features of seen classes with attributes or to generate unseen samples directly.
보이는 클래스와 보이지 않는 클래스 사이의 간격을 메우기 위해 대부분의 GZSL 메서드는 보이는 클래스의 시각적 기능을 속성과 연결하거나 보이지 않는 샘플을 직접 생성하려고 시도합니다.

Nevertheless, the visual features used in the prior approaches do not necessarily encode semantically related information that the shared attributes refer to, which degrades the model generalization to unseen classes.
semantically 의미상으로
그럼에도 불구하고, 이전 접근법에 사용된 시각적 특징은 공유 속성이 참조하는 의미론적으로 관련된 정보를 인코딩할 필요가 없으며, 이는 모델 일반화를 보이지 않는 클래스로 저하시킨다.

To address this issue, in this paper, we propose a novel semantics disentangling framework for the generalized zero-shot learning task (SDGZSL), where the visual features of unseen classes are firstly estimated by a conditional VAE and then factorized into semantic-consistent and semantic-unrelated latent vectors.
disentangling 구분하다 factorized 인수분해하다
이 문제를 해결하기 위해, 본 논문에서는 보이지 않는 클래스의 시각적 특징을 조건부 VAE에 의해 먼저 추정한 다음 의미 일치 및 의미 관련 없는 잠재 벡터로 인수분해하는 일반화된 제로샷 학습 작업(SDGZSL)을 위한 새로운 의미론적 해제를 제안한다.

In particular, a total correlation penalty is applied to guarantee the independence between the two factorized representations, and the semantic consistency of which is measured by the derived relation network.
consistency 일관성, dervied 파생의 relation 관계
특히, 두 인수 분해 표현 간의 독립성과 파생 관계 네트워크에 의해 측정되는 의미적 일관성을 보장하기 위해 총 상관 패널티가 적용된다.

Extensive experiments conducted on four GZSL benchmark datasets have evidenced that the semantic-consistent features disentangled by the proposed SDGZSL are more generalizable in tasks of canonical and generalized zero-shot learning.
canonical 표준이 되는
4개의 GZSL 벤치마크 데이터 세트에 대해 수행된 광범위한 실험은 제안된 SDGZSL에 의해 분리된 의미 일치 기능이 표준적이고 일반화된 제로샷 학습 작업에서 더 일반화될 수 있다는 것을 입증했다.