Boosting Zero-shot Learning via Contrastive Optimization of Attribute Representations 제4-1부 method

이준석·2022년 7월 27일
0

Related works

Zero-shot learning

Modern ZSL methods can be broadly categorized as either generative-based or embedding-based [31].
broadly 대체로 be categorized as 로 분류되다
현대의 ZSL 방법은 크게 생성 기반 또는 임베딩 기반으로 분류할 수 있습니다[31].

Many generativebased methods [20], [21], [32], [33] synthesize visual features of unseen classes via the visual features of seen classes and the semantics of both seen and unseen classes.
synthesize 합성하다
많은 생성 기반 방법[20], [21], [32], [33]은 보이는 클래스의 시각적 특징과 보이는 클래스와 보이지 않는 클래스의 의미론을 통해 보이지 않는 클래스의 시각적 특징을 합성합니다.

There are also generative-based methods that synthesize features for virtual classes using strategies like MixUp [34], [35] such that prior unseen class semantics are no longer required to generate synthetic data during training.
virtual 사실살의, 거의 ...과 다름없는 synthetic 합성한, 종합적인, 인조의
MixUp [34], [35]과 같은 전략을 사용하여 가상 클래스의 기능을 합성하는 생성 기반 방법도 있습니다.
(such)훈련 중에 합성 데이터를 생성하기 위해 더 이상 이전의 보이지 않는 클래스 의미 체계가 필요하지 않습니다.

Generative-based methods perform well on datasets with sufficient training data so the feature generators (usually GAN [20], [32] or VAE [36]) can be fully optimized.
생성 기반 방법은 충분한 훈련 데이터가 있는 데이터 세트에서 잘 수행되므로 피쳐 생성기(일반적으로 GAN [20], [32] 또는 VAE [36])가 완전히 최적화될 수 있습니다.

On the other hand, embedding-based methods try to learn an embedding function connecting visual features with corresponding semantic features without the use of feature generators.
반면, 임베딩 기반 방법은 기능 생성기를 사용하지 않고 시각적 기능과 해당 의미 기능을 연결하는 임베딩 기능을 학습하려고 합니다.

Emebdding-based methods consist of many sub-categories, including graph-based [37], meta learning-based [38], attention-based [12], [13], [24], [25], [39], etc.
임베딩 기반 방법은 그래프 기반[37], 메타 학습 기반[38], 주의 기반[12],[13],[24],[25],[39], 등.

Our work can be categorized as the attention-based.
우리의 작업은 주의 기반 작업으로 분류할 수 있습니다.

Attention-based methods focus on discriminative regions of images and encode them into local features.
주의 기반 방법은 이미지의 식별 영역에 초점을 맞추고 이를 로컬 기능으로 인코딩합니다.

The attention mechanism is usually implemented explicitly [12], [13], [25], [39] but can also be simulated from the middle layers of the neural network [40].
주의 메커니즘은 일반적으로 명시적으로 구현되지만[12], [13], [25], [39] 신경망의 중간 계층에서 시뮬레이션할 수도 있습니다[40].


Our work learns both class and attribute representations for ZSL.
우리의 작업은 ZSL에 대한 클래스 및 속성 표현을 모두 학습합니다.

Before our work, class representations have been exploited in several works [16], [27], [41], where they learn class prototypes from class semantics and optimize them against visual features from images.
exploit 활양하다, 이용하다
우리 작업 이전에 클래스 표현은 클래스 의미론에서 클래스 프로토타입을 학습하고 이미지의 시각적 특징에 대해 최적화하는 여러 작업 [16], [27], [41]에서 활용되었습니다.

We follow these works to utilize class representations.
우리는 클래스 표현을 활용하기 위해 이러한 작업을 따릅니다.

Our difference to them mainly lies in the network design where our new framework enables a joint optimization of class and attribute representations in ZSL.
lie (어떠한 상태에) 있다.
그들과 우리의 차이점은 주로 새로운 프레임워크가 ZSL에서 클래스 및 속성 표현의 공동 최적화를 가능하게 하는 네트워크 설계에 있다.

As for the attribute representation, [12], [13] make use of attribute features in images.
속성 표현에 대해 [12], [13]은 이미지의 속성 특징을 사용합니다.

However, their attribute features are extracted from each individual image and may not be representative enough as a consequence of the intra-attribute variance.
그러나 속성 특징은 각 개별 이미지에서 추출되며 속성 내 분산의 결과로 충분히 대표되지 않을 수 있습니다.

We for the first time explicitly learn attribute prototypes beyond images and optimize them with attribute-level features within images.
우리는 처음으로 이미지 너머의 속성 프로토타입을 명시적으로 배우고 이미지 내의 속성 수준 기능으로 최적화합니다.

Moreover, [12], [13] learn a visual-to-semantic mapping while ours is the opposite.
또한 [12], [13]은 시각적 대 의미 매핑을 배우는 반면 우리는 그 반대입니다.

The former, according to [42], is more likely to face the hubness problem.
[42]에 따르면 전자는 허브니스 문제에 직면할 가능성이 더 높다.

profile
인공지능 전문가가 될레요

0개의 댓글