Contrastive Embedding for Generalized Zero-Shot Learning 제 3부

이준석·2022년 8월 5일
0

2. Related Work

Zero-shot learning [39, 54] aims to transfer the object recognition model from seen to unseen classes via the shared semantic space, in which both seen and unseen classes have their semantic descriptors.
Zero-shot learning[39, 54]은 보이는 클래스와 보이지 않는 클래스 모두에 의미 설명자가 있는 공유 의미 공간을 통해 객체 인식 모델을 보이는 클래스에서 보이지 않는 클래스로 전송하는 것을 목표로 합니다.

Early ZSL works focus on the conventional ZSL problem.
초기 ZSL 작업은 기존 ZSL 문제에 중점을 둡니다.

These works typically learn to embed visual samples and the semantic descriptors to an embedding space [18, 1, 19, 2, 21, 35, 20, 58, 6, 36, 8] (e.g. the visual space or the semantic descriptor space).
이러한 작업은 일반적으로 임베딩 공간[18, 1, 19, 2, 21, 35, 20, 58, 6, 36, 8](예: 시각적 공간 또는 의미론적 설명자 공간)에 시각적 샘플과 의미론적 설명자를 포함하는 방법을 배웁니다.

In the embedding space, the visual samples from the same class are supposed to center around the corresponding class-level semantic descriptor.
임베딩 공간에서 동일한 클래스의 시각적 샘플은 해당 클래스 수준 의미 설명자를 중심으로 해야 합니다.

They implement conventional ZSL recognition by searching the nearest semantic descriptor in the embedding space.
임베딩 공간에서 가장 가까운 의미 설명자를 검색하여 기존 ZSL 인식을 구현합니다.

In the more challenging GZSL scenario, however, embedding-based methods suffer from the seen classes overfitting problem due to the dataimbalance nature of ZSL [71].
그러나 더 도전적인 GZSL 시나리오에서 임베딩 기반 방법은 ZSL의 데이터 불균형 특성으로 인해 보이는 클래스 과적합 문제로 어려움을 겪습니다[71].

To relieve the overfitting problem, some methods [10, 44, 3, 29, 73, 74, 49] have designed new loss functions to balance the predictions between seen and unseen classes.
과적합 문제를 해결하기 위해 일부 방법[10, 44, 3, 29, 73, 74, 49]은 보이는 클래스와 보이지 않는 클래스 간의 예측 균형을 맞추기 위해 새로운 손실 함수를 설계했습니다.

Some other works [46, 31, 13] have regarded GZSL as an out-of-distribution detection problem.
regard 간주하다
일부 다른 연구[46, 31, 13]에서는 GZSL을 분포 외 감지 문제로 간주했습니다.

Moreover, some researches [40, 66, 43] have introduced the knowledge graph in GZSL to propagate the learned knowledge from seen to unseen classes through the knowledge graph.
propagate 전파하다
또한 일부 연구[40, 66, 43]는 지식 그래프를 통해 학습된 지식을 보이는 클래스에서 보이지 않는 클래스로 전파하기 위해 GZSL에 지식 그래프를 도입했다.


To further mitigate the data imbalance problem, feature generation methods learn to complement the visual samples for unseen classes [7, 50, 38, 70, 72, 56, 59, 64].
데이터 불균형 문제를 더욱 완화하기 위해 기능 생성 방법은 보이지 않는 클래스에 대한 시각적 샘플을 보완하는 방법을 학습합니다[7, 50, 38, 70, 72, 56, 59, 64].

The feature generation methods first learn a conditional generative model based on such as Variational Autoencoder (VAE) [34] and Generative Adversarial Networks (GAN) [23, 4], conditioned on the semantic descriptors.
conditional 조건부의
특징 생성 방법은 먼저 의미 설명자에 따라 조건화된 가변 자동 인코더(VAE) [34] 및 생성 적대적 네트워크(GAN) [23, 4]와 같은 조건부 생성 모델을 학습한다.

With the learned generative model, they can synthesize the missing visual examples for unseen classes using the corresponding semantic descriptors.
학습된 생성 모델을 사용하여 해당 의미 설명자를 사용하여 보이지 않는 클래스에 대한 누락된 시각적 예를 합성할 수 있다.

With the real examples from seen classes and the synthesized examples from unseen classes, they can transform the GZSL problem into a standard supervised classification problem and learn a supervised classifier to implement GZSL recognition.
implement 시행하다
보이는 클래스의 실제 예제와 보이지 않는 클래스의 합성 예제를 사용하여 GZSL 문제를 표준 지도 분류 문제로 변환하고 지도 분류기를 학습하여 GZSL 인식을 구현할 수 있습니다.

Recently, Shen et al. [61] have introduced Generative Flows [14, 15, 33] into zero-shot learning and achieved good performance for GZSL and conventional ZSL.
최근 Shen et al. [61]은 생성 흐름[14, 15, 33]을 제로샷 학습에 도입했으며 GZSL 및 기존 ZSL에 대해 우수한 성능을 달성했습니다.


Though existing methods have achieved great success on GZSL, as discussed before, the original visual feature space lacks the discriminative ability and is suboptimal for GZSL classification.
suboptimal 차선의 though 차선의
기존 방법이 GZSL에서 큰 성공을 거두었지만, 앞에서 논의한 바와 같이 원래의 시각적 특징 공간은 판별 능력이 부족하고 GZSL 분류에 차선이다.

Therefore, we propose a hybrid GZSL framework, integrating a feature generation model with an embedding based model.
따라서 우리는 기능 생성 모델과 임베딩 기반 모델을 통합하는 하이브리드 GZSL 프레임워크를 제안합니다.

Inspired by the emerging contrastive representation learning [24, 53, 67, 26, 32], we propose a contrastive embedding model for our hybrid GZSL framework, in which we consider both the instance-wise supervision and the class-wise supervision.
emerging 최근에 생겨난
떠오르는 대조 표현 학습[24, 53, 67, 26, 32]에서 영감을 받아, 우리는 인스턴스별 감독과 클래스별 감독을 모두 고려하는 하이브리드 GZSL 프레임워크에 대한 대조 임베딩 모델을 제안합니다.

In contrast, the traditional semantic embedding for ZSL only utilizes the classwise supervision.
대조적으로, ZSL에 대한 전통적인 의미론적 임베딩은 클래스별 감독만 사용합니다.

Our hybrid GZSL framework maps the real seen samples and the synthetic unseen samples into a new embedding space, where we learn a supervised classifier, e.g. softmax, as the final GZSL classifier.
우리의 하이브리드 GZSL 프레임워크는 실제 보이는 샘플과 보이지 않는 합성 샘플을 새로운 임베딩 공간에 매핑합니다. softmax는 최종 GZSL 분류기로 사용됩니다.

profile
인공지능 전문가가 될레요

0개의 댓글