Contrastive Embedding for Generalized Zero-Shot Learning 제 1부
코드 : https://github.com/Hanzy1996/CE-GZSL
Abstract
Generalized zero-shot learning (GZSL) aims to recognize objects from both seen and unseen classes, when only the labeled examples from seen classes are provided.
일반화된 제로샷 학습(GZSL)은 본 클래스에서 레이블이 지정된 예제만 제공될 때 본 클래스와 보이지 않는 클래스 모두에서 객체를 인식하는 것을 목표로 합니다.
Recent feature generation methods learn a generative model that can synthesize the missing visual features of unseen classes to mitigate the data-imbalance problem in GZSL.
mitigate 완화시키다 missing 놓친
최근의 기능 생성 방법은 GZSL의 데이터 불균형 문제를 완화하기 위해 보이지 않는 클래스의 누락된 시각적 기능을 합성할 수 있는 생성 모델을 학습합니다.
However, the original visual feature space is suboptimal for GZSL classification since it lacks discriminative information.
suboptimal 최적이 아닌
그러나 원래의 시각적 특징 공간은 차별적인 정보가 없기 때문에 GZSL 분류에 차선책이다.
To tackle this issue, we propose to integrate the generation model with the embedding model, yielding a hybrid GZSL framework.
The hybrid GZSL approach maps both the real and the synthetic samples produced by the generation model into an embedding space, where we perform the final GZSL classification.
synthetic 합성의
하이브리드 GZSL 접근 방식은 생성 모델에 의해 생성된 실제 샘플과 합성 샘플을 모두 임베딩 공간에 매핑하여 최종 GZSL 분류를 수행합니다.
Specifically, we propose a contrastive embedding (CE) for our hybrid GZSL framework.
특히, 우리는 하이브리드 GZSL 프레임워크에 대한 대조적 임베딩(CE)을 제안합니다.
The proposed contrastive embedding can leverage not only the class-wise supervision but also the instance-wise supervision, where the latter is usually neglected by existing GZSL researches.
neglected 무시된다
제안된 대조 임베딩은 클래스별 감독뿐만 아니라 인스턴스별 감독을 활용할 수 있으며, 후자는 일반적으로 기존 GZSL 연구에서 무시됩니다.
We evaluate our proposed hybrid GZSL framework with contrastive embedding, named CE-GZSL, on five benchmark datasets.
5개의 벤치마크 데이터 세트에서 CE-GZSL이라는 대조 임베딩을 사용하여 제안된 하이브리드 GZSL 프레임워크를 평가합니다.
The results show that our CEGZSL method can outperform the state-of-the-arts by a significant margin on three datasets.
결과는 우리의 CEGZSL 방법이 3개의 데이터 세트에서 상당한 차이로 최첨단 기술을 능가할 수 있음을 보여줍니다.
Our codes are available on https://github.com/Hanzy1996/CE-GZSL.
Conclusion
In this paper, we have proposed a hybrid GZSL framework, integrating an embedding model and a generation model.
본 논문에서는 임베딩 모델과 생성 모델을 통합한 하이브리드 GZSL 프레임워크를 제안했다.
The proposed hybrid GZSL framework maps the real and synthetic visual samples into an embedding space, where we can train a supervised recognition model as the final GZSL classifier.
synthetic 합성의
제안된 하이브리드 GZSL 프레임워크는 실제 및 합성 시각적 샘플을 임베딩 공간에 매핑하며, 여기서 최종 GZSL 분류기로 감독 인식 모델을 훈련할 수 있다.
Specifically, we have proposed a contrastive embedding model in our hybrid GZSL framework.
특히, 우리는 하이브리드 GZSL 프레임워크에서 대조적 임베딩 모델을 제안했습니다.
Our contrastive embedding model can leverage not only the class-wise supervision but also the instance-wise supervision.
우리의 대조 임베딩 모델은 클래스별 감독뿐만 아니라 인스턴스별 감독도 활용할 수 있습니다.
The latter is usually neglected in existing GZSL researches.
후자는 일반적으로 기존 GZSL 연구에서 무시됩니다.
The experiments show that our hybrid GZSL framework with contrastive embedding (CE-GZSL) has achieved the state-of-the-arts on three benchmark datasets and achieved the second-best on two datasets.
실험은 대조적 임베딩(CE-GZSL)이 있는 하이브리드 GZSL 프레임워크가 3개의 벤치마크 데이터 세트에서 최첨단을 달성했으며 2개의 데이터 세트에서 2위를 달성했음을 보여줍니다.
