논문링크

Boosting Zero-shot Learning via Contrastive Optimization of Attribute Representations

속성 표현의 대조 최적화를 통한 제로샷 학습 향상

Abstract

Zero-shot learning (ZSL) aims to recognize classes that do not have samples in the training set.

One representative solution is to directly learn an embedding function associating visual features with corresponding class semantics for recognizing new classes.
한 가지 대표적인 솔루션은 새로운 클래스를 인식하기 위해 해당 클래스 의미론과 시각적 특징을 연관시키는 임베딩 기능을 직접 학습하는 것입니다.

Many methods extend upon this solution, and recent ones are especially keen on extracting rich features from images, e.g. attribute features.
많은 방법이이 솔루션으로 확장되며, 최근의 방법은 특히 이미지에서 풍부한 기능 (예 : 속성 기능)을 추출하는 데 열중하고 있습니다.
keen 열심히

These attribute features are normally extracted within each individual image; however, the common traits for features across images yet belonging to the same attribute are not emphasized.
이러한 속성 특징은 일반적으로 각 개별 이미지 내에서 추출된다. 그러나 동일한 속성에 속하지만 이미지 전반에 걸쳐 특징에 대한 공통 특성은 강조되지 않는다.

In this paper, we propose a new framework to boost ZSL by explicitly learning attribute prototypes beyond images and contrastively optimizing them with attribute-level features within images.
본 논문에서는 이미지 이상의 속성 프로토타입을 명시적으로 학습하고 이미지 내의 속성 수준 기능으로 대조적으로 최적화하여 ZSL을 향상시키는 새로운 프레임워크를 제안한다.

Besides the novel architecture, two elements are highlighted for attribute representations: a new prototype generation module is designed to generate attribute prototypes from attribute semantics; a hard example-based contrastive optimization scheme is introduced to reinforce attribute-level features in the embedding space.
새로운 아키텍처 외에도 속성 표현을 위해 두 가지 요소가 강조 표시됩니다 : 새로운 프로토 타입 생성 모듈은 속성 의미 체계에서 속성 프로토 타입을 생성하도록 설계되었습니다. 하드 예제 기반 대조 최적화 체계가 도입되어 임베딩 공간에서 속성 수준 기능을 강화합니다.

We explore two alternative backbones, CNN-based and transformerbased, to build our framework and conduct experiments on three standard benchmarks, CUB, SUN and AwA2.

Results on these benchmarks demonstrate that our method improves the state of the art by a considerable margin. Our codes will be available at https://github.com/dyabel/CoAR-ZSL.git.

Conclutions

This paper proposes a novel embedding-based ZSL framework, CoAR-ZSL, for explicitly learning attribute representations.

The representations include both image-specific features and image-agnostic prototypes for attributes.
표현에는 속성에 대한 이미지 관련 기능과 이미지에 구애받지 않는 프로토타입이 모두 포함됩니다.
They are contastively optimized in the network to learn a robust classifier.
강력한 분류기를 학습하기 위해 네트워크에서 지속적으로 최적화됩니다.
A hard example-based contrastive learning scheme is also introduced to reinforce the learning of attribute representations.
속성 표현의 학습을 강화하기 위해 어려운 예 기반 대조 학습 체계도 도입된다.
We utilize two backbones for CoAR-ZSL, CNN-based and Transformer-based, where the latter performs better than the former yet requires more computational cost.
우리는 CoAR-ZSL, CNN 기반 및 Transformer 기반에 두 개의 백본을 활용하는데, 후자는 전자보다 성능이 뛰어나지만 더 많은 계산 비용이 필요하다.
Extensive experiments on standard benchmarks demonstrate the superiority of our CoAR-ZSL over state of the art.
표준 벤치마크에 대한 광범위한 실험은 최신 기술에 비해 CoAR-ZSL의 우수성을 입증한다.