Boosting Zero-shot Learning via Contrastive Optimization of Attribute Representations 제2-2부 method

Our paper follows embedding-based methods [12], [13], [23]–[25] in ZSL.
우리 논문은 ZSL의 임베딩 기반 방법[12], [13], [23]–[25]을 따릅니다.

The essential motivation is to en-power the representations of visual objects such that those from different classes or with different attributes can be easily discriminated, while those from the same class or with same attributes can be easily connected.
essential 본질적인 en-power 강화하다, 활성화 하다
본질적인 동기는 다른 클래스 또는 다른 속성을 가진 시각적 객체가 쉽게 구별될 수 있도록 시각 객체의 표현을 활성화하는 것이며, 반면 같은 클래스 또는 동일한 속성을 가진 객체는 쉽게 연결될 수 있다.

To achieve this, we propose a new framework, CoAR-ZSL, to explicitly learn attribute prototypes and attribute-level features separately and boost ZSL via the Contrastive optimization of these Attribute Representations.
explicitly 분명한 separately 별도로 boost 향상시키다
이를 달성하기 위해 우리는 속성 프로토타입과 속성 수준 기능을 별도로 명시적으로 학습하고 이러한 속성 표현의 대조 최적화를 통해 ZSL을 향상시키는 새로운 프레임워크인 CoAR-ZSL을 제안합니다.

Specifically, a prototype generation module is firstly designed to take inputs of semantic features for attributes and generate corresponding attribute prototypes.
specifically 특히 corresponding 해당하는
특히, 프로토타입 생성 모듈은 먼저 속성에 대한 의미론적 기능의 입력을 받아 해당 속성 프로토타입을 생성하도록 설계되었습니다.

Meanwhile, an input image is passed through a DNN to extract attribute-level visual features via an attention-based attribute localization scheme inspired by [23], [26].
한편, DNN을 통해 입력 이미지를 전달하여 [23], [26]에서 영감을 받은 주의 기반 속성 위치화 기법을 통해 속성 수준의 시각적 특징을 추출합니다.

Attribute-level features are optimized against corresponding attribute prototypes using a contrastive triplet loss.
속성 수준 기능은 대조적 삼중항 손실을 사용하여 해당 속성 프로토타입에 대해 최적화됩니다.

To further reinforce these features, another hard example-based contrastive loss is introduced to optimize them across images in the embedding space.
이러한 기능을 더욱 강화하기 위해 임베딩 공간의 이미지 전반에 걸쳐 최적화하기 위해 또 다른 하드 예 기반 대조 손실이 도입된다.

Besides the optimization of attribute representations, we also follow [16], [27] to extract class-level features from images and optimize them with corresponding class prototypes; the latter are obtained jointly with attribute prototypes through the proposed prototype generation module.
속성 표현의 최적화 외에도 [16], [27]을 따라 이미지에서 클래스 수준 기능을 추출하고 해당 클래스 프로토 타입으로 최적화합니다. 후자는 제안 된 프로토 타입 생성 모듈을 통해 속성 프로토 타입과 공동으로 얻어집니다.

We explore two alternative backbones for extracting class- and attribute-level features: the CNNbased and the transformer-based.
우리는 클래스 및 속성 수준 기능을 추출하기 위한 두 가지 대체 백본인 CNN 기반 및 변압기 기반을 탐색합니다.

Both versions outperform the state of the art in the respective ZSL and GZSL setting.
두 버전 모두 각각의 ZSL 및 GZSL 설정에서 최신 기술을 능가합니다.

To summarize, the contribution of this paper is three-fold:
요약하자면, 이 논문의 기여는 세 가지입니다.

• Principally, we design a new framework to boost ZSL by explicitly learning attribute prototypes beyond images and contrastively optimizing them with attribute-level features within images.
  beyond 이상의, 이후의 within 이내의
  기본적으로 이미지 이상의 속성 프로토타입을 명시적으로 학습하고 이미지 내의 속성 수준 기능으로 대조적으로 최적화하여 ZSL을 향상시키는 새로운 프레임워크를 설계한다.
  The concept of attribute prototype is distinguished from that of attribute-level feature for the first time.
  be distinguished from 구별되다.
  속성 프로토타입의 개념은 처음으로 속성 수준 기능의 개념과 구별됩니다.

• Two elements are highlighted for attribute representations: a prototype generation module and a hard example-based contrastive optimization scheme.
  highlight 강조하다,
  속성 표현을 위해 두 가지 요소가 강조 표시됩니다. 프로토타입 생성 모듈과 하드 예제 기반 대조 최적화 체계입니다.
  They are responsible for generating attribute (and class) prototypes and reinforcing attribute-level features, respectively.
  be resplisible for ~ 역활을 하다, 책임이 있다.
  그들은 각각 속성(및 클래스) 프로토타입을 생성하고 속성 수준 기능을 강화하는 역할을 합니다.

• We build our framework upon two alternative backbones, CNN-based and transformer-based, and evaluate on several standard benchmarks, CUB [28], SUN [29] and AwA2 [30].
  우리는 CNN 기반 및 변압기 기반의 두 가지 대체 백본을 기반으로 프레임워크를 구축하고 여러 표준 벤치마크인 CUB[28], SUN[29] 및 AwA2[30]를 평가합니다.
  Both versions of our method outperform the state of the art by considerable margins in the ZSL and GZSL settings.
  considerable 상당한
  우리 방법의 두 버전 모두 ZSL 및 GZSL 설정에서 상당한 마진으로 최신 기술을 능가합니다.