Introduction

challenge: how to learn a robust ReID model with noisy training data
<[noise]>
(1) label noise: 사람에게 잘못된 identities가 할당됨 (주로 사람의 실수)
(2) outliers: 이상치 sample (imperfect person detection or occlusion)

noise가 있는 sample은 같은 class의 다른 sample들과 거리가 멀어짐 -> noise sample을 클래스 중심에 가까이 가져오는데, 클래스 간 separability가 안좋아짐
=> DistributionNet이 제안됨

기존 model: 각 이미지가 feature vector로 이루어짐(CNN)
DistributionNet: featur distribution으로 표현

• mean: ReID 매칭에 사용(Gaussian distribution)
• variance(분산): feature uncertainty를 측정
  => noise가 없는 sample(inlier)에 더 집중 가능

Related work

Deep Person ReID Models

CNN architecture를 사용함
(1) body parts를 identify 하기 위해 pose detector를 쓴다.
(2) spatial transformer network로 학습시키면 자동으로 body parts를 위치시킬 수 있다. / self-attention layer를 구성해 spatial attention map을 만들 수 있다.
(3) Hard attention: reinforcement learning

문제

identifying different outliers와 label noise 문제가 아직 해결되지 않음
open-world ReID에서 gallery set의 target을 probe set에서 찾아내는 문제가 있음
=> non-target people로부터 discriminant information을 추출하는 transfer learning framework가 제안됨

(4) adversarial learning(적대적 학습)을 사용해 gallery set에 imposter를 합성하여 model을 강화 -> DistributionNet을 GAN을 안쓴다.

Robust Deep Learning with Label Noise

label noise 처리
(1) 추가적인 person 개입, noise attention이 필요하지 않다. -> bootstrapping으로 label을 반복적으로 수정하거나 classification layer 위에 layer 추가, loss correlation (손실함수 간 관계 분석으로 noise 처리)
(2) noisy data의 일부를 re-annotated (cleaned)해서 나머지 data에서 noise sample을 identify (CleanNet, MentorNet)

DistributionNet: 위에 noise label 처리에서 (1)번에 해당한다. 추가적인 noise 검증이 필요하지 않다. feature uncertainty를 modelling한다. wrong label 지정으로 발생한다는 가정을 하지 않는다. (특정 noise 패턴을 가정하지 않아 모든 noise를 대상으로 처리가 가능하다.) => outliers도 처리가 가능하다.

Feature Distribution Modelling

기존의 high-level 표현 방식은 한 이미지를 한 길이의 벡터(고정된 길이의 벡터)로 표현한다.
다른 data type은 feature를 distribution으로 modelling한다.
(1) video: 여러 main frame으로 구성된 gaussian distribution으로 표현한 것이 있다.
(2) class 중심의 distribution으로 modelling 한 것이다. 이것을 사용한 cross-entropy loss의 재구성이 제안되었다.
(3) generative model에서 1개의 이미지의 feature를 모델링한다. 이것이 metric learning에서도 class 내 variance와 invariance를 분리하는 방식으로 확장됐다.

본 논문에서는 생성 모델을 사용하지 않고, 단일 이미지의 feature를 분포로 모델링한다.

Methodology

Problem Definition

noisy training sample
(1) outlier(이상치)
(2) label noise: random noise(identity가 무작위로 지정됨), patterned noise(시각적으로 유사한 사람에게 잘못된 identity가 지정됨)

ReID model은 feature embedding space를 학습하는 것이다 = 동일한 신원을 가진 sample들은 가까이 위치시키고 다른 신원은 멀리 위치시킨 feature space를 만드는 것이다.
본 논문의 모델은 noise type을 추정하지 않고, noise의 비율이나 추가적인 annotation을 요구하지 않는다.

Feature Distribution Modelling

Classification Loss

DistributionNet의 손실함수

Feature Uncertainty Loss

분산이 0으로 수렴하는 경우를 방지하기 위해, DistributionNet은 모든 샘플의 불확실성을 일정 수준으로 유지해야한다. (0이되면 고정된 feature vector와 똑같아진다.)
=> feature uncertainty loss가 필요함

n: mini-batch 크기, γ는 불확실성의 margin이다. q는 다변량 gaussian distribution의 entropy를 계산한 것이다.