😐 ArcFace: Additive Angular Margin Loss for Deep Face Recognition

+) 리뷰 논문 세션 들으며

• Softmax의 단점을 보완하기 위해 triplet loss = '거리'로, arc loss = '각'

Triplet Loss

• Anchor, Positive는 가깝게, Negative는 최대한 멀리
  CNN으로부터 embedding을 추출을 한 후에, Triplet loss를 적용

ABSTRACT

Face Recognition을 위해 Softmax loss function 대신, 깔끔한 기하학적 해석력과 모델의 분별력을 향상시키는 Additive Angular Margin Loss(ArcFace) 제안함. 또한, 각 클래스가 K 개의 ‘sub-center’와 학습 샘플로 이루어져 있으며, 대부분 깨끗한(판별하기 쉬운) 얼굴들로 이루어진 하나의 지배적인 sub-class와, nosiy한 얼굴들로 이루어진 sub-class를 권장하는 sub-center ArcFace도 제안함. 이 방법으로 Generator나 Discriminator 없이 구별적인 특징 embedding과 얼굴 생성력을 강화할 수 있음을 실험적으로 증명함.

1. INTRODUCTION

기존의 방법: DCNN과 softmax-loss 또는 triplet loss based 모델을 사용하여 Face Recognition을 진행함

그러나, 해당 방법의 한계:

1) Closed set classification에서 성능은 뛰어나지만, Open set에서는 구별력이 떨어짐.

2) Matrix and Iteration size: N개의 identity에 대해서 softmax loss는 차원이 선형적으로 증가하고, triplet loss에 대해서는 iteration step이 폭발적으로 늘어남.

⇒ DCNN feature의 마지막 fully connected layer를 cosine distance로 사용: arc cosine으로 현재 feature와 target center와의 각 margin을 계산함.

: 직접적으로 geodestic distance의 margin을 최적화할 수 있음.

3) Noise 영향: noise가 다수 포함된 퀄리티 낮은 사진이 training 과정에서 모델의 성능을 저하시킴 + noise를 제거하는 비용이 매우 큼.

⇒ ArcFace에 sub-class를 도입함으로써 모든 샘플을 positive center에 가깝게 강제하는 클래스 내 제약을 완화

: Training face가 nosiy하면 positive class에 속하지 않게됨. 기존의 ArcFace가 해당 noisy sample의 저해 영향을 많이 받았다면, sub-class ArcFace에서는 해당 샘플들이 다른 sub-class로 분류되어 지배적인 영향을 행사하지 않도록 조절함.

3. PROPOSED APPROACH

3-1. ArcFace

• 기존의 softmax loss function

⇒ 한계: class 내부의 simlilarity와, class 간의 similarity를 뚜렷하게 최적화하지 못함.

• (a)는 기존의 Norm-Softmax. 각 클래스 별로 feature들이 퍼져있음
• (b)는 ArcFace로, 각 클래스 별로 feature들이 훨씬 뭉쳐있음. 즉 class 내부의 similarity와 class 외부의 분리를 더 촉진시킴.

⇒ Feature embedding 성능 상승

---

• ArcFace: Angle 세타 도입

• 최종 Loss function

---

3-2. Sub-center ArcFace

ArcFace의 한계: Feature embedding에 매우 효과적이나, training 데이터가 모두 매우 퀄리티가 높음을 가정함.

⇒ 그러나 매우 큰 데이터셋이 모두 퀄리티가 높을 수 없음.

• Sub-class의 도입 (a) 에서 보이듯이, K = 10이라고 설정을 한 경우, 깨끗한 sample과 noisy한 sample은 서로 다른 class를 갖게 됨. (b) 에서는 샘플과 그 샘플에 대응하는 Center 사이의 거리가, noisy한 샘플일 수록 각이 더 큼을 알 수 있음. ⇒ 즉 sub-class를 도입하여 clean/dominant/nosiy/non-dominant의 정보를 추가적으로 제공하여 ArcFace의 한계를 보완함.
  

3-3. Inversion of ArcFace = ArcFace Generative model

• Pre-trained ArcFace 모델 + BN layer에 저장되어 있는 ArcFace loss의 gradient + face statistic prior를 활용하여 새로운 face image를 생성 ⇒ 높은 confidence

• Face Recognition(Discriminator) 였던 ArcFace를 역으로(inversion) 활용하면 인물의 새로운 image를 생성할 수 있음.

  • Input: 모델과 BN Layer, Class label y

  • Output: 생성된 이미지들의 batch(Ir)

    ⇒ 가우시안 분포로부터 random data를 생성 → BN Layer에서 running mean&variance 가져오기 → Forward Propagate로 ArcFace loss를 계산 → Backward Propagate로 Ir 업데이트

4. EXPERIMENTS

4-1. ArcFace

• Training Dataset: CASIA, VGG2, MS1MV0, Celeb500K
• Testing Dataset: LFW, CFP-FP, AgeDB

⇒ 실험 결과: 모든 데이터에 대하여 ArcFace가 가장 좋은 성능을 보임.

4-2. Inversion of ArcFace

1) Close-set Face Generation

• CosFace모델의 베이스라인과 비교하였을 때 FID score 70.39로 더 높음.

⇒ ArcFace는 GAN과 다르게 discriminator, generator의 추가적인 학습이 필요하지 않음.

CoseFace(5-7 번째 열)

ArcFace(2-4 번째 열)

• Identity의 특징을 유지한 사진들을 기존의 모델 파라미터만으로도 구현할 수 있음.

2) Open-set Face Generation

• 마찬가지로 ArcFace가 가장 본 사진의 특징을 잘 유지하면서 구현해 냄.

---

5. CONCLUSION

1) 이 논문에서는 ArcFace라는 추가 각도 여백 손실 함수를 제안함. 이는 얼굴 인식을 위한 심층 feature embedding의 discrimination을 효과적으로 향상시킬 수 있음.

2) 또한, ArcFace에 하위 클래스를 도입하여 대량의 현실 세계 잡음에서 내부 클래스 제약을 완화함. 이러한 하위 중심 ArcFace는 대부분의 깨끗한 얼굴을 포함하는 주요 하위 클래스와 어려운 또는 noise 많은 얼굴을 포함하는 비주요 하위 클래스를 촉진하여 자동적으로 분리할 수 있음.

3) 마지막으로, ArcFace는 특징 벡터를 얼굴 이미지로 매핑하여 모델의 generation을 강화함. Pre-trained ArcFace 모델은 gradient와 BN만을 사용하여 훈련 데이터 open, close에서 모두 이미지 생성이 가능함.

---

** 꼭지: Generation AI 영역에서는 Inverted ArcFace보다 GAN이 더 익숙하고, 현재까지도 더 많이 사용되고 있는 것 같은데, Inverted ArcFace를 사용 중인 분야가 궁금함.