Background

FR System

FR History

• 2016년도 전에 Saturation이 되어서 관심도가 떨어짐 => 인용수가 감소

FR Approach

• Gallery vs Probe

  • The Gallery: Target IDs (회사에 출입한다고 가정했을 때, 등록된 사원들의 얼굴 사진)
  • The Probe: Test ID (회사에 출입하려고 할 때 찍힌 사진)

• Identification vs Verification

  • Identification: One-to-many, ID? (이 얼굴에 해당하는 ID는 누구인가 = Classification)
  • Verification: One-to-one, Yes/No? (2개의 얼굴이 동일 인물인가)

• Closed-set vs Open-set

  • Closed-set Face Recognition: Training Set에 얼굴이 있는 경우
  • Open-set Face Recognition: Training Set에 얼굴이 있는 경우

• Training, Fine-tuning (2번 트레이닝)

  • 1. Training using Identification Loss (Training Set으로 학습)
  • 2. Fine-tuning using ID/Verification Loss and Test (사원들의 얼굴 사진으로 학습)

DFR History

• 가장 유명한 FR의 테스트셋으로는 LFW(Labeled Faces in the Wild) 가 있음
• 딥러닝 이전에는 82%, 딥러닝 이후에는 97% 이상의 ACC를 달성

Networks

DeepFace (by Facebook, CVPR 2014)

• AlexNet 기반, Chi-square(카이 스퀘어) distance
• 학습은 Identification으로 하고, 테스트는 Verification으로 했다 ..?

Siamese Network

• 같은 네트워크에서 다른 얼굴 사진을 넣어서 나오는 피쳐간의 연산을 통해서 ..
• Softmax 전 레이어는 파인튜닝이 되어있음

DeepID2 (by HKU, NIPS 2014)

• 피쳐를 뽑는 건 똑같지만
• Softmax Loss 이외에 Verification Loss를 학습할 때 같이 사용함.

FaceNet (by Google, CVPR 2015)

• Before FaceNet

  • Training using Identification Loss (+ Contrastive Loss)
  • Fine Tune (using Metric Learning / Joint Bayesian)

• Face Net

  • Training using Metric Learning

• FaceNet의 특징

  • Very Big Data
  • No Face Alignment
  • Single Model
  • Verification Loss (Metric) Only: Face L2 Embedding (피쳐 벡터의 놈 = 1이 되도록)
    • Verification: Thresholding the Distance between the two embeddings
    • Identification: k-NN Classification
    • Clustering: k-means Clustering
  • Verification Loss: Triplet Loss

• 데이터 공개가 안되어서 재현이 불가능

Verification

Identification

Clustering

Triplet Loss

• 3개의 sample을 사용: Anchor, Negative, Positive

• 알파: margin

• Hard Positive: Positive이지만 사람이 봐도 닮지 않은 사진
• Hard Negative: Negative이지만 사람이 봐도 닮은 사진

• Positive는 모두 학습함
• Hard Negative는 너무 많으므로, Semi-hard 조건을 만족시키면 학습함

Results

VGGFace (by Oxford, BMVC 2015)

ETC

• 이후에는 주로 Loss를 바꾸는 시도들이 있었음

Reference

• FaceNet
• Deep Face Recognition: A Survey
• FaceNet github
• PR-127: FaceNet