[논문리뷰] 📐 ArcFace: Additive Angular Margin Loss for Deep Face Recognition

🎃 안녕하세요! 오늘은 최근에 흥미있게 읽은 논문을 가볍게 정리해보려고 합니다.
🧨 공부용으로 남기는 게시물로, 정리에 부족한 부분이 있을 수 있습니다 :) 양해 부탁드려요!

https://arxiv.org/pdf/1801.07698.pdf

😎 얼굴 인식 task 관련 자료를 서칭하다 만나게 된 논문, ArcFace 입니다! 그럼, Let's Diggin!

✨Abstract

기존 논문에서는 얼굴 인식 같은 태스크를 수행함에 있어서, 일반적인 이미지 분류와 동일한 방법을 사용했습니다.
일반적인 이미지 분류의 간략한 모델 학습 순서를 이야기해보면,
1. 보통 DCNNs라고 불리는 Conv layer들을 깊게 쌓은 방식으로 Neural Net Architecture를 구성하고,
2. 이를 Pooling 한 후 MLP Layer를 거쳐 logit을 뽑아냅니다.
3. logit은 softmax 활성화 함수를 거쳐 Probability가 되고,
4. 보통 분류 문제는 Cross Entropy 함수를 loss로 하여 Neural Net 학습이 진행이 됩니다.

😃 그런데! 얼굴 인식 태스크는 일반적인 문제와는 조금 다릅니다.
🤣 데이터가 라벨당 몇 장 없고 (사람 얼굴일테니까요), 레이블도 무지막지하게 많습니다. (학습에 사용한 사람 명수)

🤔 이에 대해서, 저자는 "Additive Angular Margin Loss" 라는 개념을 제안합니다!
😋 logit을 "각도 개념을 활용하여 분류하게 되는" 방식으로 변경하며, 이는 기존의 방식보다 각 class간 boundary 형성을 모델이 더 잘 학습하게 되었다고 이야기합니다.

✔+alpha

오늘 소개하는 논문에서 인용한, "SphereFace" 라는 선행 연구가 있습니다.

https://arxiv.org/abs/1704.08063

해당 논문에서 주장하는 내용인,
"Neural Net의 마지막 fully connected layer의 Weight Matrix는, 각 class의 중심 지표로 표현될 수 있다." 라는 내용을 숙지하고 가시면, 추후 이해가 훨씬 쉬울 것으로 보입니다 :)

조금 더 설명하자면,

위 그림의 "Normalized Weight"의 row들이 각 class의 중심을 나타내는 vector로 간주한다는 뉘앙스로 이해하시면 될 것 같습니다!

👏Introduction

😏 ArcFace의 장점들을 설명하고 있습니다.
😎 결국은 저 위의 Margin-Loss가 좋고, 그걸 사용한게 ArcFace! 라는 설명이 주 내용입니다.

angular margin penalty를 사용하는 것이, 더 좋은 효과를 보여준다고 18, 19 논문에 나와있다고 하네요...😏

18번 : https://arxiv.org/pdf/1704.08063.pdf (SphereFace)
19번 : https://arxiv.org/pdf/1612.02295.pdf

👍 어쨌든 내적을 계산함에 있어 추가로 각도를 더 벌린 채로 학습을 진행함으로써
각도가 가까워질 놈은 더 가까워지게, 각도가 멀어질 놈은 더 멀어지게 하려는 컨셉으로 이해됩니다.

🐱‍👤 Proposed Approach : 📐 ArcFace

🤦‍♂️ softmax & cross entropy

기존 softmax를 활용한 loss function은 아래와 같습니다.
그리고, 얼굴 인식 task에도 널리 쓰이고 있었습니다.

그러나, 저자는 아래와 같이 설명합니다.

However,
the softmax loss function does not explicitly optimise the feature embedding to enforce higher similarity for intra-class samples and diversity for inter-class samples, which results in a performance gap for deep face recognition under large intra-class appearance variations (e.g. pose variations and age gaps)

😏 즉, softmax function을 사용하게 되면 같은 클래스 내에서(for intra-class)는 비슷하게 Embedding이 형성되고, 다른 클래스 끼리(for inter-class)는 다르게 Embedding이 형성된다는 말입니다.
🤔 그러나, 얼굴 인식 task 같은 경우 실제 사람은 다르지만, "사람" 들로만 구성된 데이터셋이기 때문에 intra-class와 같은 성질을 띄게 됩니다.
😢 위의 이유때문에 성능 저하(performance gap)이 발생할 수 있다고 이야기합니다.

😎 Suggestion : new function

위의 문제들을 해결하기 위해 bias는 없애고, 벡터간 각도에 집중하는 방법을 사용했습니다.

여기서 $\theta_j$는 Weight인 $W_j$와 feature인 $x_i$의 각도입니다.
Abstract에서 말씀드렸던 Weight를 각 class의 centre값으로 생각하기 때문에, 일종의 기준이 되는 것이지요.
즉, 해당 기준과 같은 class라면 각도가 작아지게, 해당 기준과 다른 class 라면 각도가 멀어지게 하려는 부분입니다.

👏 여기에서 $\parallel W_j \parallel$ 값은 $l_2$ norm에 의해 1로 제한되어 있고, $\parallel x_i \parallel$ 또한 $l_2$ norm으로 제한되어 있으며 scale factor $s$ 로 re-scale 됩니다.
😎 즉, 모델 학습에는 정말 "각도로" 분류가 되도록 학습이 진행된다는 것이지요.

😉 Train !

📏 위의 개념을 적용하여 ArcFace loss를 활용한 학습 순서를 나열하면,

1. feature $x_i$와 $W$의 cosine 유사도를 구하여, $cos\theta_j$를 구합니다.
2. $arccos$ 함수를 활용하여 두 벡터의 각도인 $\theta_{yi}$를 구합니다.
3. $\theta_{yi}$ 에 angular margin penalty $m$을 더하여 $cos(\theta_{yi}+m)$을 구합니다.
4. scale factor $s$를 곱해주고, softmax를 취합니다.
5. cross entropy loss를 구하고, backprop하여 Neural Net을 학습시킵니다.

그리하여 아래와 같은 Loss Function이 정리됩니다!

😆 그리고, 논문에서는 일반 softmax보다 ArcFace를 사용했을 때, 비슷한 class끼리의 분명한 gap을 명백히 보여준다고 이야기합니다.

이로서, 어느정도 ArcFace의 기본 내용은 정리가 된 것 같습니다. 휴우! 😋

글을 정리하며

오늘 작성한 ArcFace는 kaggle을 뒤적거리다가 마주치게 된 알고리즘인데, 정말 유명하고 이미 많이 쓰고 계셨네요 :)

Happy Whale Competiton을 보다가 고수분의 노트북에서 발견하게 되었답니다👏

https://www.kaggle.com/competitions/happy-whale-and-dolphin

그런데 오늘 기준으로 최종제출까지 12일 남았는데 이거 가능한걸까요...? 🤣🤣🤣🤣
막판 스퍼트 내어서 제출을 목표로 하는것으로 해봐야겠습니다.

다음에는, 간단히 구현체를 사용한 코드를 공유하는 것도 괜찮을 것 같습니다. 😁
그럼, 좋은 하루 되세요!