토이 프로젝트 <파리 올림픽 경기 영상 속 선수 식별 및 정보 제공> 프로젝트를 진행하면서, 영상 내 선수 이외의 심판, 관중과 같은 사람들을 선수로 잘못 매칭하는 현상이 빈번하게 발생하였다. 이러한 현상이 Hard Negative Mining과 관련이 있다고 보고, 이에 대해 자세히 알아볼 필요성을 느끼게 되었다.
우리가 input으로 넣은 경기 영상 안에는, 우리가 detect하고 싶은 선수들 이외에도 감독, 심판, 관중, 경기장 관리 직원 등 원하는 객체의 데이터가 background 데이터보다 월등히 적은 경우가 대부분이다. 이러한 상황에서 우리는 클래스 불균형을 겪게 되는데, 이 때문에 학습이 잘 되지 않는 것을 방지하고자 진행하는 것이 'Hard Negative Mining'이다.
클래스 불균형
네트워크 입장에서는 영상에서 조그만 patch size의 사람 얼굴을 찾아야 하는데, 비슷한 크기의 배경 patch와 사람 얼굴 patch를 구분해야 함. 하지만 보통 배경 패치가 더 많기 때문에 sampling 작업 필요.
Hard Negative
: 유사하게 보이지만 실제로는 다른 카테고리에 속하는 데이터 샘플
모델 입장에서 보면 해당 샘플에 대해 Negative(아니다)라고 해야 하는데, Confidence가 높게 나오는 상황.
- 특히 대조 학습 (Contrastive Learning)과 같은 자기지도 학습(Self-Supervised Learning)에 중요함
- 모델의 더 정확한 학습을 돕기 위해 선택
- 기존의 샘플들과 비슷하게 인코딩되어 있으나 실제로는 다른 클래스에 속하기 때문에, 모델이 더 강력한 판별력을 개발하도록 유도
대조 학습
- Anchor: 현재 기준이 되는 데이터 샘플 (query)
- Positive pair: 기준이 되는 데이터 샘플과 같은 class를 가지는 높은 상관관계의 샘플 (key)
- View: anchor와 같은 semantic을 가지는 데이터 샘플 (positive sample). 사물을 보는 다양한 시각이 있듯, anchor과 동일한 의미를 갖는 다른 샘플들을 생성할 수 있음
- 이 때 anchor을 기준으로 augmentation을 한 샘플이나 아예 다른 modality가 view가 될 수 있음!- ex. 고양이를 음성과 이미지로 표현 -> 그 음성과 이미지는 같은 정보를 나타내는 view들
- Negative Pair: 기준이 되는 데이터 샘플과 다른 class를 가지는 낮은 상관관계의 데이터 샘플
대조학습에서는 '앵커', '양성' 샘플, '음성' 샘플들 간의 관계를 이용해 특징 공간에서의 거리를 조절하며 학습한다. Hard Negative는 여기서 '음성' 샘플 중에서도, 'Anchor'에 가깝게 인코딩되어 있어 모델이 분별해내기 어려운 샘플이다.
Hard Negative Mining, HNM
- Hard Negative Sample을 활용하는 방법 중 하나
- Hard Negative 데이터를 학습데이터로 쓰기 위해 모으는 (Mining) 것
- 대조적 손실 함수를 통해 모델의 Decision Boundary를 더 명확히 함
- 왜?
hard negative mining으로 얻은 데이터를 추가해서 재학습하면 false positive 오류에 강해지기 때문
ex. 이미지-텍스트 검색(Image-Text Retrieval), 시간적 행동 위치 지정(Temporal Action Localization) 등 다양한 시각적 이해 작업의 성능 개선에 기여
Hard Negative Mining 전
Hard Negative Mining 후
노란 선: 정답
초록 선: True Positive
빨간 선: False Positive
"anchor와 너무 다르지도 않으면서 너무 비슷하지도 않은, 적당히 주변에 있는" hard negative를 사용할 때 결과적으로 성능 향상을 이끌어낼 수 있다.
— http://dmqm.korea.ac.kr/activity/seminar/308
참고 문헌
Wang, X., Guo, C., & Feng, C. (2023). Revisiting Hard Negative Mining in Contrastive Learning for Visual Understanding. Electronics, 12(23), 4884. https://doi.org/10.3390/electronics12234884
Chuang, J. J., et al. (2020). Contrastive Learning with Hard Negative Samples. arXiv preprint arXiv:2010.04592. Retrieved from https://arxiv.org/abs/2010.04592
NeurIPS. (2020). Hard Negative Mixing for Contrastive Learning. Retrieved from https://proceedings.neurips.cc/paper/2020/file/f7cade80b7cc92b991cf4d2806d6bd78-Paper.pdf
