[Faiss] 😆 유사도 계산을 빠르고 간편히!

😀 안녕하세요! 오늘은 유사도 및 KNN 계산을 빠르고 간편히 수행할 수 있는 패키지!
😎 "Faiss"에 대해 간단히 제가 사용한 부분을 정리하려 합니다.

사용 배경

😊 공부했던 개념들을 활용해서, 아래 Kaggle 대회에 제출할 코드를 작성중이었습니다!
🌏 아래 대회는 돌고래의 Fin(등지느러미)를 통해 개체를 분별하는 Task입니다.
💧 데이터셋 자체가 돌고래 개체마다 몇장 되지 않고, class수는 상당히 많기 때문에 일종의 "Face Recognition Task" 로 접근하여 해결하는 솔루션들이 많았습니다.
✨ 이에, 저도 Face Recognition에 효과가 좋은 ArcFace를 써보자! 라는 흐름이 되었죠 :)

https://www.kaggle.com/competitions/happy-whale-and-dolphin

😋 그렇습니다. 이전에 정리했던 아래 두 포스팅입니다!
😏 ViT는 모델 아키텍처로, ArcFace는 loss function으로 활용되었습니다.

🐶 ViT
https://velog.io/@gtpgg1013/pytorch-Image-Classification-Using-ViT
📐 ArcFace
https://velog.io/@gtpgg1013/%EB%85%BC%EB%AC%B8%EB%A6%AC%EB%B7%B0-ArcFace-Additive-Angular-Margin-Loss-for-Deep-Face-Recognition

그러나!

하핫.. 거참 🤣
제가 예전에 평소에 자주 사용하던 Softmax layer에서 최댓값을 뽑아 결괏값을 만들던 방식이 아니기 때문에,
결과를 제출하기 위해 추가적인 후처리가 필요한 상황이 발생하였습니다.

(참고)
😁 보통 일반적인 Classification Task는 softmax layer에서 값을 뽑아서, 이를 argmax를 취한 값을 결과 index로 쉽게 사용할 수 있습니다.
🤔 하지만, ArcFace loss function을 활용한 추론 결과는 각 image들 특정 dim으로 Embedding하기 때문에, 테스트 및 학습 데이터들을 모두 모델을 활용하에 Embedding을 만들고, 각 Embedding의 유사도를 활용하여 개체 인식을 수행합니다.

😒 물론 유사도를 구하는 for loop를 그냥 짜도 됩니다만...
😋 분명 누가 좋은 것을 미리 만들어 놓았을 것이라고 생각했고, 참고한 솔루션에서 찾게 되었습니다!

Faiss!

github : https://github.com/facebookresearch/faiss
wiki : https://github.com/facebookresearch/faiss/wiki

✨ Faiss는 Facebook에서 만든 효율적인 유사도 검색 및 clustering을 위해서 만든 라이브러리로서, C++로 짜여있으며, GPU 활용까지 가능하기 때문에 활용도 및 효율성이 높다고 하네요 :)

🙌 저는 L2 distance을 활용하여 Embedding간 distance를 구하였습니다 :)

install

pip install faiss-gpu

simple faiss api example

😀 Faiss는 index 생성 => index에 db 등록 => query로 db search 순서로 진행됩니다.
😎 index.search 함수의 인자 k 갯수만큼 유사한 순서대로 찾습니다.
😋 그리고 I는 db의 index / D는 query와 해당 index의 db와의 distance 입니다.

import numpy as np
import faiss

# 탐색 대상 : db
db = np.array(np.random.random((100,32)), np.float32)
# db에 질의 : query
query = np.array(np.random.random((2,32)), np.float32)

# 유사도 계산
def create_and_search_index(embedding_size, db_embeddings, query_embeddings, k):
	# 특정 embedding size(32)의 faiss index 생성
    index = faiss.IndexFlatL2(embedding_size)
    # db 등록
    index.add(db_embeddings)
    # k개의 유사한 값 search
    # I는 db의 index / D는 query와 해당 index의 db와의 distance
    D, I = index.search(query_embeddings, k=k) 

    return D, I
    
D, I = create_and_search_index(32, db, query, 5)

D
>>> array([[2.2877078, 2.4738002, 2.5330005, 2.8156984, 2.8736565],
       [2.5150692, 2.5936663, 3.0449693, 3.14107  , 3.198256 ]],
      dtype=float32)

# 즉, 첫번째 query와 가장 가까운 db의 index는 35, 2번째 query와 가장 가까운 db의 index는 10이다.
I
>>> array([[35, 10, 83, 85, 55],
       [10, 84, 89, 44, 92]])

🎉 위와 같이 활용하면 간단히 유사도 계산을 할 수 있습니다 :)
😉 L2 Distance 이외에도 다양한 distance를 활용하여 유사도를 구할 수 있으니, 아래 페이지를 참조하시면 됩니다.

https://github.com/facebookresearch/faiss/wiki/Faiss-indexes

글을 정리하며

😁 강력한 기능으로 유사도를 한방에 정리해주도록 도와준 패키지 Faiss에 대해 정리해보았습니다.
😊 확실히 추천 시스템이나 유사도 비교가 많은 프로세스에서 유용하게 쓰일 것 같다는 생각이 드네요.
🐱‍👤 다음에는 GPU 기능도 활용해보고, 필요한 상황에 맞춰 distance도 활용할 수 있는 기회가 곧 오지않을까 생각이 듭니다.
😍 그럼, 여기까지 읽어주셔서 감사합니다. 좋은 하루 되세요!