🤗 한글 검색 성능 테스트 l 한글 형태소 분석기(Kiwi, Kkma, Okt) + BM25, FAISS 리트리버

✅ 도입

본 포스팅은 테디노트님의 유튜브 영상과 코드를 바탕으로 작성하였습니다.
테디노트 ㅣ 🇰🇷한글 형태소 분석기(Kiwi, Kkma, Okt) + BM25, FAISS 리트리버로 한글 검색 성능 테스트🤖
테디노트 ㅣ 실습 코드

코드 수정사항은 다음과 같습니다.
Colab ㅣ 실습 코드 수정 버전

1. OpenAIEmbeddings → Huggingface 한국어 지원 임베딩 모델 활용 : 무료로 실습 가능하도록 수정하였습니다.
2. 실습 문장 수정
3. 형태소 분석기 kiwi만 테스트/kiwi & konlpy 비교 테스트 → 임베딩 모델별 kiwi & konlpy 비교 테스트로 정리 : 한 눈에 임베딩 모델과 분석기별 성능을 확인하기 쉽도록 하였습니다.

✅ 과정

Tokenizers, 검색 알고리즘, 임베딩 모델, 가중치를 조합하여 총 39 종류의 분석기 테스트를 진행하였습니다.

📌 Tokenizers : kiwi, konlpy

konlpy는 okt와 kkma만 활용하였습니다.

📌 검색 알고리즘 : BM25, Faiss, BM25 + Faiss

• BM25 단독
  • term frequency(TF)와 inverse document frequency(IDF)를 활용하여 문서의 중요도 평가
    TF-IDF 관련 포스팅
  • 쿼리 각 용어와 문서에서 용어의 빈도를 기반으로 점수 계산
• Faiss 단독
  • Facebook AI Similarity Search의 약자
  • 대규모 벡터 DB에서 벡터 기반 거리 계산 및 유사성 검색 수행
• BM25 + Faiss
  BM25와 Faiss를 같이 활용함으로써 Faiss로 임베딩 벡터 검색을 한 뒤 BM25로 문서 중요도 기반 유사도 검색 수행을 함으로써 성능 향상을 기대할 수 있습니다.

📌 임베딩 모델

테디노트님이 한국어 임베딩 모델 벤치마크로 좋다고 하신 e5, bge와 개인적으로 테스트 해보고 싶었던 bespin global의 모델로 진행하였습니다. e5는 small 버전으로 진행하였습니다.

• BAAI/bge-m3
• intfloat/multilingual-e5-large
• https://huggingface.co/bespin-global/klue-sroberta-base-continue-learning-by-mnr

📌 가중치

앙상블 리트리버를 걸 때 0.3과 0.7, 0.7과 0.3의 비율로 적용하였습니다.

✅ 결과

실습 예제 쿼리와 기대한 출력 문장은 다음과 같습니다.

{query, answer}

"맞춤학습", "개별화 교육은 학생들의 맞춤학습을 목표로 합니다."
"맞춤 학습", "교사의 지도 방식은 학생들의 맞춤 학습에 큰 영향을 미치며, 특히 피드백의 질이 중요합니다."
"맞춤형 학습", "온라인 교육 플랫폼은 맞춤형 학습이 가능하도록 설계되었으며, 학생들의 자기 주도 학습을 돕습니다."
"맞춤형 교육", "학생 맞춤형 교육은 개별 학생의 학습 스타일과 능력을 반영한 차별화된 학습 전략을 제공하는 것을 목표로 합니다."
"맞춤형 학습 경로", "평생교육은 현대 사회에서 끊임없는 학습을 제공하며, 맞춤형 학습 경로를 제공합니다."
"학생별 맞춤 학습", "교사와 학생 간의 상호작용과 학생별 맞춤 학습을 위한 프로그램 개발이 활발하게 이루어지고 있습니다."
"학생별 맞춤 시스템", "AI 기반의 맞춤형 학습 시스템은 학생들의 개별 학습 데이터를 분석해 학습자 맞춤 경로를 제시하는 데에 사용됩니다"

📌 BAAI/bge-m3

리트리버별 정답 횟수:
bm25: 2
kiwi_bm25: 2
faiss: 2
bm25_faiss_73: 2
bm25_faiss_37: 1
kiwi_bm25_faiss_73: 2
kiwi_bm25_faiss_37: 2
kkma_bm25: 2
kkma_bm25_faiss_73: 2
kkma_bm25_faiss_37: 2
okt_bm25: 2
okt_bm25_faiss_73: 2
okt_bm25_faiss_37: 2

📌 intfloat/multilingual-e5-large

리트리버별 정답 횟수:
bm25: 2
kiwi_bm25: 2
faiss: 2
bm25_faiss_73: 2
bm25_faiss_37: 1
kiwi_bm25_faiss_73: 2
kiwi_bm25_faiss_37: 2
kkma_bm25: 2
kkma_bm25_faiss_73: 2
kkma_bm25_faiss_37: 2
okt_bm25: 2
okt_bm25_faiss_73: 2
okt_bm25_faiss_37: 2

📌 bespin-global/klue-sroberta-base-continue-learning-by-mnr

리트리버별 정답 횟수:
bm25: 2
kiwi_bm25: 2
faiss: 1
bm25_faiss_73: 1
bm25_faiss_37: 1
kiwi_bm25_faiss_73: 1
kiwi_bm25_faiss_37: 2
kkma_bm25: 2
kkma_bm25_faiss_73: 1
kkma_bm25_faiss_37: 2
okt_bm25: 2
okt_bm25_faiss_73: 1
okt_bm25_faiss_37: 1

✅ 느낀 점

테디노트님은 금융 보험 관련 예제 문장을 사용하셨는데 문장을 바꿔 진행해 보았더니 사뭇 다른 결과가 나왔습니다. 테디노트님이 추천하신 bge와 e5는 같은 결과가 나왔고, bespin global의 모델은 앞의 두 모델에 비해 좀 더 정확도가 떨어지는 듯 했습니다. 아쉬운 점이 있지만 이번에는 다양한 앙상블 모델을 테스트 해본 데에 의의가 있다고 생각합니다. 지난 번과 비교했을 때 Faiss를 추가함으로써 대규모 데이터셋을 고려하고 성능 향상 방안을 테스트 함으로써 유사도 검색 성능 향상 방안을 다양한 방법으로 고려해 볼 수 있었습니다.

---

참고자료
위키독스 ㅣ 랭체인(LangChain) 입문부터 응용까지 HuggingFaceEmbeddings