🔍 Retrieval 기반 경진대회 도전기: Chunking부터 Dual Dense 앙상블까지

이번 글에서는 제가 참여했던 IR(Information Retrieval) 경진대회에서 어떤 과정을 거쳐 성능을 끌어올렸는지 정리해보려 합니다.
처음에는 단순한 Baseline에서 시작했지만, 다양한 전처리와 모델 실험을 거치며 점수를 개선했고, 최종적으로는 Dual Dense 앙상블이라는 접근으로 마무리할 수 있었습니다.

1. 데이터 분석 – 결측값 확인과 전처리

경진대회의 첫 단계는 데이터 분석이었습니다.

결측값 점검: docid, title, content 같은 주요 필드에 결측은 거의 없었습니다.
데이터 정리: 다만 문서 내 불필요한 공백과 비정상적인 텍스트가 있어서 정규화를 통해 정리했습니다.
문서 길이 문제: 문서 길이가 제각각이어서 단일 문서 단위 검색으로는 성능이 낮게 나왔습니다.
→ 이때부터 “chunking 전략이 필요하다”는 결론을 얻게 되었습니다.

2. Feature 엔지니어링 – Chunking과 인덱스 세팅

본격적인 전처리 단계에서는 다양한 feature 엔지니어링을 시도했습니다.
Chunking: window와 stride를 조정하면서 여러 실험을 진행했습니다.
최적 조합은 win=420, stride=300이었고, 이때 성능이 가장 높았습니다.
중복 방지: 같은 문서에서 과도하게 많은 청크가 들어가지 않도록 same-doc limit을 2~3으로 제한했습니다.

토큰화 & 임베딩:

Sparse 모델(BM25)에는 Kiwi 형태소 분석기를 적용해 토큰 단위 검색 성능을 높였습니다.
Dense 모델은 nlpai-lab/KURE-v1 임베딩을 사용해 FAISS 인덱스를 구축했습니다.
이 과정에서 chunking 전략 하나만으로도 MAP이 0.33 → 0.52까지 상승하는 큰 효과를 확인할 수 있었습니다.

3. 모델 실험 – Baseline에서 Hybrid까지

모델링은 단계적으로 진행했습니다.

• Baseline: 단일 BM25 또는 단일 Dense Retrieval → MAP ≈ 0.33
  Dense 후보 수 확장: num_candidates를 300 → 1200까지 늘리면서 실험했는데, RRF 결합 시 MAP 0.51~0.52 범위에서 안정적이었습니다.

Fusion 기법 비교:

RRF(Reciprocal Rank Fusion): 안정적인 성능 유지 (MAP 0.51 이상)
z-score weighted sum: 오히려 성능 하락 (MAP 0.39~0.43)

👉 이 과정에서 RRF 기반 hybrid retrieval이 안정적인 선택지라는 걸 알게 되었습니다.

4. 팀에서 확장한 시도 – BM25 + Dense + Cross-Encoder

Dense Retrieval: KURE-v1 임베딩으로 FAISS 인덱스 구축, cosine 유사도 기반 후보 검색
BM25 Retrieval: Kiwi 형태소 분석기를 기반으로 BM25Retriever 구성
Hybrid 앙상블: BM25 20%, Dense 80% 비율로 가중치를 줘 recall과 semantic match를 동시에 반영
Cross-Encoder Rerank: BAAI/bge-reranker-v2-m3 모델로 query–문서 쌍을 정밀하게 scoring 후 상위 3개만 선택

후처리: greet_id에 해당하는 특정 질의는 noise로 간주하고 강제로 제외

-> 이 접근은 “BM25로 정확한 키워드 매칭을 확보하고, Dense로 의미 기반 검색을 강화한 뒤, 마지막에 Cross-Encoder로 정밀도를 끌어올린 방식”이었습니다. 성능은 안정적으로 상위권을 유지하면서 precision이 개선되었습니다.

5. 최종 채택 – Dual Dense 앙상블

최종적으로 저희 팀이 선택한 방식은 Dual Dense 앙상블입니다.

두 개의 FAISS 인덱스 사용:

• question 기반 인덱스
• semantic 기반 인덱스
  가중치 앙상블: retrievers = [retriever1, retriever2], weights = [0.1, 0.9]

Semantic 인덱스에 더 높은 비중을 두어 안정성을 확보
Question 인덱스는 소량 반영해 recall을 보완
후처리: docid 중복 제거 후 최종 상위 3개만 반환

k=3을 유지한 이유는, 평가 지표(MAP, MRR)가 top-3 기준일 때 가장 안정적으로 개선되었기 때문입니다.
이 방식은 Cross-Encoder를 쓰지 않고도 빠르면서 안정적인 성능을 보여주었고, 효율성과 점수의 균형을 맞춘 최종 선택지가 되었습니다.

6. 결론과 배운 점

단순한 Baseline에서 시작해, 전처리 → Hybrid → Rerank → 앙상블까지 다양한 실험을 거치면서 점진적으로 성능을 개선한 과정 자체가 큰 학습 경험이었습니다.
특히, 단순히 모델을 교체하는 것이 아니라 데이터 전처리와 retrieval 전략 설계가 더 중요하다는 걸 이번 대회를 통해 다시 한 번 확인할 수 있었습니다.