최신 임베딩 모델 동향과 27B 임베딩 모델 RAG의 패러다임 변화
정보 검색과 생성형 AI의 결합인 RAG시스템을 구축하고 운영하다 보면, 결국 가장 핵심적인 병목 구간은 '원하는 문서를 얼마나 정확하게 찾아내는가'에 수렴하게 됩니다.
최근 벡터 검색의 근간이 되는 임베딩 모델의 기술적 동향을 살펴보면, 과거와는 완전히 다른 차원의 패러다임 전환이 일어나고 있음을 알 수 있습니다.
과거의 조악했던 임베딩 모델에 기반하여 정립된 RAG 기법들은 이제 새로운 모델들의 등장으로 인해 근본적인 변화를 맞이하고 있습니다.
1. 인코더 기반 임베딩 모델의 한계와 청킹의 종속성
초기의 임베딩 모델은 주로 BERT 계열과 같은 인코더기반 아키텍처를 채택했습니다.
인코더 기반 모델의 작동 방식을 살펴보면, 입력된 텍스트의 모든 토큰을 서로 어텐션하여 연산한 뒤, 최종적으로 나온 각 토큰의 벡터들을 평균하거나 CLS 토큰의 벡터를 취하여 하나의 최종 출력을 만들어냅니다.
이러한 방식은 텍스트 청크 안에 포함된 모든 내용을 한데 섞어버린 밀집 벡터를 생성하게 됩니다.
토큰들의 정보가 평균화되는 과정에서 필연적으로 정보의 희석이 발생합니다.
결과적으로 하나의 청크 안에 서로 상이한 주제나 여러 맥락이 섞여 있으면, 모델은 그 안의 세부 정보를 개별적으로 포착하기 어려워집니다.
이 때문에 기존 RAG 시스템에서는 '청킹 전략'이 시스템 전체의 성능을 좌우하는 가장 중요한 요소였습니다.
문서를 얼마나 의미적으로 동질하게 잘게 쪼갰느냐에 따라 임베딩 유사도의 실제 가치가 결정되었던 것입니다.
즉, '청킹의 품질이 곧 벡터 데이터베이스의 가치'인 셈이었고, 개발자들은 적절한 청크 크기와 오버랩 구간을 찾기 위해 수많은 휴리스틱 실험을 반복해야 했습니다.
2. 디코더 기반 임베딩 모델로의 전환
하지만 최근 기술 업계는 인코더를 넘어 디코더 기반, 즉 거대 언어 모델 자체를 임베딩 모델로 활용하는 방향으로 급격히 전환하고 있습니다.
디코더 기반 임베딩 모델은 생성형 LLM과 동일한 아키텍처를 공유합니다.
이 모델들이 임베딩을 추출하는 방식은 직관적입니다.
텍스트를 입력했을 때 모델의 마지막 레이어에서 나오는 은닉 상태 벡터를 최종 출력으로 사용하는 것입니다.
셀프 어텐션 메커니즘에 의해, 인과적 마스킹이 존재하더라도 텍스트 전체를 거치며 누적된 문맥 정보가 마지막 hidden state에 고스란히 밀집 벡터 형태로 내포되게 됩니다.
이러한 디코더 기반 임베딩 모델은 다음과 같은 강력한 특징을 가집니다.
-
복합 맥락 수용 능력: 하나의 청크 내에 상이한 의미를 가진 문장이 여러 개 내포되어 있더라도, LLM 특유의 풍부한 표현력 덕분에 질의문과의 관련성을 정확하게 찾아냅니다.
정보가 쉽게 희석되지 않는 것입니다. -
선형적 성능 확장성: 디코더는 LLM 그 자체이기 때문에, 기존 인코더 기반 모델처럼 수백 가가바이트 수준의 작은 크기에 머물지 않습니다.
모델의 파라미터 사이즈를 키우면 키울수록, 임베딩의 표현력과 검색 성능 역시 선형적으로 우상향하는 특성을 보입니다.
3. Qwen3-Embedding의 실용화와 인스트럭션 기반 임베딩
이러한 디코더 기반 임베딩 모델의 실용화 포문을 본격적으로 연 것은 앨리바바의 Qwen3 시리즈 중 하나인 'Qwen3-Embedding' 모델의 대중화였습니다.
이 모델은 무려 8B의 파라미터를 가진 초대형 임베딩 모델입니다.
과거 수백만 파라미터 단위의 임베딩 모델과 비교하면 체급 자체가 다릅니다.
특히 최대 40k 토큰의 컨텍스트 윈도우를 지원하기 때문에, 웬만한 길이의 문서는 복잡한 청킹 프로세스 없이 통째로 모델에 입력할 수 있는 수준입니다.
긴 문서 내에 매우 다양하고 파편화된 정보들이 흩어져 있더라도, 사용자의 질의문과 조금이라도 관련성이 있다면 높은 유사도 점수를 도출해 냅니다.
또한, LLM을 기반으로 학습되었기 때문에 시스템 프롬프트를 주는 것처럼 '인스트럭션(Instruction)'을 활용하여 임베딩 결과의 초점을 조율할 수 있다는 독보적인 장점이 있습니다.
- 예시 1:
Instruct: 웹서치용 질의임을 고려하여 임베딩을 평가하라\nQuery: 실제 질의 내용 - 예시 2:
Instruct: 전체 코드에서 일부 로직을 찾는 질의다\nQuery: 코드 내용
사용자가 임베딩을 생성하는 목적 으로는 웹 검색, 코드 검색, 대칭적 문장 비교 등, 지시문으로 명시해 주면, 모델은 그 맥락에 가장 적합한 hidden state 벡터를 형성합니다.
이는 고정된 기준으로만 벡터를 만들던 기존 모델들과는 궤를 달리하는 부분입니다.
4. 27B 초대형 임베딩 모델의 Microsoft Harrier 시리즈
Qwen3-Embedding 모델 이후 지속적인 발전이 이루어졌고, Gemma4 기반의 임베딩 시리즈 등을 거쳐 최근 주목받고 있는 모델이 바로 Microsoft에서 공개한 'Harrier' 시리즈입니다.
그중에서도 27B 임베딩 모델은 기술적으로 매우 흥미로운 구조를 보여줍니다.
Harrier 시리즈는 크게 270M, 0.6B, 27B 세 가지 라인업으로 구성되어 있습니다.
이 중 0.6B 모델은 Qwen3 아키텍처를 사용하며, 나머지 하이엔드 모델들은 Gemma3를 베이스로 삼고 있습니다.
즉, 처음부터 검증된 최고 수준의 LLM 오픈소스 모델을 기반으로 튜닝된 임베딩 모델입니다.
가장 거대한 27B 모델은 Gemma3 27B 모델의 구조를 그대로 이어받았습니다.
Gemma3 27B 아키텍처가 문장을 처리한 후 내뱉는 마지막 은닉 상태 벡터에 L2 정규화를 적용하여 최종 임베딩 벡터를 출력하는 방식으로 설계되었습니다.
보통 이러한 일반 LLM을 임베딩 전용 모델로 길들일 때는 대조 학습 방법론을 사용하여 양질의 데이터셋으로 사후 학습을 진행하게 됩니다.
성능 및 실무 적용 관점
성능 지표를 살펴보면, 글로벌 임베딩 벤치마크인 MTEB 다국어 v2 기준 점수에서 무려 74.3점을 기록하고 있습니다.
이전 세대의 강력한 기준이었던 Qwen3-Embedding 8B 모델이 v1 기준 70.58점이었던 것과 비교하면 유의미한 성능 향상을 이뤄낸 것입니다.
현시점에서 오픈소스로 접근 가능한 가장 강력한 임베딩 모델이라고 평가할 수 있습니다.
다만, 단일 임베딩 모델의 크기가 27B라는 점은 인프라 자원 측면에서 부담이 될 수 있습니다.
임베딩 추출만을 위해 대규모 GPU 자원을 할당해야 하기 때문입니다.
다행히 생태계의 발전으로 인해 GGUF나 AWQ 같은 양질의 양자화 모델들이 이미 배포되어 있는 상태입니다.
양자화 모델을 로컬이나 자체 서버에서 구동하더라도 대략 16기가바이트 이상의 VRAM 여유 공간을 각오해야 하므로, 프로덕션 환경 도입 시 자원 효율성을 면밀히 검토해야 합니다.
RAG 아키텍처의 단순화
과거 Qwen3 8B 모델을 테스트했을 때도 향상된 성능에 깊은 인상을 받았으나, 이번 27B 체급의 모델이 보여주는 임베딩 유사도 결과는 차원이 다른 정밀함을 보여줍니다.
텍스트의 표면적인 단어 일치를 넘어, 내포된 고차원적 맥락과 의미적 연관성을 완벽에 가깝게 포착해 냅니다.
이처럼 임베딩 모델 자체의 성능이 비약적으로 상승함에 따라, 그동안 RAG의 단점을 보완하기 위해 도입되었던 여러 복잡한 아키텍처들—예를 들어 정교한 하이브리드 검, 다단계 리랭킹파이프라인, 청크 크기 최적화 알고리즘 등—의 필요성이 상대적으로 낮아지고 있습니다.
모델 하나가 복잡한 파이프라인의 수고로움을 무의미하게 만들 정도로 강력한 성능을 내기 때문입니다.
RAG 시스템의 복잡도로 인해 고민하고 있다면, 파이프라인을 복잡하게 만드는 대신 이처럼 대형화된 최신 임베딩 모델을 도입하여 베이스라인 검색 품질 자체를 끌어올리는 접근법을 진지하게 고민해 볼 시점입니다.
추후 여유가 된다면 벡터 데이터베이스에서 이 27B 모델을 활용해 실제 복잡한 비정형 문서들을 유사도 검색했을 때, 구체적으로 어떤 경이로운 결과가 도출되는지 상세한 예제와 데이터를 바탕으로 다시 한번 공유하도록 하겠습니다.
