[논문 리뷰] DETERMINE-THEN-ENSEMBLE: NECESSITY OF TOP-K UNION FOR LARGE LANGUAGE MODEL ENSEMBLING

gyoon·2025년 8월 29일

NLP

목록 보기
9/12

👉 논문 링크 : DETERMINE-THEN-ENSEMBLE: NECESSITY OF TOP-K UNION FOR LARGE LANGUAGE MODEL ENSEMBLING

🔹Abstract

대규모 언어 모델(LLMs)은 다양한 과제에서 서로 다른 강점과 약점을 보이며, 최근 연구에서는 이들의 상호 보완적 장점을 활용하기 위해 앙상블 기법을 탐구하고 있다.

  • 기존 LLM 앙상블 방법
    • 종종모델 간의 호환성을 간과
    • 전체 어휘에 걸친 비효율적인 확률 정렬 문제를 겪는다.

본 연구에서는 앙상블 성능에 영향을 미치는 요인을 실증적으로 조사하여, 모델 성능, 어휘 크기, 응답 스타일이 핵심 결정 요소임을 밝히고, 효과적인 앙상블을 위해서는 모델 간 호환성이 필수적임을 보여준다. 이러한 분석을 바탕으로, 호환 가능한 모델을 식별하는 간단하면서도 효과적인 모델 선택 전략을 제안한다. 또한 저자는 UNIon Top-k Ensembling(UNITE)라는 새로운 접근법을 소개한다.

이는 각 모델에서 상위 k개의 토큰의 합집합에 집중하여 모델을 효율적으로 결합합으로써 전체 어휘 정렬의 필요성을 제거하고 계산 비용을 줄인다. 다양한 벤치마크에 걸친 광범위한 평가를 통해, UNITE는 기존 방법에 비해 성능을 크게 향상시키며, LLM 앙상블을 위한 보다 효율적인 프레임 워크를 제공함을 입증하였다.


🔹Introduction

대규모 언어 모델(LLMs)은 다양한 작업에서 놀라운 성능을 보여주었으며, 실제 응용에서도 유망한 결과를 입증하였다.
데이터 출처, 모델 아키텍처, 학습 당법의 다양성으로 인해, LLM들은 과제에 따라 서로 다른 강점과 약점을 드러낸다.

따라서 단일 LLM을 처음부터 학습시키는 것만을 의존하기보다는, 여러 LLM을 앙상블하여 활용하는 접근이 주목받고 있다. 이러한 방식은 서로 다른 LLM들의 상호 보완적 장점을 활용할 수 있도록 한다.

기존의 모델 앙상블 방법은 크게 세 가지로 나눌 수 있다.

  1. 출력 수준(output-level) : 여러 후보 모델의 전체 출력을 집계한다.
  2. 확률 수준(probability-level) : 각 생성 단계에서 어휘의 교집합 또는 합집합을 기반으로 확률 분포를 통합한다.
  3. 학습 수준(training-level) : 출력 확률 벡터를 라벨로 활용하여 더 풍부한 정보 추출

출력 수준 방법은 기존 출력의 한계에 제약을 받고, 학습 수준 방법은 추가적인 계산 비용을 수반하기 때문에 확률 수준 방법이 많은 주목을 받았다.

자세한 내용은 밑에서 알아보도록 하자.


하지만 DEEPEN이나 GAC와 같은 기존 LLM 앙상블 기법은 두 가지 중요한 문제에 직면한다.

  1. 이 접근법은 어떤 종류의 모델을 효과적으로 결함할 수 있는지에 대한 논의를 회피하고, 단순히 앙상블 기법 자체에만 집중한다.
    → 아키텍처, 크기, 토크나이저가 크게 다른 LLM들은 본질적으로 호환되지 않을 수 있으며, 이는 앙상블의 이점을 약화시킨다.
  1. 기존 방법들은 각 생성 단계에서 전체 어휘에 대해 확률을 정렬하려는 경향이 있다.
    → 이는 추론 과정에서 막대한 계산 비용을 초래하여 성능과 효율성을 저해한다.

이러한 문제를 해결하기 위해, 저자는 앙상블 성능에 실제로 영향을 미치는 요인을 면밀히 조사하였다.
실증적 분석을 통해 세 가지 요인인 모델 성능, 어휘 크기, 응답 과정이 핵심임을 확인하였다.

  1. 기본 LLM들의 성능 차이는 앙상블 호환성에 큰 영향을 미친다.
  2. 어휘 크기의 영향은 미미하다.
  3. 성능과 어휘 크기가 유사하더라도, 응답 과정에서의 추론 절차가 크게 다르면 앙상블 성공을 방해할 수 있다.

→ determine-then-ensemble 전략 채택
즉, 대상 과제에서 가장 성능이 좋은 LLM을 시작점으로 삼고, 앙상블 기준을 충족하는 차선의 LLM들을 순차적으로 선택하여, 최대 모델 수에 도달하거나 더 이상 적합한 후보가 없을 때까지 앙상블을 확장한다.


또한 앙상블의 효율성과 성능을 개선하고자, 저자는 전체 어휘 정렬 대신 Union Top-k Ensembling(UNITE)을 제안한다.

  • UNITE
    • 각 모델의 상위 k개 토큰의 합집합을 구성하고, 이를 각 모델의 토크나이저를 활용해 확장한 뒤, 확률 집계를 통해 다음 토큰을 결정한다.
    • 이 방식은 보조 매핑 행렬이나 전체 어휘 정렬이 필요 없으며, 각 기본 LLM의 고유한 토크나이징 방식을 존중한다.
    • UNITE는 다양한 과제에서 기존 최신 앙상블 기법을 꾸준히 능가한다.

종합적으로, 본 연구의 주요 기여는 다음과 같다.

  1. 기존 모델 앙상블 접근법을 폭넓게 분석하고, 세 가지 중요한 통찰을 도출한 뒤, 이를 바탕으로 일반적인 모델 선택 전략을 제안하였다.
  2. 전체 어휘가 아닌 상위 k개 후보 토큰만을 효율적으로 활용하는 앙상블 방법을 제시하였다.
  3. 실험을 통해 유의미한 성능 향상, 기존 방법 대비 0.04% 미만의 연산 토큰 사용, 개별 모델 대비 10ms 이내의 지연 증가라는 결과를 달성하여, 제안한 방법의 효과성을 검증하였다.

🔹Related Works

추론(inference)과 융합(fusion) 과정의 순서에 따라, 다중 모델 협력 방법은 크게 모델 앙상블과 모델 병합 두 가지로 분류할 수 있다.

  • 모델 앙상블(model ensembling) → 추론 후 융합(inference-then-fusion) 접근법
    다양한 모델의 출력을 통합하여 더 정제된 응답을 도출하는 것을 목표로 한다.
  • 모델 병합(model merging) → 융합 후 추론(fusion-then-inference) 접근법
    여러 모델을 추론 전에 하나의 모델로 결합한다. 모델 병합은 일반적으로 동질적 모델에만 적용 가능하다.

🔻Output-Level Model Ensembling

출력 수준 방법은 여러 후보 모델을 선택하고, 이들의 완전한 출력 결과를 활용하여 집게하는 방식이다.

  • PAIRRANKER
    • 추가적인 랭킹 모델을 개발하여 가장 우수한 후보 출력을 평가, 선정하였다.
  • Router
    • 주어진 질문에 가장 적합한 후보 모델을 결정하는 모델

⚠️ 문제

  • 기존 출력에 한정되며, 모든 후보가 잘못된 경우에는 효과적이지 못하다.
  • 이를 보완하기 위해, 일부 연구는 출력을 결합하는 융합 모델을 학습하여 단순히 이용 가능한 후보에만 의존하는 한계를 완화하고 성능을 개선하였다.

→ 융합 모델의 일반화를 달성하는 것은 여전히 중요한 과제로 남아 있으며, 각 단계에서 생성되는 확률 정보를 충분히 활용하지 못할 수 있다.


🔻Probability-Level Model Ensembling

각 생성 단계에서 확률 분포를 활용하여 여러 모델의 출력을 통합하는 방식이다.

  • COOL_FUSION
    • 각 소스 LLM이 공통 단어 경계(common word boundary)에 도달할 때까지 토큰을 생성하게 하고, 이후 구간을 공동으로 재순위화 한다.
    • 이 방법은 공통 단어 경계에 의존하므로, 생성의 유연성과 다양성이 제한된다.
    • 다수의 소스 모델을 관리해야 하므로 복잡성이 증가할 수 있다.
  • DEEPEN
    • 상대 표현 이론에 기반하여, 각 모델의 확률 분포를 개별 공간에서 공통 상대 공간으로 변환한 뒤, 모델 어휘의 교집합을 통해 이를 집계한다.
  • GAC
    • 여러 LLM의 확률 벡터를 합집합 어휘 차원 공간으로 매핑하는 매핑 행렬을 구성하고, 이를 통해 출력들을 집계하여 각 단계에서 다음 토큰을 선택한다.

⚠️ 문제
매 단계마다 전체 어휘를 대상으로 연산한다는 점을 주목해야 하며, 이로 인해 상당한 계산 비용이 발생한다.

→ 본 연구에서는 추가 학습 과정 없이, 확률 수준 모델 앙상블에 초점을 맞춘다.


🔻Training-Level Model Ensembling

  • FUSELLM
    • 다양한 모델의 출력 확률 벡터를 학습 과정에서 활용하여, 이를 원-핫 표현 대신 라벨로 사용한다.
    • 이는 독특한 지식 증류 형태로, 훈련된 모델이 teacher 모델 앙상블의 확률 출력으로부터 더 풍부한 정보를 추출할 수 있도록 한다.
  • FUSECHAT
    • FUSELLM 프레임워크의 확장
    • 다양한 아키텍처와 규모를 가진 여러 대화형 LLM들을 융합
    • 증류는 주로 소규모 모델 성능 향상에 초점을 맞추기 때문에, 대규모 모델을 더 발전시키는 데에는 한계가 있다.
  • EVA
    • 서로 다른 어휘 간의 불일치를 해결하기 위해 토큰 정렬을 학습하는 방식을 제안했다.
    • 중첩되는 토큰을 활용하여 어휘 정렬을 지원한다.
    • 어휘 정렬은 출력 임베딩 정렬과 가중치 정렬을 모두 포함해야 하는 반면, EVA는 출력 임베딩의 매핑 행렬을 풀어내는 방식으로만 정렬을 수행한다는 한계를 가진다.

🔹Understanding Model Ensembling From Model Capacity, Vocabulary size and Task

기존의 모델 앙상블 접근법은 앙상블 방법 설계에만 초점을 맞추며, 앙상블에 사용할 기본 모델 선택에 대한 논의는 제한적이었다. 그러나 선행 연구는 모델 크기, 어휘, 성능 차이가 클 경우 모든 모델 쌍이 결합 가능한 것은 아님을 시사한다.

예비 실험에서 저자는 모델 앙상블 성능에 영항을 미칠 수 있는 다양한 요인을 탐색하였다.

  • 모델 크기(예: 3B/7B/8B/13B/70B)
  • 모델 아키텍처(Dense/Sparse)
  • 성능 격차
  • 토크나이징 전략(BPE/WordPiece)
  • 어휘 크기(102k/64k/32k)
  • 과제 유형(예: 텍스트 생성/QA/객관식 문제)

→ 최종적으로 저자는 성능 격차, 어휘 크기, 과제 변동성이라는 세 가지 대표 요인을 추가 분석 대상으로 선정하였다.


🔻Impact of Model Performance Discrepancy

모델 성능 격차가 앙상블에 미치는 영향을 조사하기 위해, 저자는 다양한 과제에서 성능 차이가 큰 LLaMA2-13B-Chat과 Mistral-7B-Instruct-v0.3을 기본 모델로 선택하였다.
그리고 GSM8K, PIQA, NQ 데이터셋에서 세 가지 비교 방법을 평가하였다.

  • 모델 간 성능 격차가 클 경우, 후보 모델 중 최적의 응답을 선택하는 LLM-BLENDER는 앙상블에 적합하지 않음을 발견하였다.
  • 토큰 확률 평균화를 통해 이루어지는 DEEPEN과 GAC 역시 성능 격차가 클수록 성능 저하가 나타났다.
    → 낮은 성능의 모델이 noise와 bias를 유발하여 전체적인 효과성을 저해한다.
  • DEEPEN과 GAC는 성능이 낮은 모델이 성능이 높은 모델과 결합될 때, 후자의 성능을 능가하지는 못하더라도 성능이 낮은 모델을 개선하는 데 일관된 효과를 보였다.
    → 학습 과정이 필요 없는 지식 증류(knowledge distillation)의 대안적 형태로도 기능할 수 있다.

  • 성능 격차가 커질수록, 성능이 낮은 모델의 앙상블 성능 향상은 더 두드러지게 나타났다.
  • 반대로, 성능이 우수한 모델에서는 앙상블 효과가 항상 단일 모델 기준 성능보다 낮았다.
  • 성능 차이가 10% 이내인 경우에는 앙상블이 더 나은 결과를 가져올 수 있음을 확인하였다.
  • LLaMA3와 Qwen2와 같이 어휘 크기가 120k 이상인 모델들의 경우, DEEPEN처럼 고차원 행렬 연산에 의존하는 접근법은 심각한 메모리 제약에 직면하여 효과성이 감소하는 것으로 나타났다.

TAKEAWAY I: Smaller performance gaps lead to greater gains from model ensembling.
→ 모델 간 성능 격차가 작을수록 앙상블로부터 더 큰 이득을 얻을 수 있다.


🔻INFLUENCE OF VOCABULARY SIZE

Yu et al.(2024b)는 BPE, BBPE와 같은 서로 다른 토크나이징 방법을 사용하는 대규모 모델들이 Oxford 5000 일반 단어를 토크나이징할 때 90% 이상의 겹침을 보인다고 보고했다.
→ 이는 토크나이징 방법이 모델 앙상블에 미치는 영향이 미미함을 의미하며, 저자는 어휘 크기의 효과에 주목하였다.

  • 기존 방법들은 어휘 크기 차이에 관계없이 일관된 성능을 보였다.
    → 어휘 크기가 모델 앙상블의 효과에 크게 영향을 주지 않음을 시사한다.
  • 원인을 규명하기 위해, 저자는 다양한 LLM이 생성한 100개의 응답을 수작업으로 분석하였다.
    → 응답 내 단어의 약 80%가 공통 단어였으며, 이러한 공통 단어들의 토크나이징은 LLM 간에 뚜렷한 차이를 보이지 않았다. 따라서 어휘 크기와 토크나이징 전략은 앙상블 성능에 거의 영향을 미치지 않는다는 것을 알 수 있다.
  • 어휘 크기에 큰 차이가 있음에도 불구하고, 성능이 유사한 모델을 앙상블 했을 때의 결과가 단일 모델 기준선보다 우수한 경우가 있다.
    → 기본 모델 간 성능 격차가 10% 이내일 경우 앙상블이 더 나은 성과를 낼 수 있다.
  • 성능이 유사한 모델들을 앙상블했을 때 오히려 열등한 모델이 우월한 모델을 능가하는 결과가 나타났다.
    → 성능 차이가 미미한 경우, 반드시 성능이 가장 좋은 모델을 우선적으로 선택하지 않아도 된다는 가능성을 시사한다.
  • 어휘 및 토크나이징 관련 발견은 LLM-BLENDER< DEEPEN, 그리고 본 연구의 방법 모두에 일관되게 적용되지만, GAC에는 적용되지 않는다.

TAKEAWAY II: The influence of vocabulary size for model ensembling is marginal.
→ 모델 앙상블에서 어휘 크기의 영향은 미미하다.


🔻TASK-SPECIFIC CHALLENGES IN MODEL ENSEMBLING

성능과 어휘 크기가 일치하는 모델들 사이에서도, 특정 과제에서는 응답 스타일의 차이로 인해 앙상블이 실패할 수 있다.
(예를 들어, LLaMA3-8B와 Qwen2-7B는 여러 과제에서 유사한 성능을 보인다. 기존 앙상블 기법인 LLM-BLENDER는 이 두 모델을 기반으로 했을 때 GSM8K, PIQA 과제에서는 성능을 개선하였다. 그러나 TriviaQA와 NQ 데이터셋에서는 응답 스타일 차이로 인해 앙상블이 비효율적임이 드러났다.)

  • 동일한 프롬프트 조건에서 LLaMA3는 직접 정답을 반환하는 경향이 있는 반면, Qwen2는 분석 과정을 수행하는 경향이 있다.
  • 투표 기반 LLM-BLENDER에서 응답 길이는 판단에 큰 영향을 미치는데, PAIRRANKER는 일관되게 더 긴 응답을 선호하였다.
    → 실제로, NQ와 TriviaQA에서 무작위로 선택된 100개 응답을 분석한 결과, PAIRRANKER는 각각 약 80%, 70%의 사례에서 더 긴 응답을 정답으로 선택하였다. 이는 학습 데이터 특성에서 기인할 가능성이 있다.
  • 확률 기반 앙상블 기법(DEEPEN, GAC) 역시 추론 과정의 차이에 영향을 받아, 어휘 확률 분포에서 상당한 편차가 발생하였다.

  • Fig. 3은 LLaMA3와 Qwen2가 처음 두 개 토큰에 대해 상위 토큰 분포가 크게 다름을 보여준다.
  • 단순히 확률을 평균 내는 방식은 분포를 과도하게 평탄화(smoothing)하여 부적절한 결과를 초래할 수 있다.
    → 모델 학습 데이터의 차이에서 비롯된 것으로 보인다.
  • 대부분의 과제에서 앙상블이 효과적일지라도, 특정 과제에서는 큰 응답 스타일 차이를 피하는 신중함이 필요하다.

TAKEAWAY III: Even though the performance and vocabulary size are aligned across models,
substantial differences in response style could also hinder successful ensembling.
→ 모델 간 성능과 어휘 크기가 동일하더라도, 응답 스타일의 차이가 앙상블 성능을 저해할 수 있다.


🔹Methodology

🔻 Model Selection Strategy

앞서 도출한 통찰을 바탕으로, 저자는 두 모델의 앙상블 호환성을 평가하고, 후보 모델 풀에서 base model을 선택하는 전략을 제시한다.

두 모델을 앙상블할 때,

  1. 먼저 대상 과제에서의 성능을 비교한다.
    → 성능 격차가 10% 이내라면 성공적인 앙상블 가능성이 있다고 볼 수 있다.
  2. 성능 격차가 이 범위 내에 있을 경우, 다음 단계로는 모델의 응답 스타일을 비교한다.
    → 비교는 상대적으로 주관적이며, 주로 텍스트 길이나 BLEU 점수와 같은 피상적 특징으로 차이를 식별할 수 있다.
    본 연구에서는 텍스트 길이를 기준 지표로 사용한다.
    : 응답이 더 긴 모델의 출력 길이가 짧은 응답의 2배를 넘지 않도록 제한한다. 또한, 응답 방식이 두 모델 간 일관된다면 어휘 크기의 불일치는 앞선 분석에서 앙상블 결과에 영향이 미미하다고 밝혀졌으므로 고려 대상에서 제외한다.

기본 모델을 선택하는 절차는 다음과 같다.

  • 대상 과제에서 가장 성능이 좋은 모델을 우선 선택한다.
  • 이후, 첫 번째 모델과 성공적인 앙상블 조건을 충족하는 차선 성능 모델을 선택한다.
  • 이 과정을 반복하여, 기본 모델의 최대 수에 도달하거나 더 이상 적합한 모델이 없을 때까지 계속한다.

🔻 Model Selection Strategy

앞서 제안한 모델 선택 전략 외에도, 저자는 모델 앙상블의 효율성과 성능 향상을 동시에 달성하고자 한다. 기존의 확률 수준 모델 앙상블 기법들(ex. DEEPEN, GAC)은 전체 어휘에 대한 정렬을 수행하여 모델들을 결합한다.

그러나 저자는 이러한 방식이 최적이 아니라고 주장한다.
실제로 다음 토큰 후보는 대체로 상위 k개의 토큰 집합(top-k tokens) 안에 존재하기 때문이다.


🎯 UNITE

각 디코딩 단계에서 상위 k개 토큰만 정렬하는 새로운 효율적 앙상블 기법

기본 모델들을 LLMiLLM_i라 하고, 각 모델의 토크나이저를 TiT_i, 어휘를 ViV_i라고 하자. 입력 텍스트 프롬프트를 LLMiLLM_i에 입력하면 해당 확률 분포를 얻을 수 있다.
→ 기존 방식과 달리, 저자는 전체 확률 분포를 정렬하지 않고, 후보 토큰이 포함될 가능성이 높은 상위 k개 토큰 부분집합에만 집중한다.


선택된 상위 k개 토큰 집합은 다음과 같이 정의된다

TopKi=(t1i,t2i,...,tki),Pi=(p1i,p2i,...,pki)TopK_i = (t_1^i, t_2^i, ... , t_k^i), P_i = (p_1^i, p_2^i, ...,p_k^i)

이제 목표는 각 기본 모델의 TopKiTopK_i로부터 합집합 어휘 VuV^u를 구성하는 것이다.

가장 단순한 방법은 중복 토큰을 제거하고 나머지 고유 토큰들을 유지하는 것이다. ∗∗Vu**V^u에는 포함되지만 ViV_i에는 없는 토큰의 경우, 해당 모델에서의 확률값은 0으로 설정**된다. 이는 GAC에서 채택한 전략이다.

그러나 저자는 이 방식이 토크나이저와 어휘 구조에 지나치게 의존한다는 점에서 합리적이지 않다고 본다.

(예를 들어, "James"라는 토큰이 LLM1LLM_1의 TopKTopK에 포함되어 있지만, V2V_2에는 존재하지 않고, "Jam"이 TopK2TopK_2에 포함된 경우를 생각해 보자. "James"는 LLM2LLM_2에서 "Jam" + "es"로 토크나이징될 수 있다. 만약 pJam1p_{Jam}^1과 pJames2p_{James}^2가 0으로 처리된다면, 두 모델이 모두 "James"라는 단어를 선호하더라도 결과적으로 "James"가 생성될 확률은 본질적으로 감소하게 된다.)


저자는 합집합 VuV^u에 대해 새로운 토큰 확률 정렬 전략을 제안한다.

  1. 각 TopKiTopK_i를 직접 병합하여 VuV^u를 구성한다.
  2. 토큰 분포 PiP_i와 집합 TopKiTopK_i는 아래 규칙에 따라 갱신된다.
  • 규칙 1: 토큰 ww가 VuV^u와 TopKiTopK_i 모두에 존재한다면, ww를 TopKiTopK_i에 추가하고 PiP_i도 이에 맞게 갱신한다.
  • 규칙 2: 토큰 ww가 VuV^u에 있지만 TopKiTopK_i에는 없고, ViV_i에는 존재한다면, ww를 TopKiTopK_i에 추가하고 PiP_i도 이에 맞게 갱신한다.
  • 규칙 3: 토큰 ww가 VuV^u에도 없다면, TiT_i로 ww를 토크나이징한다. 그 결과 중 첫 번째 토큰과 해당 확률을 TopKiTopK_i와 PiP_i에 갱신한다.

이 과정을 거치면, 정렬된 상위 토큰 집합 TopK^i\hat{TopK}_i와 토큰 분포 Pi^\hat{P_i}를 얻게 된다.

이후 이를 정규화하면 다음과 같다.

Pi^norm=softmax(Pi^)\hat{P_i}^{norm} = softmax(\hat{P_i})

저자의 방법은 전체 어휘 정렬이 필요하지 않으므로, 반드시 하나의 모델의 base 모델로 지정해야 한다. 본 연구에서는 가장 성능이 좋은 모델을 주 모델로 채택한다. 이후, 주 모델을 평균 확률 분포를 사용하여 다음 토큰을 예측한다.

P^avg=1n∑i=1nPi^norm\hat{P}_{avg} = \frac{1}{n} \sum_{i=1}^n \hat{P_i}^{norm}

다음 토큰은 greedy strategy를 통해 결정되며, 선택된 토큰은 입력 텍스트에 추가된다. 이 과정은 문장 종료 토큰(eos) 생성 또는 최대 길이 도달과 같은 사전 정의된 정지 조건에 도달할 때까지 반복된다.

tnext=arg⁡max⁡wP^avg(w)t_{next} = \arg\max_w \hat{P}_{avg}(w)

🔹Experiments


🔻Setup

Model

본 연구의 모든 실험은 다음과 같은 일반적으로 사용되는 모델들을 대상으로 수행하였다.

  • LLaMA2-7B-Chat
  • LLaMA2-13B-Chat
  • LLaMA3-8B-Instruct
  • LLaMA3.1-8B-Instruct
  • Mistral-7B-Instruct-v0.3
  • DeepSeek-LLM-7B-Chat
  • Yi-6B
  • OpenChat-3.5
  • Qwen2-7B-Instruct
  • Mixtral-8×7B
  • Qwen1.5-72B

Baaselines

저자는 비교 분석을 위해 대표적인 앙상블 기법 3가지를 선정하였다.
1. LLM-BLENDER
2. DEEPEN
3. GAC

Benchmarks

6개의 벤치마크를 사용하였으며, 세 가지 그룹으로 나눌 수 있다.
1. 종합적 평가: MMLU( (5-shot) - 인간이 학습하는 57개 과목 포함, ARC-C, 표준 자연과학 시험 문제 기반
2. 추론 능력 평가: GSM8K (4-shot) - 초등학교 수준의 수학 문제 데이터셋, PIQA, 상식 추론 데이터셋
3. 지식 능력 평가: TriviaQA (5-shot) - 퀴즈 애호가들이 제작, NaturalQuestions (NQ), 구글 검색 질의 기반 QA 데이터셋


🔻Main Results

  • UNITE는 성능이 유사한 모델을 앙상블할 때 성능을 향상시킨다.
    OpenChat과 같은 모델들의 앙상블은 ARC-C, MMLU를 포함한 5개 벤치마크에서 평균 약 1.2% 향상을 보였다. 그러나 GSM8K 과제에서 DeepSeek과 OpenChat 사이의 15% 성능 격차는 전체 성능의 소폭 저하로 이어졌으며, 이는 모델 성능이 유사할 때 앙상블 효과가 극대화됨을 다시 확인시켜준다.
  • UNITE는 더 높은 강건성(robustness)과 일반성(generality)을 보인다.
    LLaMA3와 Qwen2의 앙상블 결과, LLM-BLENDER는 GSM8K 성능을 향상시켰으나 PIQA, ARC-C, MMLU에서는 기준 모델보다 현저히 저조하였다. 구체적으로 BLENDER는 MMLU에서 2.89% 성능 저하를 보였으며, OpenChat과 Mistral 같은 성능이 낮은 모델과의 앙상블에서는 평균 3.32% 하락을 기록했다.
    또한 GAC는 대부분의 과제에서 성능 향상을 보이지 못했고, Mistral과 OpenChat 조합에서는 10% 이상의 성능 하락이 나타났다. DEEPEN 역시 LLaMA3처럼 어휘 크기가 큰 모델과는 교집합 기반 한계로 인해 적합하지 않았다.
    반면, 성능이 유사한 모델들의 앙상블에서는 UNITE가 전반적으로 가장 높은 성능 향상을 달성했으며, TriviaQA에서만 DEEPEN보다 약간 낮을 뿐 모든 과제에서 우수함을 입증했다.
  • 성능이 유사한 LLM들을 단순히 더 많이 결합한다고 해서 항상 더 좋은 결과가 나오지는 않는다.
    LLaMA3.1을 추가해 세 모델을 앙상블했을 때 GSM8K와 ARC-C에서는 LLaMA3 + Qwen2 조합보다 성능이 향상되었으나, PIQA와 MMLU에서는 오히려 성능 저하가 발생했다. 이는 유사 성능 모델의 결합이 전체 효율을 높일 수는 있으나 그 효과가 항상 보장되는 것은 아님을 보여준다.

🔻Ablation Study

  • 하이퍼파라미터 k 선택의 효과

    k를 5에서 10으로 늘릴 때 앙상블 성능은 향상되었다. 그러나 k를 10 이상으로 더 증가시키면 성능은 소폭 감소하거나 변화가 거의 없었다. 이는 확률 수준 앙상블에서 전체 어휘 정렬이 필요하지 않다는 저자의 주장을 지지한다.

  • 다음 토큰 선택 전략의 효과
    deterministic decoding과 top-k 샘플링이 다음 토큰 생성에 미치는 영향을 탐구하였다.
    UNITE는 본질적으로 다음 토큰 예측 시 전체 어휘가 아닌 일부 토큰 부분집합만 앙상블하면 충분하다는 점에 초점을 둔다.


🔹Conclusion

이번 연구에서는 LLM 앙상블(Ensembling)의 효과를 체계적으로 분석했다.

  • 핵심 요인: 모델 성능과 응답 과정이 앙상블 성공에 중요한 영향을 미치며, 어휘 크기는 거의 영향을 주지 않는다.
  • 한계 극복: 기존 방법의 어휘 정렬 문제를 지적하고, 상위 k개 토큰만 효율적으로 집계하는 UNITE를 제안한다.
  • 실험 결과: 다양한 벤치마크에서 UNITE가 최신 앙상블 기법들을 능가하며, 다양한 LLM의 강점을 효과적으로 활용함을 입증한다.

본 연구는 LLM 앙상블 이해를 확장할 뿐만 아니라, 실제 적용 가능한 모델 선택 및 통합 프레임워크를 제시한다는 점에서 의미가 있다.


👀 My thoughts

  • 이 논문을 읽으면서 LLM 앙상블에 대해서 자세히 처음 공부해보게 되었는데, LLM 앙상블의 호환성과 응답 방식의 일관성에 크게 좌우된다는 점이 특히 인상적이었다. 나중에 프로젝트의 기회가 된다면 LLM 앙상블을 활용해보고 싶다는 생각이 들었다.
  • 여러 LLM 모델을 협력적으로 묶어 더 나은 결과를 도출한다는 개념이 신기하였고, 특히 성능 격차가 크면 오히려 역효과가 발생한다는 것이 신기하였다.
profile
gyoon
이전 포스트

[논문 리뷰]REACT: SYNERGIZING REASONING AND ACTING IN LANGUAGE MODELS

다음 포스트

[논문 리뷰]Large Language Models Cannot Self-Correcting Reasoning Yet

0개의 댓글