[논문 리뷰]KMMLU: Measuring Massive Multitask Language Understanding in Korean

서론

선행 연구

• MMLU(Massive Multitask Language Understanding)와 같은 영어 밴치마크들을 번역하여 다국어 능력을 평가하는 방식으로 다국어 평가를 진행하였다. 영어 기반의 밴치마크이기 때문에, 미국 법체계나 영어권 문화에 대한 지식을 기반으로 하고 있다. 따라서 다른 언어와 문화권에 적용하기에는 적합하지 않았다.
• 한국어의 경우에는 KLUE(Korean Language Understanding Evaluation)와 같은 벤치마크가 있었다. 한국어 밴치마크들은 기계 번역을 통하여 생성되었기 때문에 단어가 부자연스럽고, 오타가 존재하고, 문법적인 오류들이 발생하였다.

선행 연구의 한계 해결 방법

• KMMLU라는 밴치마크를 개발하여서 선행 연구의 한계를 극복하고자 하였다.
  - 모든 질문은 번역 없이 한국어 시험에서 직접 추출한다.
  • 질문들을 한국 문화와 사회적 맥락에 맞게 현지화하였다.
  • 생물학, 화학, 형법, 세금, 전기 공학, 항공 공학 등 다양한 분야를 포괄하는 광범위한 지식 밴치마크다.

제안한 방법

• 45개의 주제가 있으며, 35,030개의 객관식 문항으로 구성되어 있다.
• 주제 영역은 HUMSS(인문학 및 사회과학), STEM(과학, 기술, 공학, 수학), 응용과학 및 기타 전문 지식 분야로 분류되어 있다.
• 데이터셋은 훈련 세트(208,522문항), few-shot 개발 세트(주제별로 5문항), 테스트 세트(35,050문항)으로 구성되어 있다.
• 테스트 세트는 각 주제별로 최소 100개 이상의 가장 어려운 문항들로 구성되어 있다.
• 추가적으로, KMMLU-HARD라는 더 어려운 문항 4,104개로 구성된 하위 세트도 제공하였다.

선행 연구의 한계 해결 방법

• 믿을만한 한국어 문항을 제공하였다.
  - 기계 번역에 의존하지 않았다. - 공부원 시험(PAST), 한국 자격증 시험, 대학수학능력시험(CSAT)등 533개의 다양한 한국어 시험에서 직접 문항을 수집하였다.
  - 자동 크롤링으로 371,002개의 문항을 수집한 후, 휴리스틱 필터와 중복 제거를 통하여 243,777개로 줄이고, 저작권 문제가 있는 문항 147개를 대체하였다.
• 한국의 문화적 특수성을 반영하였다.
• CoT 예제를 제공하였다.
  - 각 주제별로 5개의 CoT 예제를 제작해서 모델의 추론 능력을 평가할 수 있도록 하였다.
• 실제 시험 응시자들의 정확도 데이터를 수집하여서 인간과 LLM의 성능을 비교할 수 있는 기준을 제공하였다.

실험

실험 모델

• 다양한 LLM들을 비교 평가하는 형태로 실험을 수행하였다. 27개 모델을 5개의 범주로 분류하고 평가를 수행하였다.

• Multilingual Pretrained Models

  • LLAMA-2 (7B, 13B, 70B), QWEN(7B, 14B, 72B), Yi (6B, 34B)

• Multilingual Chat Models

  • Chat versions of LLAMA-2, QWEN, YI

• Korean Pretrained Models

  • POLYGLOT-KO (1.3B, 3.8B, 5.8B, 12.8B)

• Korean Continual Pretrained Models

  • LLAMA-2-KO(7B), YIKO (6B, 34B)

• Proprietary Models

  • GPT-3.5/4, GEMINI PRO, HYPERCLOVA X Yoo

• 또한, 인간이 수행한 평가의 결과와 비교하는 과정도 포함되어 있다.

평가 지표

• accuaracy
• direct: 모델이 가장 그럴듯한 옵션을 직접 생성하도록 하는 방식이다.
• CoT: 모델이 최종 답변 전에 추론 과정을 생성하고, 그것을 평가하는 방식이다.

결과

• 기존의 MMLU보다 한국의 문화에 더 특화된 데이터셋을 만드는 것을 성공했다는 것을 알 수 있다.
• KMMLU-HARD와 관련해서 믿을만한지 알 수 없을 것 같다. ‘똑똑하다’고 판단된 모델들 중 한 모델이라도 틀린 문제를 KMMLU-HARD로 만들었는데, 단순 오류로 인한 것인지 정말 틀릴만해서 틀린 것인지에 관한 분석이 부족한 것 같다.