Merging
1.Evolutionary Optimization of Model Merging Recipes
Evolutionary Optimization of Model Merging Recipes 정리 및 번역. 모델 병합에 대해서 다루고 있음.
2024년 11월 27일
2.Arcee’s MergeKit: A Toolkit for Merging Large Language Models
이 논문 Arcee’s MergeKit는 대규모 언어 모델(LLM) 병합을 위한 오픈소스 도구인 MergeKit의 설계와 기능을 다루고 있습니다. 정리 및 번역
2024년 11월 27일
3.LLM AUGMENTED LLMS: EXPANDING CAPABILITIES THROUGH COMPOSITION
이 논문은 CALM(Composition to Augment Language Models)이라는 새로운 프레임워크를 통해 대형 언어 모델(LLM)의 능력을 증대시키는 방법을 다룹니다. 정리 및 번역
2024년 11월 27일
4.Model soups: averaging weights of multiple fine-tuned models improves accuracy without increasing inference time
다수의 파인튜닝된 모델 가중치를 평균화하여 모델의 정확도와 강건성을 높이는 방법 제안. 정리 및 번역
2024년 11월 27일
5.Chat Vector: A Simple Approach to Equip LLMs with Instruction Following and Model Alignment in New Languages
이 논문에서는 Chat Vector라는 개념을 소개하여, 기존의 대형 언어 모델(LLM)에 간단한 모델 연산을 통해 다국어 대화 능력과 인간 가치 정렬 기능을 추가하는 방법을 제안합니다.
2024년 11월 28일
6.MergeME: Model Merging Techniques for Homogeneous and Heterogeneous MoEs
동일아키텍처 성능저하 방지, 다른 아키텍처 통합 가능하도록 병합 확장, 병합 후 미세 조정 없이 성능 유지 방법을 해결하는 MoE 병합 기법 제안.
2026년 1월 9일
7.MINGLE: Mixtures of Null-Space Gated Low-Rank Experts for Test-Time Continual Model Merging
Null-Space Constrained Gating.
2026년 1월 9일