논문리뷰
1.Understanding and Mitigating Language Confusion in LLMs
목적 Qwen 2.5, EXAONE-3.5, Llama3.1 등 7~8B 모델들의 한국어 성능을 평가하기 위한 목적으로 리뷰하게 되었다. 번역이나 요약 등 몇가지 task를 한국어로 지시하는 경우 중국어, 영어, 특수기호 등이 부적절하게 섞여서 출력되는 현상들이 있어
2025년 1월 4일
2.LLM-Pruner
Pruning 정의 Pruning은 모델의 크기나 복잡성을 줄이기 위해 불필요한 구성 요소를 제거하는 기법으로 Unstructured pruning, Semi-structured pruning, Structured pruning으로 나눌 수 있다. Structured
2024년 11월 6일
3.Structured Pruning
Pruning은 모델의 크기나 복잡성을 줄이기 위해 불필요한 구성 요소를 제거하는 기법.Unstructured pruning, Semi-structured pruning, Structured pruning으로 나눌 수 있다.뉴런, 어텐션 헤드, 레이어와 같은 요소를 특
2024년 11월 13일