nlp_project4

양자화

효율적인 미세조정과 성능 최적화를 위해 LoRA와 SFT를 사용한다. LoRA(Low Rank Adaptation) 미세 조정 시에 메모리의 효율성을 개선하기 위한 방법이다. 기존 모델의 파라미터는 고정하고, 저차원 업데이트만 학습한다. 특히 LM의 경우, 모든 파라미터를 업데이트하는 것은 메모리와 계산 비용이 크기 때문에 LoRA를 통해 효율적인 미세 ...

QWEN