PEFT(parameter efficient fine-tuning)

PEFT(parameter efficient fine-tuning) : LLM 모델에서 모든 파라미터를 fine-tuning 하지 않고 일부 parameter 만 미세 조정해서 계산 및 저장 비용을 절감할 수 있음

huggingface 에 패키지 형태로 존재

ex) LoRA, prefix-tuning, p-tuning, prompt tuning, adaLoRA 등등

LoRA 논문 정리 https://taeyuplab.tistory.com/12