Unlearning Literature Review
1.LLM Unlearning - Literature Review 1
What is Unlearning?Unlearning은 특정 training sample의 효과를 모델로부터 제거하는 작업을 의미한다. 이 때, unwanted sample을 제외하여 retraining from scratch하는 경우와 비교하여 unlearning은
2024년 1월 26일
2.Model Sparsity Can Simplify Machine Unlearning(Jia et al.,NeurIPS23)
Model Pruning을 Unlearning에 도입하였을 때 더 효과적이다.Pruned Model을 Unlearn하는 방법, 또는 weight 크기에 대한 l1-norm을 unlearning loss에 추가해 pruning의 효과를 주는 두 가지 방법 제안Fine-t
2024년 3월 9일
3.TOFU: A Task of Fictitious Unlearning for LLMs(Maini et al.,2024,arXiv)
Motivation: LLM은 매우 큰 corpus를 이용해 학습되므로 (pretrained) 그 훈련 데이터셋이 어떻게 Unlearned dataset과 연관이 있는지, unlearning에 영향을 끼치는지 알기 어렵다(entanglement). 따라서 Unlearn
2024년 3월 9일
4.In-Context Unlearning: Language Models as Few shot Unlearners (Pawelczyk et el., 2023)
LLM의 파라미터를 업데이트하여 Unlearning을 수행하고자 하는 접근에는 다음과 같은 한계가 존재한다."ML as a Service"로서 API 형태로 제공되어 모델 파라미터에 accessible하지 않은 black box model에 적용 불가능하다.수 bill
2024년 3월 10일
5.Unlearn What You Want to Forget: Efficient Unlearning for LLMs(Chen&Yang, 2023, ACL)
Unlearn What You Want to Forget: Efficient Unlearning for LLMs, Chen&Yang, 2023📖 Title: Unlearn What You Want to Forget: Efficient Unlearning for LLM
2024년 3월 27일