논문분석
1.[논문분석] Are Emergent Abilities of Large Language Models a Mirage?
Schaeffer, R., Miranda, B., & Koyejo, S. (2024). Are emergent abilities of large language models a mirage?. NeurlPS
2024년 3월 24일
2.[논문분석] Jailbroken: How Does LLM Safety Training Fail?
'Jailbraek'가 왜 성공하는지, 어떻게 만들어질 수 있는지
2024년 3월 30일
3.[논문분석] Toolformer: Language Models Can Teach Themselves to Use Tools
Toolformer model
2024년 4월 7일
4.[논문분석] QLoRA: Efficient Finetuning of Quantized LLMs
1. Introduction LLM finetuning - 원하는 동작은 넣거나 빼는 효과적인 방법 but, 큰 모델일수록 finetuning에 대한 비용이 비싸다. 최근의 quantization 방법들은 LLM의 memory footprint를 줄일 수 있지만 이 방법들은 training 도중에만 가능하다. QLoRA: uses a novel high-p...
2024년 5월 4일
5.[논문 분석] Scaling Data-Constrained Language Models
1. Introduction 훈련 데이터의 한계가 모델 확장에 어떤 영향을 미칠 수 있는가 모델 규모와 데이터 확장의 동향: 현재 언어 모델을 확장하는 추세는 모델의 매개변수 수와 훈련 데이터셋 크기를 동시에 증가시키는 방향으로 진행되고 있음. 이런 추세가 계속될 경우, 인터넷에 존재하는 텍스트 데이터의 양이 곧 한계에 도달할 수 있음 (What shoul...
2024년 5월 12일