짧게 보는 자연어 페이퍼
1.The Power of Scale for Parameter-Efficient Prompt Tuning
프롬프트 튜닝이 꽤 괜찮게 사용될 만한 테크닉이라고 주장한다. SuperGLUE 벤치마크셋에 대해서도 기존 파인튜닝 방법만큼 성능이 나오고(모델이 커질수록 차이가 줄어듦), 제로샷 같은 경우에도 잘하기 때문이다. 기존 학습된 언어모델의 파라미터를 고정하고, 훨씬 적은
2022년 2월 15일
프롬프트 튜닝이 꽤 괜찮게 사용될 만한 테크닉이라고 주장한다. SuperGLUE 벤치마크셋에 대해서도 기존 파인튜닝 방법만큼 성능이 나오고(모델이 커질수록 차이가 줄어듦), 제로샷 같은 경우에도 잘하기 때문이다. 기존 학습된 언어모델의 파라미터를 고정하고, 훨씬 적은