Instruction Induction: From Few Examples to Natural Language Task Descriptions

Instruction Induction: From Few Examples to Natural Language Task Descriptions
arXiv, 2022

분야 및 배경지식

• in-context learning
  • 언어모델이 소수의 input-output demonstration에 기반해 태스크를 수행하는 방식
  • 별도의 추가학습 없이 학습하지 않은 태스크에 대해서도 수행할 수 있음을 보임

문제

• 기존의 in-context learning 연구는 학습하지 않은(held-out) 예시에 대한 태스크를 수행(execute)할 수 있느냐 위주
• 모델이 주어진 예시를 통해 자연어로 태스크를 묘사(describe)할 수 있는지에 대한 연구는 미비

해결책

instruction induction

• 주어진 input-output을 통해 자연어 설명(instruction)을 생성하는 태스크
• 태스크의 demonstration을 두 개의 세트로 분류
  • induce set: 설명(instruction)을 생성하기 위해 사용
  • execute set: 실행 정확성(execution accuracy)을 측정하기 위해 사용

평가

• 평가지표
  • BERTscore: 모델이 생성한 설명(instruction)과 사람이 작성한 gold reference와의 유사성 비교
  • execution accuracy (실행 정확성): 모델이 생성한 설명(instruction)을 활용해 in-context learning을 수행하였을 때 결과의 정확도
• 모델
  • GPT-3
  • InstructGPT
• 24개 태스크: spelling, morphosyntax, lexical semantics, ...

의의

• 모델이 충분히 크고 설명(instruction)을 따르도록 학습될 경우에 실제로 설명을 생성할 수 있는 능력을 지님을 실험을 통해 보임

한계

• 실험을 통해 보인 결과가 충분히 예상가능한 정도 (novelty가 아쉬움)