PromptGen: Automatically Generate Prompts using Generative Models

PromptGen: Automatically Generate Prompts using Generative Models
NAACL 2023

분야 및 배경지식

• Knowledge probing
  • 언어모델이 내재적으로 알고 있는 지식을 유도하는 방법
  • 일반적으로 <주어, 관계>를 포함한 템플릿을 모델에 인풋으로 넣으면, <목적어>에 대한 정보를 모델이 아웃풋으로 제공하는데, 해당 결과의 정확성을 바탕으로 모델이 학습한 지식을 파악할 수 있음

문제점

• 최근 프롬프트를 활용해 거대한 언어모델로부터 적절한 응답을 얻어내는 방법이 많은 관심을 얻고 있으나, 적절한 프롬프를 찾기란 어려움
  • 손으로 작성한 프롬프트
    • 해석가능
    • 많은 노력이 들고 최적이 아닐 수 있음
  • 자동적으로 학습한 프롬프트
    • 일반적으로 태스크에 대한 프롬프트를 찾음
    • 각기 다른 인풋에 대해 최고의 성능을 낸다고 보기 어려움

해결책

PromptGen

• 인풋 문장에 기반하여 자동으로 프롬프트를 생성하는 모델
• end-to-end 학습 가능
• 문맥을 이해하는(context-aware; 여기서는 주어와 관계를 의미) 프롬프트를 생성할 때, 생성된 프롬프트가 목적어에 대한 정보를 포함할 수 있기 때문에 (=label leaking) 주어를 None으로 치환한 perturbed prompt도 활용
  • e.g. <오바마, 태어난 곳>으로 <주어, 관계>가 주어질 때, 생성된 프롬프트가 <하와이>라는 <목적어>를 포함할 수 있기 때문에 주어 자리를 None으로 치환
• loss = loss for prompts + alpha * loss for perturbed prompts

평가

• 태스크
  • LAMA (knowledge probe)

의의

• 생성모델을 기반으로 knowledge probing을 위한 프롬프트를 생성하고자 한 최초의 연구
• 태스크가 아니라 각기 다른 input에 대해 최적의 prompt를 만들고자 함

한계

• label information leaking을 막기 위해 perturbed prompts를 사용해 loss를 추가했다고 하나 이러한 방식이 triviality를 과연 얼마나 경감시켜줄 수 있을지 의문
• prompt 생성 시 recursive하게 진행 -> 연산 비용 증가