TempLM: Distilling Language Models into Template-Based Generators

jihyelee·2023년 5월 23일

사전학습 언어모델(PLM)은 유창하지만 신뢰성이 떨어지거나 부적절한 내용을 생성하기도 함
- 특히 학습 때 보지 않은 OOD(out-of-domain) 인풋에 대해서 오류의 경향성이 커짐
고전적인 템플릿 기반의 시스템은 유창성은 떨어지지만 신뢰도가 높은 내용을 생성하곤 함

TempLM: Template-Based Generators

인풋 데이터는 field와 value로 구성
- e.g. input = {name: [Aromi, aromi], article: [a, an]}
- name, article이 field, Aromi, aromi, a, an이 value
- 한 field에 여러 개의 value 가능
템플릿은 일련의 terminal token과 nonterminal field로 구성
- e.g. The restaurant name is [name]
일반화 가능한 템플릿 (generalizable template) 탐색
- 2단계의 최대화(maximization) 문제로 나누어 해결
- template extraction (템플릿 추출)
  - 주어진 예산 내에서 최고의 템플릿 셋을 식별
- template inference (템플릿 추론)
  - 템플릿 셋 내에서 최고의 템플릿 식별

군집화 (clustering)
- 주어진 인풋(d)에 대한 최적의 템플릿 인덱스(i)를 제공하는 군집화 함수를 가정 (C(d)=i)
  - 최적의 군집화 함수를 찾는 것은 불가능하기 때문에 근사한 군집(cluster)를 디자인
사전학습 언어모델의 결과를 delexicalize
- 사전학습 언어모델이 생성한 문장에 있는 value를 field를 사용해 추상화
- e.g. Aromi is a Chinese restaurant with a so-so rating -> [name] is a [food] restaurant with a so-so rating
사전학습 언어모델 확률을 통해 템플릿 확인 (validation)
- 앞선 과정은 좋은 템플릿의 시작점을 만드는 과정
- 해당 과정은 그 중 일반화 가능성이 높은 템플릿들을 평가
  - 사전학습 언어모델의 확률을 사용해 군집(cluster) 내 top-K 템플릿 선별
consensus beam search를 통한 템플릿 정제 (refinement)
- 템플릿이 몇 개의 lexicalized value를 가질 시 일반화가 어려운 부분을 대체
- 일반화가 어려운 부분(span)을 채우는 것은 infilling model을 이용
  - infilling model은 nonterminal data field를 생성하도록 학습
  - 여러 인풋의 log probability score를 합침으로써 공통의 아웃풋을 탐색