1. Induction head 한 줄 요약
Transformer 안에서 “복사 + 붙여넣기” 역할을 수행하는 circuit을 말한다.
2. Induction head 세 줄 요약
Transformer의 attention head들 중 “(이전 context로부터) 복사 + 붙여넣기” 역할을 수행하는 head로 이루어진 circuit을 말한다.
In-context learning을 가능하게 하는 주 원인일 가능성이 높으며, 작은 모델 (특히 attention-only)이면 더욱 그렇다.
학습 중 phase change라는 구간에서 갑작스럽게 형성이 된다.
3. 원문
In-context Learning and Induction Heads (Anthropic)
