Background and Criteria for Alignment
Background
- instruction tuning까지만 진행하면 LLM이 unintended behaviour를 보일 수 있음 (e.g. fabricating false information (a.k.a. hallucination), pursuing inaccurate objectives, ahrmful, misleadning, biased expression producing etc.)
- 이는 LLM의 학습 과정에서 word prediction에만 초점을 맞춰 파라미터를 학습시켰기 때문으로, human value나 preference에 대한 고려가 미흡했기 때문임
- 따라서, alignment tuning은 pretraining이나 instruction tuning과 달리, 굉장히 다른 criteria (e.g. helpfulness, honesty, harmlessness) 에 대해서 학습을 하게 됨
- 다만, alignment tuning 시 pretraining 및 instruction tuning 때 학습했던 내용을 잊어 general ability를 깎아먹는 alignment tax가 발생하기도 함
Alignment Criteria
- 지금까지는 3개의 representative alignment criteria에 대해서 alignment tuning을 진행: helpful, honest, harmless
- 다만, correctness 등 다른 criteria를 적용하기도 함
- 이러한 criteria를 충족했는지 확인하는 가장 기본적인 기법은 red teaming이 있겠음: 수동 및 자동으로 adversarial prompt를 제공해 criteria를 충족하는지 확인하는 기법
Helpfulness
- 사용자의 task solving 시 간결 (concise) 하고 효율적 (efficient) 으로 도움을 줄 수 있어야 함
- 추가 설명이 필요할 때, 민감성 (sensitivity), 통찰력 (perceptiveness), 신중함 (prudence) 를 겸비하여 추가적인 정보를 제공할 수 이썽야 함
- 하지만 설명이 굉장히 모호하죠? 따라서 LLM한테 helpfulness를 학습시키는 것은 매우 힘듦
Honesty
- 정확한 정보 전달에 초점을 두는 criteria
- LLM 자신이 작성한 결과의 uncertainty를 아는 것이 중요함 (know unknowns)
Harmlessness
- 공격적 (offensive) 이거나 차별적 (discriminatory) 이지 않아야 하는 criteria
악의적 질문과 목적을 파악할 수 있어야 하고, 악의적 질문과 목적이 식별되면 질문을 거부 및 회피하여야 함 - 그러나, 어떠한 행동이 harmful인가? (what behaviours) & 어디까지가 harmful인가? (to what extent) 는 개인과 사회마다 굉장히 다른 기준을 갖고 있으므로 정의하기가 어려움
Collecting Human Feedbacks
Human Labeler Selection
- qualified human annotators가 필요함: 보통 대학교 학사 수준의 학력을 갖는 집단으로 설정
- researcher와 labeler 사이의 간극을 메우기 위해 human labeler와 researcher 간 agreement score 계산해서 labeler를 filter하기도 (InstructGPT)
- sample data 에 대해서 researcher group & labeler group 간 agreement score 계산
- 높은 수준의 agreement score 보인 labeler만 이후 labeling 작업에 데리고 가는 것
Human Feedback Collection
- Ranking-based approach:
- model generation 중 가장 좋은 답변만 선택하는 것
- finegrained evaluation이 아님
- 좋지 않은 답변은 모두 버림으로써 모델의 학습 기회가 좁아짐
- Elo rating system은 best-pick 대신 preference ranking을 사용: more - reliable & safer 답변에 대한 학습 가능
- Question-based approach
- useful한지 등에 대한 더 detail한 feedback을 제공하는 방안
- Rule-based approach
- rule이란 criteria를 model output이 충족했는지 판단하는 checklist와 유사한 것
- preference ranking과 rule을 violation feedback을 모두 취하는 방식
=> 잘쓰는 방법인가봄
Reinforcement Learning with Human Feedback (RLHF)
- 목적: LLM에게 3 criteria (helpfulness, honest, harmlessness) 를 학습시키기 위해 강화학습 알고리즘을 사용한 방식
- system의 구성: pretrained LLM, human feedback을 학습하는 reward model, LLM을 학습시키는 RL algorithm
- pretrained LLM: 생략
- RM: scalar value로 LLM output이 human preference에 얼마나 걸맞는지를 판단
- finetuned LM
- human preference data로 처음부터 학습한 (de novo) LM
- 보통 학습시킬 LLM보다 파라미터가 더 적은 LM을 RM으로 사용 (GPT-3 6B, Gopher 7B 수준)
- RL alrogithm: Proximal Policy Optimization (PPO) 를 보통 사용
RLHF system
왈왈