Abstract
- Harmless AI assistant through self-improvement, without any human labels identifying harmful outputs
- The only human oversight is provided through a list of rules or principles → Constitutional AI
- Supervised learning and reinforcement learning
- Supervised learning
- sample from original model
- generate self-critiques and revisions
- finetune the original model on revised responses
- reinforcement learning
- sample from finetuned model
- evaluate which of the two samples is better and then train a preference model
- “RL from AI Feedback” (RLAIF).
- Supervised learning
- 결과적으로 harmless and non-evasive(회피적이지 않은) AI 훈련 가능. 유해한 질문에 대해 그 이유를 설명하며 반대 의사를 표현한다.
- use CoT to improve the human-judged performance and transparency of AI decision making
Introduction
Motivation
- Scaling Supervision
- leverage AI to help humans to more efficiently supervise AI
- human preference label 대신 AI supervision을 활용하고 싶다.
- A harmless but non-evasive (Still Helpful) Assistant
- 기존의 work은 human preference label for harmlessness를 사용했는데, 이 때 evasive한 답변들이 high-rewarded 되어서 결과적으로 evasive한 답변을 내뱉는 문제가 생겼다.
- Simplicity and Transparency
- human preference label을 활용하는 방식이 간단하지 않고 그 선호도에 대한 이유도 transparent 하지 않다.
Constitutional AI
- Human supervision will come entirely from a set of principles that should govern AI behavior
- AI based on constitutions which authors refer to as Constitutional AI
- principles
- e.g.) Choose the assistant response that answers the human’s query in a more friendly, amiable, conscientious, and socially acceptable manner
- By using constitution, we can…
- reduce human feedback
- improve simplicity and transparency
- obtain a harmless but non-evasive assistant
Training
- Training은 마치 RLHF처럼 2단계로 이루어져 있다.
- SL (Supervised Learning) stage
- RL (Reinforcement Learning) stage
SL stage
- Generating initial responses
- Self-critique and revision (이 부분에서 constitution (i.e. principles) 이 프롬프트에 작용한다.)
- SFT with (initial prompt, revised response) pair
- 이 과정을 통해 RL stage에서의 cost를 줄인다. (RLHF에서도 동일하게 진행)
- helpfulness prompt (human-data)
- 2 responses per prompt directly from a helpful RLHF
- harmlessness prompt (red teaming prompts[Ganguli et al., 2022] + augment)
- 4 critique-revision pairs per red team prompt from a helpful RLHF model
- 4 revisions per prompt
RL stage
- RLHF의 procedure과 동일하다. 다만 harmlessness data에 대해서만 AI feedback이 human preference data를 대체한다.
- 이 comparison label이 얻어지면 나머지 학습 파이프라인이 RLHF와 동일하다.
- 결국 Preference model을 학습해서 이 preference model을 활용해 SL-CAI를 RL하는 것이 최종 목적이다. 그러면 Preference model을 어떻게 학습하느냐? 기존의 RLHF에서는 human preference data (i.e. ranking data)를 가지고 Bradley-Terry model을 적용하여 목적함수를 만들고 학습하였다. 그렇다면 어찌되었든 preference data가 존재하면 된다는 뜻이다.
- helpfulness prompt에 대해서는 human feedback을 사용한다. 다만 harmlessness prompt에 대해서는 Feedback model을 두어 AI feedback based on constitution을 사용한다.
- 이 때, harmlessness prompt에 대해 feedback model이 내뱉는 option의 probs를 사용하여 학습을 진행한다. (response A, p_A), (response B, p_B) 라는 preference data 생성
- (Bradley-Terry model의 확장으로 cross entropy적용. 이를 통해 Preference Model(사실 reward model) 학습시킨다. 그래서 preference model이 이 pair가 들어왔을 때 확률을 내뱉을 수 있게끔)
Can AI conduct preference labeling?
- AI feedback을 받아 학습된 preference model이 human feedback을 받아 학습된 preference model 과 competative 하다. 따라서, AI feedback model을 쓰는게 말이 된다. 52B 이상의 PLM은 더 근접할 것이다.
Results
Discussion
- AI feedback으로 harmless를 학습시킬 수 있다.
- Constitution이라는 방식으로 simple하게 human supervision을 결합시킬 수 있다.
- 이 principle이 비단 harmless에만 국한되는 것은 아니기에, 다양한 영역으로 확장시킬 수 있다.
코리안코린이