1. INTRODUCTION

• LLM 기반 의사결정 에이전트가 다양한 분야에 배포되고 있음
• 일반적인 정렬(alignment) 방법은 RLHF나 DPO와 같이 인간 선호 데이터에 기반함
• 기존 방법은 암묵적으로 가치를 표현하며 데이터 수집 비용이 크고 편향될 수 있음
• 본 연구는 핵심 인간 가치를 명시적으로 인코딩하는 보상 함수를 사용한 RL 기반 fine-tuning 방법 제안
• 도덕적 보상을 의무론적(Deontological) 윤리학과 공리주의(Utilitarianism)의 관점에서 정의

2. BACKGROUND

2.1 LLM AGENTS

• 에이전시(agency)는 환경에서 행동을 결정하는 능력
• LLM 에이전트는 토큰으로 행동을 표현하고 계획 및 추론 능력을 향상시킬 수 있음
• 작은 규모의 오픈소스 모델(Gemma2-2b-it)을 사용하여 실험

2.2 FINE-TUNING LLM AGENTS WITH REINFORCEMENT LEARNING

• PPO를 사용하여 LLM 에이전트를 fine-tuning 함
• KL 패널티를 사용하여 원래 모델에서 너무 멀어지지 않게 함
• 기존 방법은 인간 선호 데이터에서 보상 신호를 도출하지만, 본 연구는 내재적 도덕 보상 사용

2.3 SOCIAL DILEMMA GAMES

• 반복적 죄수의 딜레마(Iterative Prisoner’s Dillema, IPD)를 주요 테스트 환경으로 사용
• 협력(Cooperate, C)과 배신(Defect, D) 중 선택하는 게임으로 다양한 일상 상황에서의 딜레마를 대변할 수 있다.
• 최근 LLM 에이전트들이 이런 게임에서 보이는 행동에 대한 연구 소개

2.4 INTRINSIC REWARDS FOR MORAL ALIGNMENT

• 의무론적 윤리학: 특정 규범(협력자 상대에게 배신하지 않기)을 따르는 에이전트
• 공리주의: 모든 에이전트의 집단적 웰빙/보상을 극대화하는 에이전트
• 이런 도덕적 보상을 IPD 게임에서 행동과 결과 측면에서 정의

3. FINE-TUNING METHODOLOGY

3.1 AGENT AND ENVIRONMENT

• 에이전트와 상대방이 IPD 게임을 진행하며, 상태는 상대방의 이전 행동을 포함
• TFT(Tit-for-Tat) 고정 전략 상대와 학습 중인 다른 LLM 에이전트와의 학습 비교
• 게임을 일반적 의사결정 문제로 표현하고 특정 행동 토큰 사용

3.2 MORAL FINE-TUNING PROCEDURE

• T 에피소드 동안 훈련하며, 각 에피소드에서 N번의 IPD 게임 반복
• 네 가지 보상 신호 테스트: Game(이기적), Deontological(의무론적), Utilitarian(공리주의적), Game+Deontological (이기적으로 half 학습하고, Deontological half 학습)
• 이기적 전략을 "Unlearning" (저자들이 주장하기로, 이기적 전략을 잊어버리고 새로운 전략을 학습) 할 수 있는지 테스트하기 위한 추가 실험 수행

3.3 IMPLEMENTATION DETAILS

• Gemma2-2b-it 모델 사용, LoRA와 4비트 양자화로 효율적 훈련
• TRL 라이브러리로 PPO 구현, 보상 정규화 및 스케일링 적용
• action1(협력)과 action2(배신) 토큰을 사용하여 행동 표현

4. EVALUATING THE EFFECTIVENESS OF FINE-TUNING: MORAL CHOICES ON THE IPD

4.1 EVALUATION APPROACH

• 다양한 학습 역학 분석, 정적/학습 상대와의 학습 평가
• "도덕적 Unlearning" 효과 평가, IPD에서 다른 매트릭스 게임으로의 일반화 테스트
• 5개의 랜덤 시드에 대한 평균 결과 보고

4.2 LEARNING DYNAMICS

• Game 보상: TFT 상대에 대해 배신 전략 학습(내시 균형)
• Deontological 보상: 협력자에게 배신하지 않는 규범 학습, 일반적으로 협력 선호
• Utilitarian 보상: TFT 상대와 상호 협력하는 전략 학습
• Game+Deontological: 50%-50% 협력-배신 전략, 협력자에게 배신하지 않음

4.3 LEARNING AND UNLEARNING THE SELFISH STRATEGY ON THE IPD

• 이기적 전략을 학습한 후 도덕적 보상으로 fine-tuning하면 이기적 전략을 부분적으로 "Unlearning" 가능
• 순수 도덕적 보상으로 처음부터 훈련한 모델만큼 높은 수준의 협력은 달성하지 못함

5. GENERALIZATION TO MORAL CHOICES IN OTHER ENVIRONMENTS

5.1 GENERALIZATION TO MORAL CHOICES IN OTHER MATRIX GAMES

• 의무론적 규범에 관해 모든 fine-tuned 모델이 IPD에서 다른 매트릭스 게임으로 합리적 일반화 보임
• 공리주의적 관점에서는 일반화 성능이 게임 특성에 따라 달라짐
• Utilitarian 모델: 협력을 일관되게 선택하여 일부 게임에서는 최적이 아님

5.2 IMPACT OF FINE-TUNING BEYOND MATRIX GAMES

• 매트릭스가 없는 일반 프롬프트에서도 fine-tuned 모델들은 학습된 가치와 일관된 행동 보임
• "게임" 또는 "상태"를 언급하는 프롬프트에 대해 모델들은 IPD와 유사한 패턴으로 응답

6. DISCUSSION

• 두 가지 도덕적 보상 구조(의무론, 공리주의)의 장단점 논의
• 다른 환경으로의 확장 및 다목적 접근법의 가능성 제시
• 다양한 도덕적 가치를 가진 에이전트로 구성된 Constitutional AI 구조의 가능성 제안

7. CONCLUSION

• 내재적 보상을 통한 fine-tuning이 LLM 에이전트를 인간 도덕적 가치에 정렬시키는 유망한 해결책임을 보임
• 매트릭스 사회적 딜레마 게임에서 행동과 결과 측면에서 도덕적 보상을 정량화
• 원치 않는 행동의 Unlearning과 다른 환경으로의 일반화 가능성 입증

Takeaways

1. 인간 선호 데이터의 한계 극복
   • RLHF, DPO의 핵심 문제점인 인간 선호 데이터 수집의 비용과 편향성을 해결하기 위한 대안적 접근법
   • 명시적으로 정의된 보상 함수를 통해 투명하고 비용 효율적인 정렬 방법 제시
2. 딜레마 시뮬레이션을 통한 fine-tuning
   • 반복적 죄수의 딜레마(IPD)라는 간단하면서도 도덕적 의사결정을 내포한 환경을 통해 훈련
   • 실제 인간 상호작용에서 발생하는 협력/배신 딜레마를 단순화된 형태로 모델링
3. 고전적 윤리 이론의 계산적 적용
   • 수백 년간 발전해온 윤리학 이론(의무론, 공리주의)을 AI 정렬에 직접 적용하는 시도
   • 철학적 개념을 명시적 보상 함수로 변환하여 계산적으로 구현
4. IPD 게임에서의 fine-tuning 가능성 증명
   • 특정 게임 환경 내에서 overfitting되더라도 fine-tuning이 효과적으로 이루어짐을 확인
   • 한번 학습된 행동 패턴이 테스트 시간에 보상 구조가 변경되어도 유지됨을 확인

Limitations

1. 단순한 게임 최적화와 도덕적 정렬의 모호한 경계
   • 진정한 "도덕적 정렬"이라기보다 "IPD에서 새로운 규칙(협력자에게 배신하지 말라)을 따르는 게임 플레이어" 생성에 가까움
   • 이 접근법은 도덕적 원칙의 내면화라기보다 단순히 변형된 게임 규칙 하에서의 최적화일 수 있음
2. 공리주의 모델의 협력 고착화
   • 공리주의적으로 훈련된 모델이 단순히 "항상 협력하기"로 고착화되어, 실제 공리주의적 추론이 아닌 IPD에서 보상 합계를 최대화하는 전략만 학습
   • 이는 모델이 실제 공리주의적 윤리 원칙을 이해하지 못하고 단순히 행동 패턴만 학습했음을 시사
3. 일반화의 과대해석 위험
   • Deontological 모델이 다른 매트릭스 게임에서도 협력적 성향을 보인 것은 단순히 해당 행동 패턴으로 이미 학습되었기 때문일 가능성
   • 테스트 시 배신의 보상이 높아졌을 때 협력을 유지하는 것은 새로운 최적화를 못한 것으로 볼 수도 있음
4. 일반적 도덕 벤치마크와의 연결 부재
   • 이 연구가 혁신적이려면 훈련된 모델이 IPD 외의 일반적인 도덕적 벤치마크에서도 성능 향상을 보여야 했음
   • 단순히 특정 게임 환경에서의 fine-tuning 가능성만 보여주는 제한적 결과
5. 방법론적 기여와 도덕적 정렬의 간극
   • 기술적으로는 특정 보상 함수를 통한 fine-tuning 방법을 보여주는 의미가 있으나
   • 진정한 도덕적 정렬이라고 주장하기에는 증거가 불충분하며, 단순히 게임 환경에서의 특정 행동 학습에 가까움