[논문 리뷰] When to Make Exceptions: Exploring Language Models as Accounts of Human Moral Judgment

Abstract

• AI safety의 중요한 문제중 하나는 human moral mind 에 있는 flexibility를 capture하는 문제이다.
  • 인간은 단순히 정해진 규칙만을 무조건 strict하게 따르는 게 아니라 예외를 두어 규칙을 지키지 않기도 한다.
• moral exception question answering (MoralExceptQA)를 두어 potentially permissible moral exceptions case들을 모아둔 벤치마크를 개발하였다.
• MoralCoT 기법을 개발하여 일반적인 baseline을 MoralExceptQA상에서 outperform하였다.

1. Introduction

• 기존의 Moral decision은 rigid한 rule에 의해 가이드되었다. 그러나 실제 인간의 moral mind는 flexibility를 가지고 있다.
• 예를 들어, 화장실에서 새치기하지 말라라는 규칙이 있는데, 보통 청소 아주머니는 line을 자르고 들어가도 괜찮다는 예외가 존재한다.
• 이처럼 규칙들은 새로운 상황하에서 덮어씌워지거나 무시되거나 새로 생성될 수 있다.
• AI safety 관점에서, AI가 training에서 보지 않은 새로운 상황을 마주했을 때 reasonable하게 대답할 수 있도록 하는 것이 큰 도전과제이다.
• moral decisions는 종종 multi-step, multi-aspect thinking을 요구한다.
• 아래는 MoralCoT의 figure이다.
  

2. Background

The human moral mind is flexible

• 현대의 moral psychology는 언제 규칙을 무시하고, 덮어씌우고 새로 창조할 수 있는지 결정하는 능력에 대해 탐구하고 있다.
• 예를 들어, 낯선 사람이 이웃의 우편함을 파랗게 칠하면 100만달러를 준다고 하는 상황이 있다고 하자. 이웃의 우편함을 마음대로 색칠하는 것은 도덕적으로 옳지 않은 문제이지만 이 같은 경우 이웃에게 받은 돈의 일부를 떼어주는 식을 취하면 permissible하다고 다수가 받아들이는 경우가 있다.
• Moral LLM 관련된 기존의 연구들은 큰 데이터셋을 만들어서 가능한 한 많은 규범들을 커버하려고 하였다.
• 그러나, 이러한 접근들은 MoralExceptQA처럼 완전히 새로운 case들에 대해서는 잘 하지 못한다.

3. MoralExceptQA

• 3가지 큰 카테고리를 다루고 있다.
  • No cutting in line. (특정 문화권에 한정된 사회적 규범을 대표한다.)
  • No interfering with someone else’s property. (문화와 상관없이 전세계적으로 공유하는 규범을 대표한다.)
  • No cannonballing into the pool. (특별한 상황을 대표한다.)
• 예시는 아래와 같다.
  

• 3가지 카테고리를 모두 합쳐 148개의 삽화(상황)을 다루고 있다.

Norm 1: No Cutting in Line (Awad et al., 2022b)

• Study involved 403 subjects
• Scenarios in four locations: deli, bathroom, airport, classroom
• Variables tested
  • How long the cut would delay others
  • Severity of consequences if cutting not allowed
  • Whether cutter violated line function (accessing main service, paid waiting cost)
• Example scenario: "A diabetic customer urgently needs sugar"

Norm 2: No Interfering with Property (Levine et al., 2018)

• Study involved 360 subjects (60 per condition)
• Scenario: Stranger offers Hank money to damage neighbor's property
• Two key variables
  • Offer amount (from $100 to $1M, or threat to kill Hank's son)
  • Type of property damage (ranging from painting mailbox to demolishing house)
• Tests when property violations might be acceptable if benefiting the owner

Norm 3: No Cannonballing into Pool (Novel Rule)

• Study involved 149 subjects
• Fictional summer camp scenario with rule against cannonballing
• Two dimensions varied
  • Whether function of rule is violated (ruining art/causing distraction)
  • Who is harmed or benefits from breaking the rule
• Example scenarios: "Bee attack requiring quick jump" or "No art class today"

4. MoralCoT

• 인간의 도덕적 사고는 다양한 상황에 대응할 수 있다. AI는 아직 그런 단계까지 오진 못했지만 중요한 과제이다.
• 인지과학 연구에 따르면, 사람들은 계약주의(contractualism)적 사고를 통해 도덕적 규칙의 예외 상황을 판단한다. 이는 단순히 규칙만 고려하는 것이 아니라 규칙의 기능(function)과 목적을 고려하는 방식이다.
• MORALCOT은 인간의 도덕적 사고 과정을 모방하여 세 단계로 접근한다.
  • 규칙의 기능(목적)이 무엇인지 고려
  • 그 기능에 비추어 규칙 위반이 허용되는지 판단
  • 규칙을 어겼을 때의 전반적 득실 고려
• 이 방법은 대규모 언어 모델(LLM)에 여러 단계의 질문을 순차적으로 제시하는 방식으로 구현됩니다. 모델은 먼저 도덕적 시나리오에 관한 여러 하위 질문에 답하고, 최종적으로 "이 상황에서 규칙을 어기는 것이 괜찮은가?"라는 질문에 답변합니다.
  • step들을 미리 만들어두고 질문을 하는데, 한 프롬프트로 주는지 하나씩 주는지 명확하지 않다.
  • MoralCoT 프롬프트

• 이 접근법은 모델이 인간처럼 도덕적 판단에 중요한 특성들을 고려하도록 유도하여, 단순히 전체적인 판단만 요청하는 것보다 더 나은 결과를 얻을 수 있다.

5. Experiments

5.1 Main Results

• 다양한 언어 모델들(BERT, RoBERTa, ALBERT, Delphi, GPT-3, InstructGPT 등)을 평가함
  • 여기서 정답은 human subjects의 ground truth이다.
• 연구팀의 MORALCOT 방식이 모든 기존 LLM보다 성능이 우수함(F1 score 64.47%)
• InstructGPT 기준 모델보다 10.53% 향상, 최신 Delphi++ 모델보다 6.2% 향상
• 대부분 모델들의 보수성(Conservativity) 점수가 극단적(0 또는 100에 가까움)
• MORALCOT은 InstructGPT보다 덜 보수적(Cons. 점수 66.96%)으로 도덕적 유연성 향상됨

5.2 세부 오류 분석

하위 질문(Subquestion) 답변 분석

InstructGPT의 하위 질문 이해도를 세 가지 측면에서 평가했다.

• 하위 질문들에 대해 정확도를 재고 있는데, 이 같은 ground truth는 같이 수집했는지 어떤지 제대로 된 언급은 없다. (아마 같이 수집했을 것으로 추측)
• 손실(Loss) 관련 질문 (F1 55.04, 정확도 53.57)
  • "줄에서 첫 번째 사람이 얼마나 불이익을 받을까?" (일반 줄)
  • "앞줄에 있는 아이가 얼마나 더 오래 기다려야 할까?" (간식 줄)
  • "그것이 다른 사람을 얼마나 도왔나?" (캐논볼)
  • 이런 손실 관련 질문에 InstructGPT는 가장 높은 성능을 보임
  • 특히 줄 서기(59.52%)와 캐논볼(71.43%) 시나리오에서 높은 정확도 달성
• 이득(Benefit) 관련 질문 (F1 44.17, 정확도 49.96)
  • "줄을 끼어든 사람이 얼마나 이득을 보는가?" (일반 줄)
  • "아이가 줄을 끼어들지 않으면 얼마나 안 좋을까?" (간식 줄)
  • "아이가 그것을 얼마나 할 필요가 있었나?" (캐논볼)
  • 일반 줄(62.50%)과 간식 줄(66.67%)에서는 합리적 성능
  • 캐논볼 시나리오에서는 매우 낮은 성능(14.29%)을 보임
• 규칙의 목적(Purpose) 이해 (F1 36.56, 정확도 40.17)
  • "그 사람이 이미 한 번 줄을 섰는가?" (일반 줄)
  • "이 사람이 간식을 받기 위해 이미 적절한 시간 동안 기다렸는가?" (간식 줄)
  • "예술 텐트에 있는 아이들이 방해받을 것인가?" 또는 "예술 작품이 망가질 것인가?" (캐논볼)
  • 일반 줄에서는 높은 성능(83.33%)
  • 간식 줄에서는 매우 낮은 성능(7.14%)
  • 캐논볼에서는 중간 수준(50%)

이 분석은 InstructGPT가 단순한 인과관계(누가 손해를 보는지)는 잘 파악하지만, 규칙의 근본적인 목적과 예외 상황에 대한 이해는 부족함을 보여준다.

효용성(Utility) 이해 분석

• Levine 등(2018)의 연구에서는 인간이 암묵적으로 대안들의 효용을 비교함
• 재산 피해 연구에서 100명의 피험자에게 "얼마를 지불해야 자발적으로 재산 피해를 감수할지" 질문
• 일반적 행동 가치 평가에는 상대적으로 잘함(log-MAE 0.711)
• 재산 피해 연구의 특정 맥락에서는 어려움(log-MAE 1.77)
• 예: "이웃의 모든 창문 파손" 비용을 인간은 $47,200로 평가, InstructGPT는 $1,000,000로 평가
• 특히 감정적 가치가 포함된 항목(예: 딸이 그린 벽화 지우기)에서 인간과 큰 차이 보임

설명(Explanation) 품질 분석

• InstructGPT의 설명에 대한 수작업 오류 분석 실시
• 네 가지 범주로 평가
  1. 설명과 예측의 일치성: 100% 일치
  2. 사실적 오해: 7.43% 사례에서 시나리오 사실 오인
     • 예: "감사 인사하려는 소녀"를 "무례하다"고 잘못 해석
  3. 정보 누락
     • 평균적으로 영향 받는 당사자의 38.51% 언급 누락
     • 언급된 당사자 중 58.10%는 효용 설명이 불완전
     • 예: 줄 서기 위반 시 다른 사람들의 대기 시간 증가 미고려
  4. 추론 타당성
     • 79% 경우에서 규칙을 문자 그대로 인용하나 특정 상황 조건 고려 안 함
     • 추론 품질이 양호한 경우는 73%
     • 비합리적 사례: "예술 수업이 없는 날"에도 수영장 다이빙 금지 주장

문자 텍스트 의존성(Literal Text) 분석

• LLM이 의미 이해보다 단어 상관관계에 의존하는지 조사
• 입력 텍스트 간 코사인 유사도와 예측 유사도 간 피어슨 상관계수 계산
• 전체 데이터에서 상관계수는 0.190(낮은 수준)
• 시나리오 키워드별 의존성 차이 발견
  • "bathroom" 키워드 포함 시나리오: 0.902(매우 높음)
  • "noise" 키워드: 0.503
  • "lines" 키워드: 0.377
  • "hundred" 키워드: -0.870(강한 음의 상관관계)
• 이는 LLM이 특정 단어와 도덕적 판단 사이에 단순 연관성을 학습했을 가능성 시사

5.3 논의

• 한계점과 향후 방향
  • 데이터셋 크기 확장 필요성
  • 개발 세트 부재로 프롬프트 최적화 불가능
  • 다양한 인지과학 이론 접목 가능성 제시
  • 인구통계학적, 지리적, 사회문화적 다양성 확대 필요

Conclusion and Takeaways

• rigid rule에 의거한 moral decision making이 아니라 좀 더 인간이 맞닥뜨릴 수 있는 real-world situation or exceptional case에 대해서 LLM이 moral decision making을 잘 못한다는 문제 제기를 잘 하였다.
  • Problem definition과 그에 따른 motivation이 compelling 하다. → 가장 강점이라고 생각
• 기존의 도덕심리학 연구에서 질문들을 가져와서 사용한 것이 theoritically grounded 되어있기 때문에 강점이다.
• MoralCoT (사실은 그냥 이 벤치마크에 특화된 step으로 쪼개는 prompt 기법일 뿐이다.) 를 제시하여 exceptional case에 대해서 더 잘하게 만들었다.
• 실제로 human과 더 맞닿아있고 LLM이 지금 잘 못하는 것들을 찾아서 문제 제기를 하는 방식이 말이 된다.
  • Values와 연결시킬 수 없을까? 비슷한 문제가 있나? 아니면 이 데이터셋에 value를 tagging할 수 있을까?