선정이유
deliberative alignment 논문에 달아주신 코멘트를 읽고 다양한 사회문화적 맥락을 반영한 LLM 연구를 어떻게 진행이 되는지 궁금해짐. multicultural alignment 관련 키워드로 찾아보다가 NeurIPS 2024에 발표된 논문이 있어서 읽어보게 됨..! 이 논문은 기술적인 해결책이라기 보다는 획일화된 alignment를 벗어나기 위해 고려해야 할 점들을 담은 차별화된 데이터셋 제안이라 ****모델의 구조나 가중치 부여 등에 대한 내용은 없음. (그래서 좀 가볍게 읽은 느낌!)
Background
LLM의 alignment은 주로 RLHF를 통해 이루어짐. 이 과정에서 human feedback은 모델의 행동을 바람직한 방향으로 유도하는 핵심적인 역할을 함. 그 러 나, 이러한 feedback 과정의 "어떻게, 어떤 도메인에서, 누구에게, 어떤 목적으로 얻어야 하는가"라는 근본적인 문제는 늘 해결되지 않은 채 남아있었음.
이로 인해 기존의 RLHF에는 다음과 같은 한계들이 존재:
1) 이진 A/B에 대한 과도한 의존
2) biased sample의 존재(지리적, 인구통계학적으로 편중)
3) 제한적인 sample 정보
4) value 설명력 부족(피드백 제공자의 개인적인 특성이나 가치관을 상세히 파악하지 못함)
따라서, PRISM 데이터셋에서는 다음 방식으로 이를 보완하려 함:
1) 더 넓은 지리적, 인구학적 통계
2) 영국, 미국에 대한 인구조사 대표 샘플
+) 같은 국가 내에서 다양성을 위해 quota sampling 방식으로 모집.++) quota sampling: 특성에 따라 하위 그룹으로 나눈 다음 미리 정해진 비율에 맞춰 모집. 무작위 계층화 샘플링과 다름.
3) 상세한 참여자 프로필+개인화된 평점 피드백
Purpose
PRISM 데이터셋은 75개국 1,500명의 다양한 참가자로부터 수집된 인구학적 정보, stated preferences, 그리고 21개 LLM과의 8,011개 실제 대화에서 얻어진 contextual preferences 및 fine-grained feedback을 포함함.
Participatory: 더 넓은 지역에서의 수집Representative: 인구조사 대표 샘플Individualised: 피드백 참여자의 human context 제공Subjective, Multicultural 한 관점을 얻기 위해 정답에 대한 가이드라인 제공 없이 피드백 수집.
Method
75개국으로부터의 1500명에 대한 PRISM 데이터 수집은 2단계로 이루어짐.
[설문 조사]
LLM과의 대화에 앞서 사용자의 human context를 파악하기 위해 설문조사를 진행함.
- LLM 친숙도 및 사용 현황: LLM에 대한 참가자의 친숙도 수준 및 직접/간접 사용 경험 여부, 사용 빈도, 사용 목적 등을 질문함.
- 스스로 정의한 LLM 지침: 참가자가 직접 LLM이 따라야 할 핵심 원칙이나 행동 지침을 기술하도록 하여 참가자들이 중요하게 생각하는 원칙(사실성, 전문성, 인간성, 무해성 등)을 파악.
- LLM에 대한 stated preference: 참가자들에게 특정 LLM 속성(사실성, 유창성, 가치 부합성 등)의 중요도를 VAS를 사용하여 평가하도록 함. +) 객관적 속성(사실성 등)은 중요도에 대한 동의가 높지만(평균 86-89점), 주관적 속성은 동의 수준이 낮고 분포가 다양하게 나타났음(가치 중요도 평균 54점).++)
- self-written description: 구조화된 인구 통계 정보 외에 자신의 정체성, 가치관, 삶의 원칙 등을 자신의 말로 자유롭게 서술.
- 기본적인 인구 통계 정보: 연령, 성별, 고용 상태, 교육 수준, 인종, 종교, 영어 능숙도, 출생 국가, 거주 국가 등을 수집함.
[대화]
설문 조사 후, 참가자들은 Dynabench 플랫폼의 인터페이스를 통해 LLM과 실시간으로 대화함.
- 대화 유형 선택: 참가자들은 '안내 없음(Unguided)', '가치 기반(Values guided)', '논란 기반(Controversy guided)' 중 하나의 유형을 선택하여 다양한 주제의 대화를 유도하게 됨. +) 주로 가치 판단이 개입되거나 논쟁적인 주제(윤리적 딜레마, 사회적 이슈)에 대해 21개의 서로 다른 LLM(상업용, 오픈 소스 포함)과 여러 차례의 실시간 대화(총 8,011개)를 진행함.
- 대화 시작 및 평가: 참가자가 프롬프트를 입력하면 최대 4개의 다른 LLM이 응답. 참가자는 각 응답을 VAS(1-100점)로 평가합니다. 이 점수는 'contextual preference'를 나타냄.
- 대화 지속: 가장 높은 점수를 받은 LLM이 선택되어 대화가 이어짐. 이후, 선택된 모델로부터 두 개의 응답을 받아 평가.
- 피드백: 대화 종료 후, 참가자는 가장 높게 평가한 모델의 성능(유창성, 사실성 등)과 해당 모델을 선택한 이유를 VAS로 평가하고, 대화 전체에 대한 자유 형식 피드백을 제공함. 이는 설문에서 물었던 속성들과 연결됨.
→ 이러한 2단계 수집을 통한 이점:
1) 참가자의 특성과 평가를 연결지어 '일반적인 인간'이라는 모호함에서 벗어남.
2) 설문에서 'states preference'와 'contextual preference'의 차이를 추적 가능.
3) 참가자들에게 자율성 부여.
Experiment
저자들은 PRISM 데이터셋을 이용하여 3가지 case study를 수행.
[Case Study 1]
'서로 다른 사람들이 LLM과 각자 다른 토론을 시작하는가?'서로 다른 배경을 가진 사람들이 LLM과 대화를 시작할 때 서로 다른 주제를 선택하는 경향이 있는지를 실험.
- 연구 목표: 참가자의 정체성과 대화 유형(안내 없음, 가치 기반, 논란 기반)이 LLM 에게 던지는 첫 질문의 주제 선택에 영향을 미치는지 분석하고자 함.
- 데이터 분석 방법:
- 임베딩: 참가자들이 입력한 각 첫 질문 텍스트를 all-mpnet-base-v2 모델을 사용하여 768차원의 벡터로 변환.
- 차원 축소: UMAP을 통해 768차원 벡터 -> 20차원
- 클러스터링: HDBScan 알고리즘 -> 의미적으로 유사한 질문들을 그룹화하여 총 22개의 주제 클러스터를 식별. +) 전체 프롬프트의 70%가 클러스터에 할당됨
- 주제 이름: 각 클러스터의 핵심 단어(TF-IDF로 추출한 n-gram)와 가까운 텍스트들을 gpt-4-turbo 모델에 입력하여 클러스터의 주제 이름을 정함.
- 회귀 분석: OLS 회귀 분석을 통해 각 주제 클러스터에 대해 참가자의 정체성 요인과 대화 유형 선택이 특정 주제를 선택할 확률에 얼마나 영향을 미치는지 통계적으로 분석함.
- 결과:
- 참가자에게 특정 대화 유형을 선택하도록 유도한 것이 질문 주제 다양성에 큰 영향을 미침. +) 'controversy' 유형은 성별/LGBTQ+, 이스라엘-팔레스타인 갈등, 낙태 토론과 같은 주제와 관련이 높았음.
- 그러나, 대부분의 주제는 다양한 정체성을 가진 참가자들이 공통적으로 다루는 것으로 나타남. 즉, 특정 그룹만 특정 주제를 다루는 경향은 약했음.
- 의미적으로 동일한 질문("신은 존재하는가?")에 대해서도 서로 다른 배경(종교의 유무)을 가진 참가자들이 LLM 응답에 대해 다른 선호도를 보이는 경우가 있음. → 대화 맥락이 같아도 개인 간 선호도 차이가 존재함.
[Case Study 2]
'서로 다른 사람이 각자 다르게 alignment된 모델을 선호하는가?'
모델 선호도의 차이는 단순히 모델 자체의 특성 때문만이 아니라, 대화 주제 선호도와 모델의 특정 주제 수행 능력 간의 상호작용 때문에 복잡하게 얽혀 있을 수 있음. +ex) 외계인에 대해 많이 질문하는 그룹이 외계인에 대한 지식이 부족한 특정 LLM과 대화한다면 선호도가 낮을 것.
- 연구 목표: 이러한 confounding factor를 통제하면서, 실제로 사람들의 배경이나 대화 맥락에 따라 선호하는 LLM이 달라지는지를 실험적으로 밝히고자 함.
- 연구 방법:
- 데이터 정제: bias를 줄이기 위해 각 참가자가 동일한 수의 대화 유형(안내 없음, 가치 기반, 논란 기반 각 2개씩, 총 6개)을 완료한 balanced subset만을 사용함 (n=1,246명의 참가자, 6,669개의 대화).
- 선호도 집계: 참가자들의 모델 평가 점수를 집계하여 모델 전체의 선호도 순위를 계산. +) Pairwise Rank Centrality 및 Convergence Voting 방법을 사용. ++) 각 모델을 노드로 간주하고, 참가자들이 어떤 모델을 다른 모델보다 더 선호했는지를 기반으로 노드 간의 전환 확률을 계산함. → 최종적으로 모델 간의 집단적 선호도를 반영하는 점수 분포를 도출하게 됨.
- 결과:
- 모델 선호도 순위는 어떤 참가자를 샘플링하는지, 그리고 참가자들이 어떤 주제로 대화하는지에 따라 크게 달라짐.
- 100명의 참가자만 무작위로 뽑아도 순위에 상당한 노이즈가 발생, 상위 10개 모델 간 선호도 차이가 뚜렷하지 않았음. (Fig 5의 A)
- 특정 모델은 특정 대화 유형에서만 높은 순위를 기록하는 경향을 보임. (Fig 5의 B)
- 참가자의 출신 지역에 따라서도 모델 순위가 변동. (Fig 5의 C).
- 다른 리더보드와의 차이: PRISM 데이터셋 기반 순위는 CHATBOTARENA와 같은 다른 LLM 평가 리더보드와 차이점이 나타남. +ex) GPT 모델들은 PRISM에서 상대적으로 낮은 평가를 받았고, zephyr-7b와 같은 오픈 모델들은 더 높은 평가를 받았음. ++) 저잗를은 이러한 차이가 일반적인 코딩/작업 지향 프롬프트 vs PRISM의 논쟁적/문화적 프롬프트 같은 도메인 변화, 샘플 다양성, 과제 인센티브 차이 때문일 수 있다고 추측.
- 응답 특성(포맷팅, 거절 등)이 점수에 미치는 영향: OLS regression으로 조사한 결과,
- 글자 수 증가, "더 알고 싶으신가요?" 등의 질문으로 끝맺음, 목록 사용 → 점수에 긍정적인 영향,
- 줄 바꿈, 회피 표현("AI로서 저는 개인적인 의견이 없습니다."), 직접적인 거절("답변할 수 없습니다.") → 부정적인 영향.
- 하지만 이러한 요인들이 설명하는 점수 변동성은 낮아(R²=0.06), 더 정교한 분석이 필요함.
[Case Study 3]
'피드백을 제공하는 사람을 선택하는 것이 하위 그룹의 '복지'에 어떤 영향을 미치는가?'
- 연구 방법:
- '복지(Welfare)' : 이 연구에서는 'welfare'를 "선택된 LLM이 특정 사용자 집단의 선호도와 얼마나 잘 부합하는가"로 정의함. 즉, 사용자들이 해당 LLM의 응답을 얼마나 좋게 평가하는지.
- welfare 측정 지표: 복지를 측정하기 위해 두 가지 지표를 사용함.
- MEANRATING: 참가자들이 모델 응답에 매긴 평균 점수 (1-100점 척도). 점수가 높을수록 선호도가 높음.
- MEANCHOICE: 여러 모델 응답 중 특정 모델이 가장 높은 점수를 받아 선택될 평균 확률.
- 실험 설계:
- 소수의 피드백 제공자 그룹의 주관 기준으로 가장 선호하는 LLM 하나를 선택한다고 가정할 때, 이 소수 그룹을 구성하는 방식을 다양하게 설정해 봄.
- 영국/미국 인구 조사 기반의 대표 표본에서 무작위로 다른 인원수(10, 20, 50, 100명)를 추출하는 방식 4가지.
- 특정 인구 통계 집단(남성, 백인, 45세 이상)에서만 100명을 추출하는 방식 3가지.
이렇게 선택된 각 LLM이, 실제 사용자 그룹인 다양한 집단(전체 대표 표본, 비남성 집단, 비백인 집단, 45세 미만 집단)에게 적용되었을 때의 welfare 분포를 측정함.
- 결과:
- 소수 sample 그룹 선정 과정에 크기가 큰 대표 표본을 사용한 경우가 작은 표본을 사용한 경우보다 더 나은 복지 결과를 보였음.
- 특정 인구 통계 그룹(ex. 백인남성만)의 피드백만을 반영하여 LLM을 선택할 경우, 해당 그룹에 속하지 않는 다른 그룹의 복지 수준이 감소.
- 어떤 샘플링 방식을 사용하든, 모든 참가자를 만족시키는 단 하나의 LLM은 존재하지 않았음. MEANCHOICE를 최대화하는 모델조차도 선택 확률이 45%에 그쳤음 → 사용자들의 선호도가 매우 다양.
Key Points
1) LLM 정렬 결과는 피드백 제공자에 따라 크게 달라짐.
- 실험에서 특히 논란이 많은 주제에 초점을 맞췄는데, 이러한 영역에서는 특히 사람들 간의 의견 불일치가 큼.
- '일반적인 인간의 피드백'이라는 모호한 의견을 ground truth로 사용할 때 주의할 점을 강조함.
2) 보편적인 alignment는 비현실적임.(특히 주관적이고 문화적인 context를 내포한 도메인에서)
- alignment의 개인화나 다양한 의견 분포를 반영하는 접근법이 필요할 수 있음.
3) alignment 데이터 수집 방식이 중요하며, PRISM은 피드백 참가자의 human context를 직접적으로 도입했다는 점에서 다른 데이터셋과 차별화됨!
- 왜 특정 응답이 선호/비선호 되었는지 이유를 인간 피드백 제공자의 context에서 찾을 수 있음.
Limitations and suggestions
- 75개국 참여를 통해 최대한 다양한 사람을 반영하려고 했지만, 그 사람들이 인구 집단을 완벽하게 대표한다고 보기는 어렵고, 여전히 백인, 영어권, 고학력자의 분포가 높은 편향된 집단임.
- 현실적으로 소수 민족이나, 소수 집단을 대변하는 피드백을 얻고 그 사람의 배경을 반영하기 위해서는 그 대표자의 개인정보 유출 위험 또는 재식별 위험이 있을 수밖에 없음.
- stated preference와 contextual preference 간의 불일치에 대한 심층적인 연구를 alignment 방법에 반영해보는 것은 어떨까?
- PRISM에서 더 나아가 LLM의 bias를 탐지, 완화하는 새로운 평가 지표 및 방법론 개발 연구를 할 수 있음.
Personal Insight
- 기술적인 방법론을 담지는 않았지만, RLHF 방법을 사용할 때 신중히 고려해야 할 상황을 다시 한 번 리마인드 해주는 느낌의 논문.
- 대다수의 사람이 동의하는 객관적인 윤리에 대해서 alignment가 이루어지고 있지만, 더 정교하고 인간 중심적인 AI 시스템 설계를 위해서는 multicultural, subjective한 배경을 반영하는 alignment로의 전환이 필요함.
- 특히, LLM과의 대화 전 stated preference와 대화 중에 contextual preference 사이의 간극을 포착한 점이 인상깊음.
- '사실성'을 가장 중요시한다고 답변했더라도 가벼운 대화 중에는 최대한 사람같이 말하는 것이 모델에 대한 선호도를 이끌어 낼 수 있음.
- 이런 측면에서 연속적인 상호작용 속에서 사용자의 말 그 자체보다는 그 속의 의도를 파악하는 것 또한 중요하다고 생각함.+ex) 비속어를 사용해 질문을 하는 경우, 모델은 적절하지 않은 단어를 감지하고 응답을 거부할 수 있지만 실제 사용자의 의도는 '친근함'일 수 있음.
- stated preference(주황색 영역)와 choice attribute(노란색/파란색 영역) 간의 상관관계가 전반적으로 약함. → 즉, 참가자들이 설문에서 특정 속성이 중요하다고 말하는 것과 실제 대화 상황에서 해당 속성을 기준으로 모델을 평가하거나 선택하는 것 사이에는 큰 관련성이 없을 수 있음.→ 추상적인 선호도와 실제 맥락에서의 선호도 사이에 차이가 있을 수 있음.
Overall...
저자들은 LLM alignment의 RLHF 방법론에서 인간 피드백의 출처와 다양성 문제에 대한 문제의식을 제기함. 기술적인 해결책보다는 다시 기본으로 돌아가 데이터 중심적인 사고를 해보도록 요청하는 듯... 당연히 모든 문화권에서 통용될 수 있는 LLM 또는 그런 방법론이 뿅하고 나타나지는 않겠지만(일단 그 문화권의 사회적 맥락을 파악하고 명시적으로 규정하는 것부터 기준을 세우기 어려울 뿐더러 시간이 지나며 계속 변화하는 인식에 맞춰야 하기 때문에 정량적으로 정해놓기도 힘듬. koBBQ-Korean safety alignment dataset도 설문조사를 통해 내재되어있는 고정관념, 편견 등을 걸러내는 데에 많은 노력을 쏟음.) 적어도 이런 부분에서 bias가 있고 이를 인지하고 있어야 함을 강조하고 있음. 결과는 예상이 가는 부분이지만 실험 설계를 읽으면서 이런 연구도 있구나 하고 재밌었다.
