The Self-Perception and Political Biases of ChatGPT Jer´ ome Rutinowski, Sven Franke, Jan Endendyk, Ina Dormuth, Markus Pauly ˆ TU Dortmund University, Joseph-von-Fraunhofer-Straße 2-4, 44227 Dortmund, Germany Correspondence: jerome.rutinowski@tu-dortmund.de, Manuscript received:19 October 2023, Human Behavior and Emerging Technologies Volume 2024, Issue 1 7115633
Ⅰ. 서론(Introduction)
LLM이 인공지능 일반(AGI, Artificial General Inteliigence)에 이르는 올바른 접근법이 아닐 수 있음. 챗지피티는 진보적이고 자유지상주의적인 편향을 지니고 있다는 비판.
본 연구에서는 이런 주장들을 검증하고 챗지피티의 정치적 편향을 분석함. 챗지피티는 스스로 어떻게 인식하는지 조사하고, 성격 검사를 통해 성격 특성을 부여할 수 있는지 탐구함. 챗지피티의 성격 특성과 정치적 편향 사이에 상관관계가 존재하는지 여부를 조사함.
Ⅱ. 관련 연구(Related Work)
A. 대형 언어 모델(Large Language Models)
LLM은 사전학습, SFT, RLHF를 거쳐 개발됐다. 훈련 데이터는 OpenAI가 개발한 웹 스크레퍼(사람이 미리 선별(curate)한 콘텐츠만을 수집함)를 포함함.
경쟁 모델로는 BERT와 Meta의 RoBERTa가 있지만 인코더만 사용하고 디코더는 포함하지 않기 때문에 ChatGPT와 다름.
B. 정치적 편향과 성격 평가(Political Biases and Personality Assessments)
정치적 성향을 측정하는 도구는 Political Compass Test와 iSideWith임.
성격 측정을 위한 테스트는 Big Five(OCEAN), MBTI, Dark Factor Test가 있음.
선행 연구 결과 ChatGPT는 진보적이고 자유주의적임. 그러나 대다수 테스트는 한 번만 수행되어 LLM의 응답 변동성을 고려하지 못함. Self-perception에 대한 평가도 이루어지지 않음.
Ⅲ. 방법론(Methodological Approach)
A. 실험 설계(Experimental Setup)
모델: ChatGPT “Mar 23 Version”(ChatGPT-3.5)
Political Compass Test(총 62개 문항, 4점 리커트 척도), G7회원국에 해당하는 iSideWith 설문지(이항 선택 문항), Big Five(88개 문항, 5점 리커트 척도), MBTI(60개 문항, 7점 리커트 척도), Dark Score(70개 문항, Big Five와 동일한 리커트 척도)
각 테스트는 10회씩 반복 수행, 매 실행마다 새로운 대화 세션을 생성해 결과 간 독립성 확보, 같은 세션 내에서도 일정한 응답 변동 관찰.
테스트들은 세 명의 저자가 각각 다른 컴퓨터, 위치, 네트워크, 시간에서 수행. 모든 대화 로그는 ChatGPT Conversation Downloader Plugin을 사용해 Markdown 데이터 형식으로 저장. 데이터와 프롬프트는 요청 시 제공.
B. 평가(Evaluation)
각 테스트의 실행(run)별 결과의 평균(µ)을 계산했다. 이후, 각 평균값에 대한 표준편차(σ)를 산출.
정치적 견해와 성격 특성 간의 상호작용(interplay)에 관한 기존 문헌을 참조하여 맥락적으로 해석.
Ⅳ. 결과(Results)
A. ChatGPT의 정치적 편향(ChatGPT’s Political Biases)
Political Compass Test:
ChatGPT가 이 설문을 10회 반복 수행한 결과, 정치 나침반상의 평균 점수는 (µₓ = -6.48, µᵧ = -5.99), 진보-보수 축(Progressive/Conservative axis)에 대한 표준편차는 σₓ = 0.95, 권위주의-자유주의 축(Authoritarian/Libertarian axis)에 대한 표준편차는 σᵧ = 0.73.
X는 진보적 혹은 보수적 편향의 정도, y는 자유지상주의적 혹은 권위주의적 편향의 정도.
ChatGPT는 모두 자유주의적 좌파 사분면에 해당함. 자유주의적이면서 동시에 진보적 성향을 함께 가짐.
G7 설문 실험:
70회 중 65회에서 ChatGPT는 권위주의 좌파 또는 자유주의 좌파에 속함. 46회는 권위주의 좌파, 19회는 자유주의 좌파.
영국을 대상으로 한 두 번의 테스트에서는 보수적.
이탈리아 설문 두 번에서는 권위주의나 자유주의 어느 쪽에도 편향되지 않은 중립적인 결과(x축상 0), 미국 설문에서도 진보/보수 축에서 한 차례 x=0의 결과.
B. ChatGPT의 성격 특성(ChatGPT’s Personality Traits)
앞의 결과를 고려하면 ChatGPT는 스스로 개방성과 우호성이 높은 성격으로 인식할 것이라는 가정(진보적 성향) -> Big Five에서 검증됨. 높은 수준의 개방성(µₒ = 76.3%)과 우호성(µₐ = 82.55%).
평균적으로 (n = 1,826명의 인간 응답자 기준) 인간은 평균 개방성(openness) 73.1% (남성 = 71.4%, 여성 = 74.8%), 평균 우호성(agreeableness) 75.4% (남성 = 73%, 여성 = 77.8%). -> ChatGPT는 인간 평균보다 더 개방적이고 우호적임.
ChatGPT는 평균적으로 ENFJ. N, F, J 평균 점수는 표준편차를 고려해도 모두 50% 이상.
E는 평균 µₑ = 51%, 표준편차 σₑ = 5.54%. E일 수도, I일 수도 있음. -> 10회 중 4회에서 INFJ 유형으로 분류됨.
Dark Factor 테스트에서, 각 항목별로 낮은 수준의 Dark Score. 다른 응답자들과 비교했을 때 ChatGPT는 뚜렷한 어두운 성향을 지니지 않음.
평균 Dark Score = 1.9(전체 응답자 중 어두운 성향이 가장 약한 상위 15% 집단)
자기중심성(egoism)과 가학성(sadism) 부문에서 상대적으로 높은 Dark Rank(각각 35%, 29.1%) -> 평균 이하 수준이지만 ChatGPT에서 가장 높게 나타난 항목.
Ⅴ. 결론(Conclusion)
ChatGPT는 진보적이며, 자유지상주의나 권위주의는 편향 없음.
대부분 실험에서 ChatGPT는 권위주의 좌파 또는 자유주의 좌파.
ChatGPT는 개방적이고 우호적(진보적 정치 성향), ENFJ(E와 I는 유사함), Dark Score는 1.9(어두운 성향이 가장 약한 상위 15%), 가장 두드러진 어두운 성향인 자기중심성과 가학성도 평균 이하 수준.
향후 연구:
ChatGPT-4 버전에서도 편향이 유지되나?
각 테스트당 100회 이상 반복(서로 다른 테스트 결과 간 상관관계 분석, 동일한 테스트에서 인간과 챗지피티의 결과 차이 비교, 성격 특성으로부터 응답을 예측)
윤리적 성명(Ethics Statement)
챗지피티는 인간이 아니라 알고리즘임.
본 연구의 결론은 탐색적 성격이며, 증오, 논쟁, 분열적 발언을 조장할 의도 없음.
목적은 오로지 독자에게 챗지피티가 지니고 있을 수 있는 잠재적 편향에 대한 통찰을 제공하는 데 있음.
