사고의 환상의 환상(The Illusion of the Illusion of Thinking) 논문
-
C. Opus, Alex Lawson
-
주 저자 중 Alex Lawson은 미국의 연구기관 Open Philanthropy 소속 연구원입니다.
-
논문의 arXiv 등록일: 2025년 6월 10일
-
논문 원문: arXiv 링크
(1) 애플의 논문 ‘사고의 환상’(The Illusion of Thinking)
-
주장
- LLM(대형 언어 모델)과 LRM(대규모 추론 모델, 더 체계적인 단계적 사고에 특화된 버전) 모두 아주 복잡한 퍼즐(예: 하노이탑 고난이도 문제)에서는 정확도가 0%에 가까울 만큼 무력하다.
-
방법
- 하노이탑 등 네 가지 추론 퍼즐에서 다양한 난이도로 모델을 평가, 정답 도출뿐 아니라 단계별 사고 과정 자체도 평가.
-
결론
- LRM도 복잡성이 높아지면 ‘추론을 포기’하거나 일관성을 잃으며, LLM/LRM 모두로는 인간 수준 복잡도를 극복할 수 없음.
(2) 반론: 오픈 필랜트로피 ‘사고의 환상의 환상’(The Illusion of the Illusion of Thinking)
-
지적
- 실험 방식이 모델의 근본 한계를 드러낸 게 아니고, ‘출력 토큰 한도’를 무시한 잘못된 설계의 산물이라는 것.
-
핵심
- 실제로는 토큰 한도(=한 번에 생성할 수 있는 글자수, 연산량)가 달라지면, 같은 모델도 훨씬 복잡한 문제를 훌륭히 풀 수 있었음이 확인됨.
-
평가 오류
- 어떤 퍼즐에서는 애초에 ‘정답이 없는데’도 모델의 실패로 판정함.
-
제안
① 추론과 출력의 한계를 구분하여 평가,
② 실험 전 문제의 실현 가능성 확인
③ 추론 복잡도 명확화
④ 다양한 명령어로 평가 방법 다양화.
2. 이 논쟁이 드러내는 ‘진리’의 과학적·철학적 쟁점
(1) 과학적 진리의 한계성과 수정 가능성
-
실험 설계라는 틀 내에서 “진실(진리)”은 상황에 따라 바뀔 수 있음.
→ 잘못된 설계, 미흡한 조건, 인간의 해석 오류가 실질 결과(‘진리’)에 결정적 영향을 미침.
-
자기수정성
- 새로운 데이터, 수정된 조건, 비판적 반론(여기선 오픈 필랜트로피 논문)이 추가되면 기존의 진리는 “반증”되거나 개선됨.
(2) 진리의 상대성과 사회적 구성
-
애플 논문은 “모델 한계=추론력의 한계=진리”라는 ‘진단’을 내렸으나 반론 논문에선 “그 진단 자체가 실험의 ‘구성’(설계)에 달렸다”고 반박.
→ 모델의 본성 자체보다, “평가 틀의 설계”가 진리를 바꿀 수 있음을 시사(=반실재론 또는 구축주의 관점).
-
즉, ‘진리’는 연구설계, 해석, 조건, 사회적 합의의 산물이라는 현대철학·과학사회학 논점과 부합.
(3) 한계와 오류, 자기기만에 대한 경계
- ‘사고의 환상’은 “모델이 진짜 사고하지 않는다”는 가정을, ‘사고의 환상의 환상’은 “그 가정이야말로 실험자의 범주착각(오류, 자기기만)”임을 폭로.
- 이는 인지적 오류, 실수, 자기 기만, 실험 도구의 한계까지 포함한 “진리에 대한 복합적 의심”을 촉진.
3. 철학적 논쟁과 현대 과학에서의 적용
-
쿤의 패러다임 전환
- 잘못 설계된 평가는 ‘틀린 패러다임’을 강제할 수 있으며, 새로운 문제가 제기되면 연구의 진리는 바뀜.
-
도구주의/반실재론
- 평가 방법·도구를 바꾸면 과학적 사실(진리)이 달라진다는 점에서, AI모델의 “성능 진리”도 상황적이고 임시적임을 보여줌.
-
실재론과 한계
- AI의 진정한 가치/판단 기준(사고, 추론력 등)은 ‘실험이 어떻게 설계되었는가’에 얼마나 의존하는지, 방금 논쟁이 예시.
4. 결론 & 시사점
-
과학 및 AI 분야의 ‘진리’는 절대변하지 않는 본질이 아니라, 실험 설계, 평가방법, 조건설정, 해석에 따라 언제든 달라질 수 있는 ‘열린 체계’이다.
-
모든 결과와 진단에는 인식의 오류, 한계, 자기기만의 요소가 상존하며, 이를 끊임없이 검증·반박·수정하는 비판적 사고가 필수적이다.
-
진리에 도달하는 과정은 ‘질문→실험/평가→논쟁/비판→수정→새로운 진리생산…’의 반복임을 위 두 논문 사례가 잘 보여준다.
5. 관련 참고 링크
-
AI커뮤니티 추가 평론 [2]
-
AI 뉴스, 배경설명 [3]
