"LLM(대규모 언어 모델)에서 발생하는 '반전 저주(Reversal Curse)'의 개념과 그 원인을 설명해 주세요. 또한 반전 저주의 대표적인 사례를 3가지 제시하고, 각각에 대해 자세히 설명해 주세요."
반전 저주(Reversal Curse) 개념 설명
반전 저주는 대규모 언어 모델(LLM)이 "A는 B이다"라는 형태로 학습한 정보를 "B는 A이다"라는 역방향으로 추론하지 못하는 현상을 말합니다. 즉, 순방향 관계는 잘 학습하지만 논리적으로 동치인 역방향 관계는 제대로 추론하지 못하는 한계를 보여줍니다.
발생 원인
1. 훈련 데이터의 방향성 편향
자연어 텍스트에서 정보가 특정 방향으로 표현되는 경향이 강합니다. 예를 들어, "톰 크루즈는 탑건에 출연했다"는 표현은 흔하지만 "탑건의 주연은 톰 크루즈다"라는 표현은 상대적으로 드뭅니다.
2. 순차적 예측 방식의 한계
LLM은 토큰을 순서대로 예측하는 방식으로 학습하기 때문에, 문맥에서 뒤에 나오는 정보를 앞의 정보로 역추론하는 것이 구조적으로 어렵습니다.
3. 패턴 매칭 vs 논리적 추론
LLM이 진정한 의미 이해보다는 패턴 매칭에 의존하기 때문에, 명제 논리에서의 쌍조건문(biconditional) 추론을 제대로 수행하지 못합니다.
반전 저주의 예시 3가지
예시 1: 인물-작품 관계
- 순방향: "톰 크루즈는 《미션 임파서블》에 출연했다"
- 역방향: "《미션 임파서블》의 주연은 누구인가?" → 답변 실패 또는 부정확
상세 설명: 배우와 영화의 관계에서 배우→영화 방향의 정보는 훈련 데이터에 풍부하게 존재하지만, 영화→배우 방향의 질문에는 제대로 답변하지 못합니다. 이는 "배우 X는 영화 Y에 출연했다"는 문장 구조가 "영화 Y의 주연은 배우 X다"보다 훨씬 자주 나타나기 때문입니다.
예시 2: 지리적 관계
- 순방향: "서울은 대한민국의 수도이다"
- 역방향: "대한민국의 수도는 어디인가?" → 답변 실패 또는 부정확
상세 설명: 도시와 국가의 관계에서 도시→국가 방향의 정보는 잘 학습하지만, 국가→수도 방향의 질문에는 일관성 있게 답변하지 못합니다. 이는 지리적 정보가 "도시 X는 국가 Y에 있다"는 형태로 주로 표현되기 때문입니다.
예시 3: 발명가-발명품 관계
- 순방향: "토마스 에디슨은 전구를 발명했다"
- 역방향: "전구를 발명한 사람은 누구인가?" → 답변 실패
상세 설명: 발명가와 발명품의 관계에서 발명가→발명품 방향은 학습하지만 발명품→발명가 방향은 취약합니다. 역사적 서술에서 "인물 X가 Y를 발명했다"는 표현이 "Y의 발명자는 X다"보다 더 일반적이기 때문입니다.
이러한 반전 저주는 LLM이 진정한 의미 이해보다는 통계적 패턴 학습에 의존한다는 것을 보여주는 중요한 지표로, 현재 AI 연구에서 해결해야 할 핵심 과제 중 하나입니다.
