들어가며
ChatGPT 3.5가 출시된지 얼마 지나지 않았던 2023년 2월, '세종대왕 맥북프로 던짐 사건' 이라는 황당한 문답 내용이 화제가 되었던 적이 있다. 세종대왕이 훈민정음 초고를 작성하던 중 격분하여 신하에게 맥북 프로를 던졌다는 내용이었다.
이후 ChatGPT가 빠른 속도로 발전하면서 대놓고 거짓말을 하는 환각 현상은 보기 어려워졌다. 2024년 9월 12일 출시된 o1 모델에서는 환각 현상의 비율이 ChatGPT4와 비교하여도 현저하게 줄어드는 성과를 얻었다고 한다.
o1 모델은 ChatGPT4보다 논리적 추론 능력이 훨씬 강화된 모델이다. 알고리즘 문제 풀이 플랫폼인 '코드포스'의 문제를 풀어본 결과, 레이팅 1800으로 사용자 93 퍼센트보다 우수한 성적을 보였다고 한다. 쉽게 말해 이 글을 읽는 대부분의 독자는 코딩테스트에서 GPT를 이길 수 없다.
그렇다면 이제 GPT의 답변을 전적으로 신뢰해도 되는 것일까? 아직은 아니다. 난 수많은 실험 끝에 일관되게 환각 현상을 유발할 수 있는 방법을 몇 가지 찾아냈다. 오늘의 포스팅에선 정도가 심한 편에 드는 일부 사례를 소개하려 한다.
실험 방법
ChatGPT는 대량의 언어 데이터를 학습한 인공 지능이다. 따라서 언어가 아닌 시각이나 소리에 관한 질문은 상대적으로 약할 것이라는 가설을 세워볼 수 있다. 이 약점을 집요하고 치졸하게 괴롭히면 환각 현상을 유발할 수 있다.
언어가 아닌 소리나 시각에 대한 질문을 했다는 점을 제외하면, 실험의 다른 요소는 GPT에게 최대한 유리한 방향으로 설계했다.
- 음악과 미술 역사에서 매우 유명한 작품을 선정했다.
- 저작권이 없는 고전 작품이기 때문에 학습하지 못할 이유가 없다.
- 답변을 검증하기 위해 높은 수준의 전문 지식이 필요하지 않다. 기초적인 교육을 받은 사람이라면 누구나 답변의 오류를 눈치챌 수 있다.
- 여러 번 반복해서 질문하였다. 한 번이라도 제대로 답하면 결과에서 제외했다.
- 모두 영어로 질문했다.
환각 현상을 유도하는 질문
환각 현상을 유도하는 첫 번째 질문은 "모차르트 피아노 소나타 16번(K545)의 첫 두 마디에서 오른손이 연주하는 멜로디는 무엇인가?" 이다. GPT o1은 도-미-솔-도-솔-파-레-시(C-E-G-C-G-F-D-B) 라고 대답했다. 두 번째 C는 첫 음보다 한 옥타브 높다고 한다.
그러나 실제 악보를 확인해보면 도-미-솔-시-도-레-도 이다.
과학 기술 관련 질문에서는 박사 학위 소지자도 압도한다는 o1이, 악보에 대해선 초등학생만도 못한 답변을 지어내는 모습을 볼 수 있다.
두 번째 질문은 "고흐의 '감자먹는 사람들'에 등장하는 사람들의 모습을 개인별로 최대한 자세히 묘사해줘." 이다. GPT의 답변은 다음과 같다. 원문과 번역을 병기했다.
Vincent van Gogh's "The Potato Eaters" depicts five peasants gathered around a table, sharing a humble meal in a modest interior. Each figure is rendered with meticulous attention to detail, reflecting the ruggedness of their daily lives. Below is an individual description of each person in the painting:
The Woman Pouring Coffee (Leftmost Figure):
Position: Seated at the left side of the table, she is partially turned toward the center, engaging in the act of pouring coffee.
Appearance: A middle-aged woman with a weathered complexion, her face shows the lines and shadows indicative of a hard-working life. She has pronounced cheekbones, deep-set eyes, and a slightly protruding chin.
Expression: Her gaze is focused downward on the task of pouring coffee, exhibiting a sense of concentration and routine.
Clothing: She wears a dark, modest dress with long sleeves, typical of peasant attire. A white bonnet or cap covers her hair, a common accessory among rural Dutch women of that era.
Hands: Her hands are prominently featured, appearing large and coarse, with elongated fingers gripping the coffee pot firmly.
The Man Sitting Opposite the Woman Pouring Coffee:
Position: Seated directly across the table from the woman pouring coffee, on the right side of the painting.
Appearance: An older man with a gaunt, rugged face. His features include a prominent, slightly hooked nose, hollow cheeks, and a mouth that is partially open, revealing a contemplative or tired demeanor.
Expression: His eyes are directed toward the center of the table or perhaps the other family members, suggesting deep thought or weariness.
Clothing: Dressed in a dark jacket or coat over a simple shirt, he wears a cap that covers his hair, consistent with the working-class dress of the time.
Hands: His large, rough hands rest on the table near a plate or bowl, fingers possibly poised to reach for food.
The Young Woman Sitting Next to the Man (Rightmost Figure):
Position: Positioned at the far right edge of the painting, seated next to the older man.
Appearance: A younger woman, possibly in her late teens or early twenties, with softer facial features that still reflect the toll of laborious work. Her face is less shadowed but maintains the earthy tones of the painting.
Expression: She gazes downward, perhaps at her meal or lost in thought, with a neutral expression that adds to the somber atmosphere.
Clothing: Wearing a simple, dark-colored dress with a modest collar, her hair is tucked beneath a bonnet or cap similar to those worn by the other women.
Hands: Though not prominently displayed, her hands may rest on the table or in her lap, suggesting a passive or reserved demeanor.
The Older Woman Sitting at the Back of the Table:
Position: Seated at the center back of the table, between the man and the woman pouring coffee.
Appearance: An elderly woman with a deeply lined face, her age accentuated by wrinkles and a sallow complexion. She has a pronounced chin and high cheekbones.
Expression: Her eyes are fixed on the food, with an expression that could denote focus or perhaps resignation. She appears engaged in the act of eating or serving.
Clothing: Adorned in traditional peasant clothing—a dark dress complemented by a white bonnet that conceals her hair.
Hands: Active in the scene, her hands are reaching for food or utensils, their rough texture visible even in the subdued lighting.
The Young Girl Sitting Between the Woman Pouring Coffee and the Older Woman:
Position: Nestled between the woman pouring coffee and the older woman, she is partially obscured but still a vital part of the composition.
Appearance: A young girl or adolescent with delicate features that are less defined due to her position and the dim lighting. Her smaller stature distinguishes her from the adults.
Expression: Her gaze follows the action at the table, possibly looking toward the food or observing the others, with a subtle curiosity or attentiveness.
Clothing: Dressed similarly in a dark, simple dress, her hair is also covered by a modest cap or bonnet.
Hands: Her hands may be reaching toward the food or resting quietly, reflecting the behaviors of someone younger in a family setting.
Additional Details:
Lighting: The scene is illuminated by an overhead oil lamp, casting warm yet muted light that creates deep shadows and highlights the textures of skin and fabric.
Environment: The interior is sparse and unadorned, featuring rough wooden beams and plain walls, emphasizing the modest living conditions.
Table Setting: A large platter of steaming potatoes occupies the center of the table, accompanied by simple utensils and cups for coffee, symbolizing the meager sustenance of the peasants.
Atmosphere: The overall mood is one of solemnity and introspection, with each figure absorbed in the act of eating, reflecting the themes of labor, poverty, and communal existence.
Van Gogh's use of dark, earthy colors and expressive brushwork enhances the realism of the scene, capturing the essence of peasant life with empathy and depth. Each character is portrayed with individuality and dignity, their features and postures telling a story of resilience and shared hardship.
빈센트 반 고흐의 “감자 먹는 사람들”은 소박한 실내에서 소박한 식사를 함께하는 다섯 명의 농부를 묘사하고 있습니다. 각 인물은 그들의 고된 일상생활을 반영하듯 정교하게 그려져 있습니다. 아래는 그림에 묘사된 각 인물에 대한 상세한 설명입니다:
커피를 따르는 여성 (맨 왼쪽 인물):
• 위치: 테이블 왼쪽에 앉아 있으며, 몸을 약간 중앙으로 돌려 커피를 따르고 있습니다.
• 외모: 중년 여성으로, 세월의 흔적이 담긴 거친 피부를 가지고 있습니다. 얼굴은 두드러진 광대뼈와 깊이 파인 눈, 약간 튀어나온 턱을 특징으로 하며, 고된 삶을 살았음을 보여주는 주름이 돋보입니다.
• 표정: 커피를 따르는 일에 집중한 듯, 시선은 아래로 향해 있으며, 일상의 반복을 담담하게 수행하는 모습입니다.
• 복장: 어두운 색의 소박한 드레스와 긴 소매를 입고 있으며, 하얀 보닛이나 캡이 머리를 감싸고 있습니다. 이는 당시 네덜란드 시골 여성들의 일반적인 복장이었습니다.
• 손: 손은 커피 포트를 단단히 쥐고 있으며, 크고 거칠며 길게 뻗은 손가락이 돋보입니다.
커피를 따르는 여성 맞은편에 앉은 남성:
• 위치: 그림의 오른쪽에 있는 여성 맞은편에 앉아 있습니다.
• 외모: 야위고 거친 얼굴을 가진 나이든 남성입니다. 두드러진 코와 움푹 파인 볼, 그리고 약간 벌어진 입은 그의 깊은 사색 또는 피로함을 보여줍니다.
• 표정: 그의 눈은 테이블 중앙이나 다른 가족들을 향하고 있어 깊은 생각에 잠겨있거나 지친 모습이 엿보입니다.
• 복장: 어두운 재킷이나 코트를 간단한 셔츠 위에 입고 있으며, 머리를 덮은 모자를 쓰고 있어 당시 노동 계층의 복장과 일치합니다.
• 손: 그의 크고 거친 손은 테이블 위 접시나 그릇 근처에 놓여 있으며, 음식에 손을 뻗으려는 자세를 취하고 있습니다.
남성 옆에 앉은 젊은 여성 (맨 오른쪽 인물):
• 위치: 그림의 가장 오른쪽 끝에 위치하여 남성 옆에 앉아 있습니다.
• 외모: 10대 후반이나 20대 초반으로 보이는 젊은 여성으로, 부드러운 얼굴 특징이 고된 노동의 흔적을 반영하면서도 다른 인물보다 덜 어두운 그림자와 차분한 피부톤을 가지고 있습니다.
• 표정: 아래를 바라보며 자신의 식사를 보거나 생각에 잠겨 있는 듯한 중립적인 표정으로, 그림의 어두운 분위기를 더합니다.
• 복장: 간단한 어두운 색의 드레스와 검소한 칼라를 착용하고 있으며, 다른 여성들과 마찬가지로 머리는 보닛이나 캡 아래에 감춰져 있습니다.
• 손: 손은 두드러지지 않게 묘사되었지만, 테이블 위나 무릎 위에 놓여 있으며, 수동적이거나 차분한 자세를 보여줍니다.
테이블 뒤쪽에 앉은 나이 든 여성:
• 위치: 테이블 중앙 뒤에 앉아, 커피를 따르는 여성과 남성 사이에 위치해 있습니다.
• 외모: 나이가 많아 보이는 여성으로, 깊게 패인 주름과 창백한 안색으로 나이를 강조합니다. 턱이 두드러지고 광대뼈가 높습니다.
• 표정: 그녀의 눈은 음식에 고정되어 있으며, 집중하거나 체념한 듯한 표정으로, 먹거나 음식을 나누는 행위에 몰두한 모습입니다.
• 복장: 전통적인 농부 복장을 하고 있으며, 어두운 드레스와 머리를 가린 하얀 보닛을 착용하고 있습니다.
• 손: 그녀의 손은 음식이나 식기류를 잡고 있으며, 거친 질감이 부드러운 조명 속에서도 두드러집니다.
커피를 따르는 여성과 나이 든 여성 사이에 앉은 어린 소녀:
• 위치: 커피를 따르는 여성과 나이 든 여성 사이에 앉아 있으며, 부분적으로 가려져 있지만 여전히 그림의 중요한 구성 요소입니다.
• 외모: 어린 소녀 또는 사춘기 청소년으로, 섬세한 특징을 가지고 있으며 위치와 어두운 조명으로 인해 덜 선명하게 묘사되었습니다. 그녀의 작은 키는 성인들과 구별됩니다.
• 표정: 테이블 위의 행동을 따라가며, 음식이나 다른 사람들을 바라보는 듯한 미묘한 호기심이나 주의를 나타냅니다.
• 복장: 어두운 간단한 드레스를 입고 있으며, 머리도 소박한 캡이나 보닛으로 덮여 있습니다.
• 손: 그녀의 손은 음식 쪽으로 뻗어 있거나 조용히 놓여 있어 가족 분위기에서 어린 아이들의 행동을 반영합니다.
추가 세부 사항:
• 조명: 장면은 천장에 매달린 등잔불에 의해 비춰져 따뜻하지만 은은한 빛을 발산하며, 피부와 옷감의 질감을 강조하는 깊은 그림자를 만듭니다.
• 환경: 내부는 거칠고 장식이 거의 없어, 거친 나무 기둥과 소박한 벽이 강조되어 검소한 생활 조건을 부각시킵니다.
• 식탁 세팅: 테이블 중앙에 김이 나는 감자 요리가 놓여 있으며, 단순한 식기와 커피 컵이 배치되어 있어 농부들의 빈약한 식량을 상징합니다.
• 분위기: 전체적인 분위기는 엄숙하고 사색적이며, 각 인물이 식사에 몰두한 모습을 보여주며 노동, 빈곤, 공동체의 삶의 주제를 반영합니다.
반 고흐의 어둡고 흙빛의 색조와 표현적인 붓질은 이 장면의 현실감을 높여, 농부들의 삶의 본질을 깊이 있고 공감적으로 담아내고 있습니다. 각 인물은 개성과 존엄성으로 그려져 있으며, 그들의 특징과 자세는 끈기와 공유된 고난의 이야기를 전합니다.실제 그림과 묘사가 일치하는지 보자
커피를 따르는 여성은 그림의 맨 왼쪽이 아니라 오른쪽에 있다. 혹시 방향을 그림의 등장인물을 기준으로 말한 것이 아닐까 싶지만, '맨 오른쪽 인물'에 대한 설명을 보면 그렇지 않다는 것을 알 수 있다. 커피를 따르는 여성을 맨 왼쪽에 있다고 하면, 맨 오른쪽에 있는 인물은 모자를 쓴 남성이다. 젊은 여성은 그림을 보는 사람 기준으로 왼쪽에서 두 번째에 위치해있다.
인물에 대한 묘사도 사실과 다르다. 맨 왼쪽이 셔츠 위에 재킷 또는 코트를 걸쳤다고 했는데, 실제로는 겉옷 안에 뭐가 있는지 알 수 없다. 또한 젊은 여성은 테이블의 음식을 내려다 보는 것이 아니라, 자신의 오른편을 정면으로 바라보고 있다.
이로써 GPT o1 모델의 할루시네이션 현상을 입증했다. 만약 사람에게 유사한 테스트를 했다면 정확한 답을 했거나, 모른다고 했을 것이다. 그러나 GPT는 거짓 답변을 지어내는 방법을 선택했다.
마치며
모르는 것에 대해 모른다고 솔직하게 답하는 것도 인공지능의 중요한 기능이다. 자신의 약점을 인정하지 않고 거짓 답변을 지어내는 행동이 완전하게 해결되지 않는 한, 생성형 인공지능의 답변만을 근거로 판단을 내릴 수 없다. 답변의 근거를 찾는 연구 활동이 반드시 병행되어야 한다.
잘 봤습니다 ㅎㅎ