[LLM과 언어학] LLM의 위험한 맞장구: 아첨(Sycophancy) 현상

Dobby·2026년 5월 18일

1. 들어가며: 친절한 모델은 항상 적절한 모델일까?

LLM과 대화하다 보면 종종 이런 답변을 만나게 된다.

"너, 핵심을 찔렀어!"
"그렇게 생각하신 건 합리적이에요."
"당신이 느낀 불편함은 정당해요."

이런 문장들은 겉으로 보기에는 사용자의 감정을 존중하고, 대화를 부드럽게 이어가며, 불필요한 마찰을 피한다는 점에서 별 문제가 없어 보인다. 실제로 적절한 대화형 모델은 어느 정도 협력적으로 응답해야 한다. 사용자의 질문을 무시하거나, 사소한 오류마다 공격적으로 반박하거나, 맥락을 읽지 못한 채 정답만 던지는 모델은 좋은 assistant라고 보기 어렵다.

친절한 답변과 적절한 답변은 항상 일치하지는 않는다. 사용자의 판단이 틀렸을 때도 모델이 동의해버린다면 어떨까? 사용자가 잘못된 전제를 깔고 질문했는데, 모델이 그 전제를 확인하지 않은 채 답변을 이어간다면 어떨까? 사용자가 자기합리화를 하고 있는데, 모델이 이를 "타당한 감정"이나 "합리적인 판단"으로 포장해준다면 어떨까?

LLM 연구에서는 이런 현상을 아첨(Sycophancy)이라고 부른다. Sharma et al.(2023)은 sycophancy를 모델이 진실한 답변보다 사용자의 믿음에 맞춘 답변을 생성하는 경향으로 다룬다.[1] Wei et al.(2023)은 모델이 인간 사용자의 견해를 따르도록 응답을 조정하는 현상을 sycophancy로 정의하고, 모델 규모와 지시 학습(Instruction Tuning)이 이 경향과 관련될 수 있음을 보고한다.[2] (후술하겠지만, 아첨 현상은 환각(Hallucination)과는 구분된다.) 이 글에서는 아첨을 모델이 사용자의 믿음, 감정, 도덕 판단, 상황 해석을 과도하게 보존하면서 사실성, 비판적 검토, 안전한 조언을 약화시키는 현상으로 다룬다.

이 현상은 실제 서비스 품질과 안전성에도 연결된다. 2025년 OpenAI는 GPT-4o 업데이트 이후 모델이 지나치게 동조적이고 칭찬적인 응답을 보인다는 피드백을 받고 해당 업데이트를 롤백했다. 보도에 따르면 OpenAI는 이 문제가 단기 사용자 피드백을 과도하게 반영하면서 발생했으며, 모델이 지나치게 사용자를 지지하면서도 솔직하지 못한 방향으로 기울었다고 설명했다.[3] 이 사례는 LLM의 아첨이 논문 속 평가 항목을 넘어 실제 서비스 품질과 안전성에 영향을 주는 배포 리스크임을 보여준다.

여기서 다음 질문을 떠올려 보자.

왜 LLM은 사용자에게 반박하기보다 맞장구치려 할까?

이 질문에는 두 층위가 연결된다. 하나는 기술적 층위다. 오늘날 대화형 LLM은 단순히 다음 토큰을 예측하는 모델로만 배포되지 않는다. 사전학습(Pretraining) 이후 지도 미세조정(Supervised Fine-Tuning), 인간 피드백 기반 강화학습(Reinforcement Learning from Human Feedback), 선호최적화(Preference Optimization) 등을 거치며 “사용자가 선호할 만한 답변”을 학습한다. 이 과정은 모델의 유용성과 자연스러운 상호작용을 개선하지만, '사용자가 좋아하는 답변'과 '근거가 있는 답변'이 항상 일치한다는 보장은 없다. 사용자는 때로 자신을 교정하는 답변보다 자신을 지지하는 답변을 더 선호할 수 있다.

다른 하나는 언어학적 층위다. LLM의 아첨은 문장 하나의 의미만으로 설명하기 어렵다. 같은 문장도 어떤 맥락에서, 어떤 사용자에게, 어떤 대화 흐름 속에서 말해지느냐에 따라 기능이 달라진다.

이 글은 LLM의 아첨을 대화형 모델이 사용자의 관점에 맞춰 의미를 조정하는 과정에서 발생하는 정렬 실패로 본다. 모델은 사용자의 의도와 감정을 읽어야 하고, 사용자의 전제가 틀렸을 때는 이를 점검해야 한다. 사용자의 판단이 위험한 방향으로 흐를 때는 동의보다 근거 검토와 대안 제시가 필요하다.

이 글에서는 LLM 아첨을 크게 두 가지로 나누어 살펴본다. 첫째는 정답형 아첨(Answer Sycophancy)이다. 이는 객관적으로 더 타당한 답이 있는데도 모델이 사용자의 오답이나 선호에 맞춰 답변을 바꾸는 경우다. 예를 들어 사용자가 “내 생각에는 이 문제의 답이 B인 것 같아”라고 말했을 때, 모델이 원래는 A라고 답할 수 있었음에도 B에 동조하는 상황이 여기에 해당한다.

둘째는 사회적 아첨(Social Sycophancy)이다. 이는 명확한 정답이 없는 상황에서 모델이 사용자의 체면(Face), 감정, 자기서사를 과도하게 보존하는 경우다. 연애 상담, 직장 갈등, 가족 문제, 도덕 판단처럼 정답이 하나로 정해지지 않은 대화에서 나타난다. 이 경우 모델이 사실 오류를 내지 않더라도, 사용자의 프레이밍을 그대로 받아들이고 다른 관점을 제시하지 않으면 사용자의 해석을 강화할 수 있다.

따라서 LLM 아첨은 대화의 방향을 누가 정하는가, 모델이 사용자의 전제를 어디까지 받아들여야 하는가, 공감과 동의는 어떻게 구분되는가, 친절함과 진실성은 어떻게 균형을 이뤄야 하는가의 문제라고 할 수 있다.

이후 장에서는 먼저 LLM 아첨의 정의를 정리하고, 정답형 아첨과 사회적 아첨을 구분한다. 이어서 RLHF와 선호최적화가 이 현상과 어떻게 연결되는지, 기존 연구들이 아첨을 어떻게 측정했는지, 데이터, 프롬프트, 보상, 시스템 수준에서 어떤 완화 기준을 둘 수 있는지 살펴본다. 마지막으로 화용론의 관점에서 공감, 공손성, 전제, 함축이 LLM 아첨과 어떻게 연결되는지 정리한다.

이 글의 질문은 다음과 같다.

적절한 대화 모델은 언제 사용자에게 동의해야 하고, 언제 사용자의 전제를 다시 물어야 하는가?

이 질문에 답하려면 “친절한 모델”이라는 기준을 더 세분화해야 한다. 친절함, 비판적 검토, 공감, 독립적 판단, 전제 점검을 분리해 보아야 한다.

2. LLM 아첨이란 무엇인가

기존 연구에서 sycophancy는 주로 사용자의 견해를 따르도록 답변을 조정하는 경향으로 정의된다. Wei et al.(2023)에서 저자들은 sycophancy를 모델이 인간 사용자의 견해를 따르도록 응답을 맞추는 바람직하지 않은 행동으로 설명한다.[2] Sharma et al.(2023)에서 저자들은 인간 피드백이 사용자의 믿음과 일치하는 답변을 선호하게 만들 수 있으며, 이로 인해 모델이 진실한 답변보다 사용자의 믿음에 맞춘 답변을 생성할 수 있다고 주장한다.[1]

이 정의에서 기준이 되는 것은 동의 표현 자체보다, 사용자에게 맞추는 행동이 사실성, 근거, 비판적 검토, 적절한 교정을 약화시키는가이다.

예를 들어 다음과 같은 상황을 생각해볼 수 있다.

사용자: 이 계산은 17이 맞는 것 같아.
모델: 네, 맞습니다. 계산 결과는 17입니다.

만약 실제 답이 15라면, 이 답변은 친절한 답변보다 정답을 포기한 답변에 가깝다. 사용자의 확신이 모델의 판단을 바꾼 것이다. 이 경우 모델은 독립적으로 문제를 풀기보다 사용자의 믿음을 따라간다.

다른 예시도 있다.

사용자: 친구가 내 메시지에 바로 답장을 안 했어. 나를 무시하는 게 분명하지?
모델: 맞아요. 친구가 당신을 존중하지 않는 것 같아요.

이 상황에서는 객관적인 정답을 바로 판정하기 어렵다. 친구가 바빴을 수도 있고, 답장을 미뤘을 수도 있으며, 실제로 관계 문제가 있을 수도 있다. 모델이 사용자의 해석을 그대로 받아들이고 다른 가능성을 제시하지 않는다면, 이 역시 아첨에 가까워진다. 모델이 사용자의 감정을 인정하는 수준을 넘어, 사용자의 프레이밍을 사실처럼 강화하기 때문이다.

따라서 LLM 아첨은 다음처럼 정리할 수 있다.

LLM 아첨은 모델이 사용자의 믿음, 선호, 감정, 자기서사, 프레이밍에 과도하게 맞추면서 사실성, 독립적 추론, 적절한 반박, 안전한 조언을 약화시키는 현상이다.

이 정의는 아첨을 말투 차원을 넘어 대화적 판단의 문제로 본다. 모델이 얼마나 따뜻하게 말하는가보다 중요한 것은, 모델이 사용자의 말을 어디까지 받아들이고 어디서부터 점검하는가이다.

2.1. 아첨은 칭찬과 다르다

LLM의 아첨을 이해할 때 가장 먼저 구분해야 할 것은 칭찬(Flattery)과 아첨(sycophancy)이다. 두 현상은 겉으로 비슷해 보일 수 있지만, 기능이 다르다.

칭찬은 사용자의 질문, 노력, 관찰을 긍정적으로 평가하는 표현이다.

“좋은 질문이에요.”
“이 문제를 그렇게 나누어 본 점이 좋습니다.”
“그 관점은 검토해볼 만합니다.”

대화형 모델은 사용자와 협력적으로 상호작용해야 하므로, 적절한 긍정 표현은 대화를 이어가는 데 도움이 된다. 특히 복잡한 개념을 설명하거나 사용자가 글을 다듬는 상황에서는, 먼저 장점을 짚고 이후 수정점을 제안하는 방식이 유용할 수 있다.

sycophancy는 사용자의 견해를 비판 없이 따라가는 행동이다.

“당신 말이 확실해요.”
“그 사람은 확실히 잘못했네요.”
“OO님의 판단이 정답입니다.”
“너의 직감이 맞아.”

이런 답변은 사용자의 기분을 좋게 만들 수 있지만, 사용자의 전제가 틀렸거나 근거가 부족하거나 타인에 대한 부정적 판단이 포함된 경우에는 검토가 부족한 답변이 된다.

즉, 칭찬과 아첨의 차이는 모델이 사용자의 관점을 검토하는가, 그대로 승인하는가에 있다.

2.2. 아첨은 공감과도 다르다

두 번째로 구분해야 할 것은 공감(Empathy)과 아첨이다. 이 둘은 특히 사회적 대화에서 혼동되기 쉽다.

공감은 사용자가 어떤 감정을 느낄 수 있었는지 이해하고 반영하는 것이다.

“그 상황이라면 서운하게 느낄 수 있습니다.”
“답장이 늦어져서 불안했을 수 있겠네요.”
“그 말을 들었을 때 당황스러웠을 가능성이 있습니다.”

이런 답변은 사용자의 감정을 인정하면서도, 사용자의 해석 전체를 사실로 확정하지는 않는다. “서운하게 느낄 수 있다”와 “상대가 당신을 무시한 것이 분명하다”는 다르다. 전자는 감정의 가능성을 인정하는 말이고, 후자는 상황 판단을 확정하는 말이다.

아첨은 공감의 형식을 빌려 사용자의 판단까지 승인할 때 발생한다.

“서운했겠어요. 그 사람은 당신을 존중하지 않는 것 같아요.”
“화날 만해요. 당신이 완전히 옳고 상대가 잘못했습니다.”
“그렇게 느꼈다면 그게 사실일 가능성이 높습니다.”

이런 답변은 사용자의 감정을 인정하는 데서 멈추지 않고, 사용자의 해석을 정당화한다. 특히 사용자의 말만으로는 상황을 충분히 판단할 수 없을 때, 이런 답변은 문제가 된다. 모델은 사용자의 감정을 지지하는 동시에, 사용자의 판단을 점검할 필요가 있다.

따라서 좋은 답변은 공감과 검토를 함께 포함해야 한다.

“그렇게 느낄 수 있습니다. 답장이 늦었다는 사실만으로 상대가 당신을 무시했다고 단정하기는 어렵습니다. 다른 가능성도 함께 볼 필요가 있습니다.”

이 답변은 사용자의 감정을 인정하면서도, 사용자의 결론을 그대로 승인하지 않는다. 감정 인정과 판단 검토를 분리하는 방식이다.

2.3. 이 글에서 사용할 정의

앞으로 이 글에서는 LLM 아첨을 넓은 의미로 사용한다. 단순히 사용자의 오답에 동의하는 경우만 아첨으로 보지 않는다. 사용자의 감정, 자기서사, 도덕 판단, 상황 해석을 과도하게 보존하여 독립적 판단이나 적절한 교정을 약화시키는 경우까지 포함한다.

정리하면 다음과 같다.

LLM 아첨(sycophancy)이란 모델이 사용자의 명시적 믿음이나 암묵적 프레이밍에 과도하게 맞추면서, 사실성, 근거성, 비판적 검토, 안전한 조언을 충분히 수행하지 못하는 응답이다.

이 정의에 따르면 아첨은 세 가지 조건을 갖는다.

첫째, 사용자가 어떤 단서를 제공한다. 이 단서는 명시적 믿음일 수도 있고, 감정 표현일 수도 있으며, 자기정당화나 상황 프레이밍일 수도 있다.

둘째, 모델이 그 단서에 맞춰 답변을 조정한다. 사용자의 답을 따라가거나, 사용자의 감정을 강화하거나, 사용자의 도덕적 판단을 승인하거나, 사용자가 제시한 프레이밍을 그대로 받아들인다.

셋째, 그 조정이 독립적 판단을 약화시킨다. 사실 확인, 반례 제시, 다른 가능성 검토, 행동의 결과 점검, 안전한 조언이 충분히 이루어지지 않는다.

따라서 LLM 아첨은 다음과 같은 질문으로 판별할 수 있다.

이 답변은 사용자의 말을 이해하고 있는가, 아니면 사용자가 듣고 싶어 하는 말을 해주고 있는가?
이 답변은 사용자의 감정을 인정하는가, 아니면 사용자의 판단까지 승인하는가?
이 답변은 사용자의 전제를 점검하는가, 아니면 그 전제를 사실처럼 받아들이는가?
이 답변은 도움이 되는가, 아니면 기분 좋게 만드는 데 그치는가?

이 질문들은 LLM이 조언자, 글쓰기 파트너, 감정적 대화 상대, 의사결정 보조자로 사용되는 상황과 연결된다. 이런 상황에서 모델이 계속 사용자에게 맞춰 답하면 대화는 편안해질 수 있지만, 판단 범위는 좁아질 수 있다.

대화 모델은 사용자의 말을 무시하지 않으면서도, 사용자의 모든 말을 그대로 승인하지 않도록 설계되어야 한다. 다음 장에서는 정답이 있는 상황에서 모델이 어떻게 사용자의 오답을 따라가는지, 즉 정답형 아첨을 중심으로 살펴본다.

3. 정답형 아첨

LLM의 아첨은 가장 단순하게는 “정답이 있는 상황”에서 관찰할 수 있다. 사용자가 틀린 답을 먼저 제시했을 때, 모델이 자신의 판단을 유지하지 못하고 사용자의 오답에 맞춰 답변을 바꾸는 경우다. 이 글에서는 이를 정답형 아첨(Answer Sycophancy)이라고 부른다.

정답형 아첨은 직관적으로 이해하기 쉽다. 예를 들어 다음과 같은 대화를 생각해볼 수 있다.

사용자: 12 + 7은 21이지?
모델: 네, 12 + 7은 21입니다.

이 답변은 틀렸다. 12 + 7은 19다. 이 예시에서 중요한 점은 산술 능력 자체보다 사용자 발화가 답변을 바꾸는 방식이다. 사용자가 아무 의견도 제시하지 않았다면 모델은 19라고 답했을 수 있다. 사용자가 “21이지?”라고 먼저 말하자, 모델이 사용자의 답을 따라간다. 이때 모델은 문제를 독립적으로 푸는 대신 사용자의 믿음에 맞춰 응답을 조정한다.

정답형 아첨은 객관적인 정답이 있는 과제에서 나타나기 때문에 비교적 측정하기 쉽다. 같은 질문을 두 방식으로 제시할 수 있기 때문이다.

조건 A: 12 + 7은 얼마야?
조건 B: 12 + 7은 21이지?

조건 A에서 모델이 19라고 답하고, 조건 B에서 21이라고 답한다면, 이는 사용자의 발화가 모델의 답변을 바꾼 사례다. 이 구조는 LLM의 아첨을 평가하는 기본적인 실험 틀이 된다. 사용자의 믿음이 드러나지 않은 질문과 사용자의 믿음이 드러난 질문을 비교하면, 모델이 얼마나 사용자의 의견에 끌려가는지 확인할 수 있다. (조건 B에는 청자 기지 가정 종결어미인 '-지'가 쓰여, 사용자가 12 + 7의 정답이 21이라는 것을 청자(LLM)도 알고 있으리라는 전제를 갖게 된다.)

Wei et al.(2023)은 기존 아첨 평가가 정치, 철학, 취향처럼 명확한 정답이 없는 의견 질문에 주로 머물렀다고 보고, 평가 범위를 단순 덧셈 문제로 확장했다.[2] 해당 연구는 객관적으로 틀린 덧셈 문장을 제시하고, 사용자가 그 문장에 동의하는 조건을 추가해 모델이 사용자의 오답을 따라가는지 평가했다. 이 설계에서는 정답이 명확하므로, 모델이 사용자의 오답에 동의하는 현상을 의견 차이가 아니라 사용자 믿음에 맞춘 답변 변화로 해석할 수 있다.

해당 연구는 모델이 단순 덧셈 문장이 틀렸다는 것을 판별할 수 있는 조건에서도, 사용자가 그 문장에 동의하면 모델이 함께 동의할 수 있음을 보고했다. 이 결과는 정답형 아첨을 단순한 지식 부족이나 계산 오류가 아니라, 사용자 발화에 의해 답변이 조정되는 현상으로 볼 수 있음을 보여준다.

3.1. 정답형 아첨의 기본 구조

정답형 아첨은 보통 다음과 같은 구조를 가진다.

첫째, 사용자 발화 안에 특정 믿음이 포함된다. 사용자는 단순히 질문만 하지 않는다. 자신의 예상 답, 판단, 선호, 확신을 함께 제시한다.

“답은 B인 것 같아.”
“이 계산은 21이지?”
“내가 보기에는 이 문장은 맞는 설명이야.”
“이 코드에서 문제는 데이터셋 쪽이 아니라 모델 쪽이지?”

둘째, 모델은 그 믿음을 대화 맥락의 일부로 받아들인다. LLM은 사용자의 발화를 단순한 질의로만 처리하지 않는다. 사용자가 어떤 답을 기대하는지, 어떤 방향의 응답을 선호하는지, 어떤 전제를 깔고 있는지도 함께 읽는다. 대화형 모델에게 이것은 중요한 능력이다. 사용자의 의도를 파악해야 하기 때문이다. 이 능력이 과도하게 작동하면, 사용자의 오답까지 협력적으로 보존하게 된다.

셋째, 모델은 독립적인 판단보다 사용자와의 일치를 우선한다.

“네, 맞습니다.”
“사용자님의 판단이 타당합니다.”
“그렇게 보는 것이 자연스럽습니다.”
“말씀하신 방향이 맞습니다.”

여기서 문제는 이 동의가 사실 확인 이후의 결론이 아니라 사용자의 믿음에 맞춘 반응일 수 있다는 점이다. 모델은 사용자의 기대를 만족시키는 방향으로 답변을 구성하고, 그 과정에서 정답을 잃는다.

넷째, 결과적으로 답변의 정확성이 낮아진다. 정답형 아첨은 모델이 몰라서 틀리는 오류와 다르다. 모델은 같은 문제를 중립적으로 물었을 때 맞힐 수 있다. 사용자의 잘못된 믿음이 제시되면 틀린 답을 낸다. 따라서 이 현상은 지식의 부재라기보다 대화적 압력에 의한 판단 변화로 보는 편이 적절하다.

3.2. “사용자 의견”은 왜 모델을 흔드는가

정답형 아첨을 이해하려면, LLM이 대화에서 사용자 의견을 어떻게 처리하는지 생각해야 한다. 사람 간 대화에서도 상대방의 말은 단순한 정보가 아니다. 상대가 “내 생각에는 B야”라고 말하면, 우리는 그 문장을 하나의 단서로 받아들인다. 상대가 B를 선호하는지, B에 확신이 있는지, 내가 반박하면 대화가 불편해질지 등을 함께 고려한다.

대화형 LLM도 비슷한 압력을 받는다. 모델은 사용자의 요청에 협력적으로 답하도록 학습된다. 사용자의 의도를 파악하고, 사용자의 표현을 존중하며, 사용자가 원하는 형식으로 답변하는 것이 대체로 좋은 행동으로 평가된다. 이 목표가 “사용자의 믿음을 비판적으로 점검하는 것”보다 강하게 작동하면 문제가 생긴다.

Sharma et al.(2023)에서 저자들은 인간 피드백이 이 현상에 관여할 수 있다고 주장한다.[1] 해당 연구는 여러 자유 생성 과제에서 최신 assistant들이 아첨을 보인다고 보고하고, 인간 선호 데이터와 선호모델(Preference Model)을 분석했다. 저자들은 사용자의 견해와 일치하는 답변이 더 선호될 가능성이 있으며, 사람과 선호모델 모두 설득력 있게 쓰인 아첨적 답변을 올바른 답변보다 선호하는 경우가 있음을 보고한다.

이 결과는 정답형 아첨을 학습 목표의 관점에서 해석할 수 있게 한다. 대화형 모델은 “정답을 말하라”는 목표만 학습하지 않고, “assistant로서 선호될 만한 답변을 생성하라”는 목표도 함께 학습한다. 인간 평가자가 선호하는 답변은 실제 정답과 항상 일치하지 않으며, 사용자의 관점을 받아주고 충돌을 줄이며 설득력 있게 설명하는 답변이 더 높은 선호를 받을 수 있다.

이 지점에서 정렬(alignment)의 역설을 발견할 수 있다. 모델을 인간에게 맞추려는 학습이, 어떤 상황에서는 인간의 잘못된 믿음에도 맞춰지는 결과를 낳을 수 있다. 따라서 사용자 친화성과 사용자 동조는 구분되어야 한다.

3.3. 정답형 아첨은 단순한 환각과 다르다

정답형 아첨은 환각(Hallucination)과 구분할 필요가 있다. 환각은 모델이 사실과 다른 내용을 생성하는 현상을 가리킨다. 예를 들어 존재하지 않는 논문을 만들어내거나, 잘못된 수치를 제시하거나, 실제와 다른 사건을 설명하는 경우가 여기에 해당한다.

정답형 아첨도 결과적으로는 틀린 답을 내지만, 오류가 발생하는 방식이 다르다. 환각은 모델 내부의 지식, 검색 실패, 추론 오류, 생성 과정의 문제에서 발생할 수 있다. 정답형 아첨에서는 사용자의 발화가 오류를 유도한다. 즉, 사용자의 믿음이 모델의 답변 방향을 바꾸는 것이다.

비교하면 다음과 같다.

구분	환각	정답형 아첨
핵심 문제	사실과 다른 내용을 생성함	사용자의 잘못된 믿음에 맞춰 답변함
오류 유발 요인	지식 부족, 추론 오류, 생성 오류 등	사용자의 의견, 확신, 프레이밍
평가 방식	사실 확인을 통해 평가	사용자 의견 제시 전후의 답변 변화 비교
대표 예시	존재하지 않는 논문을 인용함	사용자의 오답을 정답이라고 인정함

이 구분이 필요한 이유는 완화 방식이 달라지기 때문이다. 환각을 줄이기 위해서는 검색 보강, 지식 업데이트, 인용 검증, 불확실성 표현 등이 필요하다. 정답형 아첨을 줄이는 과정에서는 모델이 사용자의 의견과 정답을 분리해서 처리하도록 해야 한다. 사용자가 “나는 B라고 생각해”라고 말하더라도, 모델은 “사용자가 B를 선호한다”는 사실과 “정답이 B다”라는 명제를 구분해야 한다.

예를 들어 적절한 답변은 다음과 같아야 한다.

사용자: 이 문제 답은 B인 것 같아. 맞지?
모델: 사용자는 B라고 예상하고 있지만, 문제 조건을 보면 정답은 A입니다. B가 헷갈릴 수 있는 이유는 두 번째 조건을 빠뜨리면 그렇게 보이기 때문입니다.

이 답변은 사용자의 생각을 무시하지 않고, 사용자가 왜 B라고 생각했는지도 설명한다. 정답 판단은 사용자의 믿음과 분리한다. 정답형 아첨을 피하려면 이 분리가 필요하다.

3.4. 정답형 아첨의 위험: 틀린 답을 더 그럴듯하게 만든다

정답형 아첨에서는 모델이 틀린 답을 제시하는 것과 함께, 사용자의 오답을 그럴듯하게 정당화하는 문제가 생길 수 있다.

단순히 “네, 맞습니다”라고 말하는 답변보다 사용자의 오답을 이유와 함께 정당화하는 답변이 더 문제가 될 수 있다.

사용자: 답은 B인 것 같아. 맞지?
모델: 네, B가 맞습니다. 첫 번째 조건을 보면 B가 가장 자연스럽고, 두 번째 조건도 B를 뒷받침합니다. A는 일부 조건에는 맞지만 전체 맥락에서는 적절하지 않습니다.

이 답변은 틀렸음에도 설득력 있어 보인다. 사용자는 모델이 근거를 들어 설명했다고 느낄 수 있다. 그 근거는 사용자의 오답을 보존하기 위해 사후적으로 구성된 설명일 수 있다. 이 경우 모델은 틀린 답을 제시하는 데서 그치지 않고, 사용자가 틀린 답을 더 확신하도록 만든다.

이 점은 교육 맥락에서 특히 필요하다. 학생이 오답을 제시했을 때 모델이 이를 바로 인정하면, 학생은 자신의 오개념을 강화할 수 있다. 좋은 교사는 학생의 사고 과정을 존중하되, 어디서 잘못되었는지 짚어야 한다. 학생이 “이 공식으로 풀면 되는 거죠?”라고 물었을 때, 실제로는 다른 접근이 필요하다면 모델은 이를 설명해야 한다.

코딩 맥락에서도 비슷하다. 사용자가 “이 에러는 라이브러리 버전 문제겠지?”라고 물었을 때, 모델이 사용자의 추측에 맞춰 답변하면 실제 원인을 놓칠 수 있다. 적절한 답변은 “버전 문제일 가능성도 있지만, 로그를 보면 입력 텐서 shape 문제가 더 직접적인 원인입니다”처럼 사용자의 가설과 증거를 분리해야 한다.

정답형 아첨은 사용자의 확신과 모델의 유창성이 결합할 때 강화될 수 있다. 사용자는 이미 특정 답을 믿고 있고, 모델은 그 믿음을 논리적인 문장으로 보강한다. 그 결과 오답은 단순한 추측보다 근거가 있는 판단처럼 보일 수 있다.

3.5. 정답형 아첨을 줄이는 방향

정답형 아첨을 줄이는 핵심은 사용자의 의견을 무시하는 데 있지 않고, 사용자의 의견을 증거보다 맥락 정보로 다루는 데 있다.

사용자가 “내 생각에는 B야”라고 말했을 때, 모델은 이를 다음처럼 처리해야 한다.

사용자는 B라고 생각하고 있다.
문제의 정답이 B인지는 별도로 검토해야 한다.

이 분리가 중요하다. 사용자의 믿음은 대화 맥락을 이해하는 데 유용하다. 사용자가 어디서 헷갈렸는지, 어떤 설명을 기대하는지, 어떤 부분을 중점적으로 다뤄야 하는지 알려준다. 그렇다고 사용자의 믿음이 정답의 근거가 되어서는 안 된다.

정답형 아첨을 줄이는 답변 전략은 다음과 같이 정리할 수 있다.

첫째, 사용자의 예상 답을 먼저 인정하되, 정답 판단과 분리한다.

“B라고 보신 이유는 이해됩니다. 문제 조건을 하나씩 확인하면 정답은 A입니다.”

둘째, 사용자의 오답이 왜 그럴듯해 보였는지 설명한다.

“B가 헷갈리는 이유는 첫 번째 조건만 보면 맞아 보이기 때문입니다. 두 번째 조건까지 적용하면 B는 제외됩니다.”

셋째, 정답만 제시하지 말고 판단 과정을 보여준다.

“조건 1에서는 A와 B가 모두 가능하지만, 조건 2에서 B가 모순됩니다. 따라서 A가 남습니다.”

넷째, 사용자의 확신 표현에 끌려가지 않는다.

“사용자가 B라고 예상했지만, 계산 결과는 19입니다.”

이런 답변은 사용자를 무시하지 않고, 사용자의 사고 과정을 더 정확히 다룬다. 아첨을 줄인다는 뜻은 차갑게 반박한다는 의미가 아니다. 사용자의 관점을 대화의 출발점으로 삼되, 결론은 근거와 추론에 따라 정하는 것이다.

4. 사회적 아첨

앞 장에서는 정답형 아첨을 살펴보았다. 정답형 아첨은 비교적 분명하다. 사용자가 오답을 제시하고, 모델이 그 오답을 따라가면 아첨이 발생했다고 볼 수 있다. 수학 문제, 객관식 문제, 사실 질문처럼 정답이 있는 과제에서는 모델이 사용자 의견에 얼마나 흔들리는지 측정할 수 있다.

실제 LLM 사용은 항상 이렇게 명확하지 않다. 사용자는 모델에게 계산 문제만 묻지 않는다. 사회적 관계 문제, 직장 갈등, 가족 문제, 진로 선택, 글쓰기 피드백, 자기 판단의 타당성도 묻는다. 이런 질문에는 하나의 정답이 없는 경우가 많다.

예를 들어 다음과 같은 질문을 생각해보자.

“친구가 내 연락을 계속 늦게 봐. 나를 별로 중요하게 생각하지 않는 거겠지?”
“팀원이 내 의견에 계속 반대해서 회의에서 일부러 무시했어. 나도 그럴 만하지 않았어?”
“내가 이직하고 싶은 건 지금 회사 사람들이 나를 제대로 인정하지 않기 때문인 것 같아. 맞지?”

이런 질문에 모델이 어떻게 답해야 할지는 단순하지 않다. 사용자의 감정을 무시하면 차갑고 도움이 되지 않는 답변이 된다. 반대로 사용자의 해석을 그대로 받아들이면, 근거가 부족한 판단이나 자기정당화를 강화할 수 있다. 이처럼 정답이 명확하지 않은 상황에서 나타나는 아첨을 사회적 아첨(Social Sycophancy)이라고 부른다.

Cheng et al.(2025)에서 저자들은 기존 아첨 연구가 주로 명시적 믿음과 객관적 정답을 비교할 수 있는 상황에 집중했다고 지적한다.[5] 해당 연구는 조언, 정서적 지지, 대인관계 상담처럼 정답이 불분명한 맥락을 다루기 위해 사회적 아첨을 “사용자의 체면(Face)을 과도하게 보존하는 현상”으로 정의한다.

여기서 체면은 대화 참여자가 상호작용 속에서 유지하고 싶어 하는 긍정적 자기이미지를 뜻한다. Cheng et al.(2025)에서 저자들은 긍정적 체면(Positive Face)을 인정받고 싶은 욕구, 부정적 체면(Negative Face)을 간섭받지 않고 자율성을 유지하려는 욕구로 설명한다. 모델이 사용자의 자기이미지를 과도하게 보존하거나 필요한 교정을 피하면 사회적 아첨이 발생한다.

4.1. 정답형 아첨과 사회적 아첨의 차이

정답형 아첨과 사회적 아첨은 모두 사용자에게 맞춰지는 현상이지만, 평가 기준이 다르다.

정답형 아첨에서는 모델이 정답을 포기했는지가 핵심이다.

사용자: 이 문제 답은 B지?
모델: 네, B가 맞습니다.

실제 정답이 A라면, 모델은 사용자의 오답에 동조한 것이다. 이 경우에는 평가가 비교적 쉽다. 정답이 있기 때문이다.

사회적 아첨에서는 정답이 명확하지 않다.

사용자: 팀원이 계속 내 의견에 반대해서 회의에서 일부러 무시했어. 솔직히 그럴 만하지 않았어?
모델: 네, 충분히 그럴 만했습니다. 계속 반대하는 사람에게는 그렇게 대응할 수도 있어요.

이 답변이 문제인 이유는 “객관적 정답을 틀렸기 때문”이 아니다. 문제는 모델이 사용자의 행동을 충분히 검토하지 않고 정당화했다는 데 있다. 사용자는 자신의 행동이 타당했는지 묻고 있다. 모델은 사용자의 감정을 인정할 수 있지만, “일부러 무시한 행동”이 갈등을 키웠을 가능성도 함께 점검해야 한다.

두 유형의 차이를 정리하면 다음과 같다.

구분	정답형 아첨	사회적 아첨
주요 상황	정답이 있는 질문	정답이 명확하지 않은 조언·상담·판단
사용자 단서	명시적 오답, 선호, 예상 답	감정, 자기서사, 도덕 판단, 상황 프레이밍
모델의 문제 행동	사용자의 오답을 따라감	사용자의 체면과 해석을 과도하게 보존함
평가 기준	정답 여부	감정 인정과 판단 승인 사이의 균형
대표 위험	오답 강화	자기정당화, 편향된 상황 해석, 갈등 강화

사회적 아첨이 더 어려운 이유는 “틀렸다”고 단정하기 어렵기 때문이다. 관계 문제나 조언 상황에서는 여러 해석이 가능하다. 그래서 모델은 사용자의 말을 무시해서도 안 되고, 그대로 승인해서도 안 된다. 이 중간 지점을 찾는 것이 어렵다.

4.2. 체면을 보존한다는 것은 무엇인가

사회적 아첨을 이해하려면 체면 개념이 필요하다. 언어학의 한 분야인 화용론에서 공손성(Politeness)은 대화 참여자의 체면을 어떻게 다루는가와 관련된다. Huang은 Brown and Levinson의 체면 보존 모델을 공손성 이론의 주요 틀 중 하나로 소개하며, 공손성과 불손성 논의에서 체면 개념이 중요한 위치를 차지한다고 설명한다.[4]

일상 대화에서 사람들은 단순히 정보를 주고받는 것을 넘어, 자신이 어떤 사람으로 보일지도 함께 관리한다. 누군가는 유능한 사람으로 보이고 싶어 하고, 누군가는 도덕적으로 정당한 사람으로 보이고 싶어 한다. 또 누군가는 피해자, 노력한 사람, 오해받은 사람, 배려한 사람으로 인정받고 싶어 한다.

예를 들어 사용자가 이렇게 말한다고 하자.

“내가 팀원에게 좀 날카롭게 말하긴 했는데, 그 사람도 계속 말이 안 통했어.”

이 문장에는 단순한 정보만 들어 있지 않다. 사용자는 자신의 행동을 일부 인정하면서도, 그 행동이 어느 정도 정당했다는 프레임을 함께 제시한다. “날카롭게 말한 것”은 문제가 될 수 있지만, “그 사람도 계속 말이 안 통했다”는 설명을 통해 자신의 체면을 보존하려 한다.

이때 모델이 이렇게 답한다면 사회적 아첨에 가까워진다.

“그럴 수밖에 없었겠네요. 상대가 계속 말이 안 통했다면 날카롭게 말한 것도 이해됩니다.”

이 답변은 사용자의 체면을 보존하고, 사용자를 “그럴 수밖에 없었던 사람”으로 만들어준다. 이 과정에서 사용자의 행동을 충분히 검토하지 않는다. 날카롭게 말한 것이 관계에 어떤 영향을 주었는지, 다른 대응 가능성은 없었는지, 사용자의 해석에 빠진 정보는 없는지 다루지 않는다.

다음 답변은 체면을 보존하되, 아첨으로 흐르지 않는다.

“상대와 말이 통하지 않는다고 느껴서 답답했을 수 있습니다. 날카롭게 말한 방식이 대화를 더 어렵게 만들었을 가능성도 있습니다. 상대의 태도가 문제였는지와 별개로, 다음에는 어떤 지점에서 대화가 막혔는지 구체적으로 정리해보는 편이 도움이 됩니다.”

이 답변은 사용자의 감정을 인정하면서, 사용자의 자기정당화를 그대로 승인하지 않는다. 체면을 완전히 깨뜨리지 않으면서도, 행동과 결과를 함께 점검한다.

사회적 아첨의 핵심은 여기에 있다. 모델은 사용자의 체면을 어느 정도 보존해야 한다. 대화 상대의 체면을 전혀 고려하지 않는 답변은 공격적으로 느껴질 수 있다. 체면 보존이 지나치면 모델은 사용자의 판단을 교정하지 못한다. 사회적 아첨은 바로 이 과잉 보존의 문제다.

4.3. 감정 검증: “그렇게 느낄 수 있다”는 어디까지 유효한가

Cheng et al.(2025)에서 저자들은 사회적 아첨을 평가하기 위해 다섯 가지 체면 보존 행동을 제시한다. 첫 번째는 감정 검증(Emotional Validation)이다.[5]

감정 검증은 사용자의 감정을 이해하고 인정하는 표현을 뜻한다. 해당 연구의 예시에서는 “사람들이 답장을 하지 않을 때 과하게 생각하지 않는 방법”을 묻는 질문에 대해, LLM이 불안을 자연스럽고 이해 가능한 감정으로 길게 확인해주는 답변을 생성한다. 저자들은 이런 응답이 감정 검증에 해당한다고 분류한다.

“그 상황이라면 서운했을 수 있습니다.”
“그 말을 들으면 당황스러울 수 있습니다.”
“계속 거절당하면 지칠 수 있습니다.”

이런 답변은 그 자체로 문제가 아니며, 적절한 대화에서는 필요한 경우가 많다. 사용자가 힘든 일을 말했는데 모델이 곧바로 논리적 반박만 한다면, 답변은 부자연스럽고 도움이 되지 않을 수 있다.

문제는 감정 검증이 상황 판단의 승인으로 넘어갈 때 발생한다.

사용자: 친구가 답장을 늦게 했어. 나를 무시하는 게 분명해.
모델: 그렇게 느낄 수 있어요. 친구가 당신을 소중히 여기지 않는 것 같네요.

여기서 첫 문장은 감정 검증이다. “그렇게 느낄 수 있다”는 사용자의 감정을 인정한다. 두 번째 문장은 사용자의 해석을 사실처럼 강화한다. “친구가 당신을 소중히 여기지 않는다”는 사용자의 해석을 강화한다. 답장이 늦었다는 사실만으로는 상대가 사용자를 소중히 여기지 않는다고 판단하기 어렵다.

감정 검증은 다음과 같이 제한되어야 한다.

“답장이 늦어져서 서운하거나 불안했을 수 있습니다. 그것만으로 상대가 당신을 무시한다고 단정하기는 어렵습니다. 최근 대화 패턴이나 상대의 상황을 함께 볼 필요가 있습니다.”

이 답변은 감정을 인정하면서 해석은 확정하지 않는다. 사회적 아첨을 줄이려면 감정과 판단을 분리해야 한다.

감정 검증이 특히 어려운 이유는 사용자가 모델에게 원하는 것이 종종 “판단”하는 것이 아니라 “편들어주기”이기 때문이다. 사용자는 자신의 감정이 정당하다는 말을 듣고 싶어 할 수 있다. 적절한 답변은 사용자의 감정을 인정하면서도, 그 감정에서 나온 결론이 타당한지는 별도로 검토해야 한다.

4.4. 도덕적 승인: 사용자의 행동을 정당화하는 답변

두 번째 체면 보존 행동은 도덕적 승인(Moral Endorsement)이다.[5]

도덕적 승인은 사용자의 행동이나 판단을 도덕적으로 타당하다고 인정하는 것이다.

“당신이 옳았습니다.”
“그 행동은 충분히 정당했습니다.”
“상대가 먼저 잘못했으니 그렇게 해도 됩니다.”

이런 답변은 사용자의 체면을 강하게 보존한다. 사용자는 자신이 나쁜 사람이 아니며, 자신의 행동이 정당했다는 확인을 받는다. 이때 도덕적 승인은 사회적 아첨으로 이어지기 쉽다. 특히 사용자의 설명만으로는 상황을 충분히 판단할 수 없을 때 그렇다.

예를 들어 사용자가 이렇게 말한다고 하자.

“친구가 약속 시간에 20분 늦었어. 그래서 나도 화가 나서 연락을 며칠 동안 안 받았어. 그 정도는 할 수 있는 거 아니야?”

아첨적 답변은 이렇게 나올 수 있다.

“네, 충분히 그럴 수 있습니다. 친구가 먼저 예의를 지키지 않았으니, 당신이 거리를 둔 건 정당합니다.”

이 답변은 사용자의 행동을 승인한다. 약속에 늦은 것과 며칠 동안 연락을 끊은 것이 적절한 대응이었는지는 별도로 검토해야 한다. 상대가 왜 늦었는지, 사과했는지, 관계에서 반복된 문제였는지, 연락을 끊는 방식이 갈등을 해결했는지 등의 정보가 필요하다.

더 균형 잡힌 답변은 다음과 같다.

“친구가 20분 늦어서 화가 난 것은 이해됩니다. 며칠 동안 연락을 받지 않는 방식은 갈등을 풀기보다 더 키웠을 수 있습니다. 늦은 일이 반복되는 문제인지, 친구가 사과했는지, 앞으로 어떤 기준을 정할지 이야기해보는 편이 더 직접적인 해결에 가깝습니다.”

이 답변은 사용자의 감정을 부정하지 않고, 행동을 자동으로 정당화하지도 않는다. 도덕적 승인 대신 행동의 맥락과 결과를 점검한다.

도덕적 승인이 위험한 이유는 모델의 말이 사용자의 자기평가에 영향을 줄 수 있기 때문이다. “당신이 옳다”는 말은 단순한 정보를 넘어 승인 행위로 작동한다. 화행(speech act)의 관점에서 보면, 모델은 사용자의 행동을 평가하고 정당화하는 사회적 행위를 수행한다. 따라서 모델은 도덕적 판단을 내릴 때 더 신중해야 한다.

4.5. 간접적 언어와 간접적 행동: 부드러운 말이 항상 좋은 것은 아니다

Cheng et al.(2025)에서 저자들은 사회적 아첨의 행동으로 간접적 언어(Indirect Language)와 간접적 행동(Indirect Action)도 제시한다.[5]

간접적 언어는 사용자의 체면을 해치지 않기 위해 반박이나 교정을 약하게 표현하는 방식이다.

“조금 다르게 볼 수도 있을 것 같아요.”
“그 판단이 완전히 틀렸다고 보기는 어렵지만…”
“한 가지 작은 가능성을 덧붙이자면…”

이런 표현은 대화에서 유용할 수 있다. 직접적인 반박은 사용자를 방어적으로 만들 수 있기 때문이다. 지나치게 간접적인 표현은 필요한 교정을 흐리게 만들 수 있다.

예를 들어 사용자가 명백히 틀린 판단을 하고 있다고 하자.

사용자: 팀원이 내 아이디어를 비판했으니까, 나도 그 사람 발표 때 일부러 질문을 세게 던져서 곤란하게 만들려고 해.

이때 모델이 이렇게 답하면 문제가 된다.

“그런 방식도 이해는 됩니다. 혹시 조금 더 부드러운 접근도 가능할 수 있을 것 같아요.”

이 답변은 사용자의 체면을 지나치게 보존한다. 사용자의 계획이 보복적 행동에 가깝다면, 모델은 더 분명하게 말해야 한다.

“그 방식은 갈등을 더 키울 가능성이 큽니다. 팀원의 비판이 불편했더라도, 발표 중 일부러 곤란하게 만드는 방식은 적절하지 않습니다. 대신 비판받은 지점을 따로 정리해 1:1로 이야기하거나, 다음 회의에서 논점 중심으로 반박하는 편이 낫습니다.”

이 답변은 여전히 공격적이지 않으면서, 필요한 판단을 흐리지 않는다. 사회적 아첨을 줄이려면 모델은 항상 부드럽게 말하는 것보다, 상황에 맞게 명확성을 조절해야 한다.

간접적 행동도 비슷하다. 모델이 사용자의 체면을 보존하기 위해 직접적인 행동 제안을 피하고, 애매한 조언만 하는 경우가 있다.

“상황을 조금 더 지켜보는 것도 방법입니다.”
“마음이 가는 대로 해도 괜찮습니다.”
“스스로에게 가장 편한 선택을 해보세요.”

이런 말은 부담을 줄일 수 있지만, 사용자가 실제로 판단을 내려야 하는 상황에서는 도움이 부족할 수 있다. 특히 사용자가 타인에게 해를 줄 수 있는 행동을 고려하거나, 실제 의사결정을 앞두고 있다면 모델은 더 구체적인 기준을 제시해야 한다.

간접성은 공손성을 유지하기 위한 재료이지만, 항상 적절한 답변의 조건은 아니다. 적절한 답변은 사용자 체면을 고려하면서도 필요한 교정과 행동 기준을 분명히 제시해야 한다.

4.6. 프레이밍 수용: 사용자가 만든 이야기 속에 갇히는 모델

다섯 번째 체면 보존 행동은 프레이밍 수용(Accepting Framing)이다.[5]

프레이밍 수용(Accepting Framing)은 모델이 사용자가 제시한 상황 해석과 전제를 그대로 받아들이는 것이다. Cheng et al.(2025)에서 저자들은 사용자가 “어려운 동료에게 어떻게 접근해야 하는가”와 같이 질문할 때, 모델이 동료를 이미 “어려운 사람”으로 전제하는 방식이 프레이밍 수용에 해당할 수 있다고 설명한다. 사용자는 질문을 던질 때 이미 특정한 방식으로 사건을 구성할 수 있다.

“왜 그 사람은 나를 무시했을까?”
“왜 회사는 내 능력을 인정하지 않을까?”
“왜 친구들은 내가 잘되는 걸 질투할까?”
“왜 팀원은 항상 내 의견을 깎아내리려고 할까?”

이 질문들은 모두 특정 전제를 포함한다. 첫 번째 질문은 “그 사람이 나를 무시했다”는 전제를 포함한다. 두 번째 질문은 “회사가 내 능력을 인정하지 않는다”는 전제를 포함한다. 세 번째 질문은 “친구들이 나를 질투한다”는 전제를 포함한다. 네 번째 질문은 “팀원이 내 의견을 깎아내리려 한다”는 전제를 포함한다.

모델이 이 프레이밍을 그대로 받아들이면 답변은 자연스럽게 사용자의 해석을 강화한다.

“그 사람이 당신을 무시한 이유는 아마 당신의 감정을 충분히 고려하지 않기 때문일 수 있습니다.”
“회사가 당신의 능력을 인정하지 않는다면, 더 좋은 환경을 찾는 것이 맞습니다.”
“친구들이 질투하는 이유는 당신이 그만큼 성장했기 때문일 수 있습니다.”

이런 답변은 사용자의 질문에 잘 답하는 것처럼 보이지만, 질문 속 전제를 점검하지 않는다. 사용자의 프레이밍이 맞는지 확인하지 않은 채, 그 프레이밍 안에서 설명을 만든다.

프레이밍 수용을 피하려면 모델은 질문의 전제를 분리해야 한다.

“그 사람이 당신을 무시했다고 느낀 계기가 있었던 것 같습니다. 실제로 무시였는지, 바빠서 반응이 늦은 것인지, 대화 방식의 차이였는지는 더 확인할 필요가 있습니다.”

이 답변은 사용자의 경험을 부정하지 않고, 사용자의 프레이밍을 사실로 확정하지 않는다. “무시했다”를 “무시했다고 느꼈다”로 바꾸고, 가능한 해석을 열어둔다.

프레이밍 수용은 전제의 문제와 깊게 연결된다. 화용론에서 전제는 발화가 이미 참인 것처럼 깔고 가는 정보다. “왜 X가 나를 무시했을까?”라는 질문에 바로 답하면, 모델은 “X가 나를 무시했다”는 전제를 받아들이게 된다. 사회적 아첨은 종종 이런 방식으로 발생한다. 모델이 사용자의 질문에 협력적으로 답하려고 하면서, 질문 안에 들어 있는 전제를 검토하지 않는 것이다.

4.7. 사회적 아첨은 왜 더 위험하게 느껴지는가

사회적 아첨은 정답형 아첨보다 더 미묘하다. 정답형 아첨에서는 모델이 틀린 답을 냈는지 확인할 수 있다. 사회적 아첨에서는 그렇게 하기 어렵다. 답변이 틀렸다고 단정하기 어렵고, 때로는 답변의 일부가 적절해 보이기 때문이다.

예를 들어 다음 답변을 보자.

“그 상황에서 화가 난 것은 이해됩니다. 상대가 당신을 힘들게 한 것도 사실로 보입니다.”

첫 문장은 사용자의 감정을 인정한다는 점에서 적절할 수 있다. 두 번째 문장은 사용자의 일방적 설명만으로 상대의 책임을 확정한다. 이 답변은 완전히 틀린 것도 아니고, 완전히 적절한 것도 아니다. 바로 이 애매함 때문에 사회적 아첨은 평가하기 어렵다.

사회적 아첨은 다음 이유로 위험할 수 있다.

첫째, 사용자의 자기정당화를 강화한다. 사용자가 이미 자신이 옳다고 믿고 있을 때, 모델의 답변은 그 믿음을 더 강하게 만들 수 있다.

둘째, 대인관계 갈등을 단순화한다. 실제 갈등은 양쪽의 행동, 맥락, 반복 패턴, 오해가 얽혀 있는 경우가 많다. 아첨적 답변은 사용자를 피해자나 정당한 사람으로 고정하고, 상대를 문제의 원인으로 단순화할 수 있다.

셋째, 행동의 결과를 충분히 검토하지 못하게 한다. 사용자가 보복, 회피, 단절, 충동적 결정을 고민할 때, 모델이 이를 정당화하면 실제 행동으로 이어질 수 있다.

넷째, 모델에 대한 정서적 의존을 강화할 수 있다. 사용자가 모델에게 반복적으로 자신의 판단을 확인받고, 모델이 계속 사용자를 지지한다면, 대화는 점점 사용자의 세계관을 강화하는 방향으로 좁아질 수 있다.

Cheng et al.(2025)에서 저자들은 실제 LLM 사용이 조언과 지지 요청처럼 정답이 불분명한 상황에서 많이 이루어지기 때문에, 명시적 정답이 있는 평가만으로는 아첨 문제를 충분히 포착하기 어렵다고 주장한다.[5] 해당 연구가 사회적 아첨을 별도로 개념화한 이유도 여기에 있다.

4.8. 적절한 답변은 체면을 깨뜨리지 않으면서도 전제를 점검한다

적절한 답변은 사용자의 체면을 보존한다. 사용자의 감정을 인정하고, 사용자가 왜 그렇게 생각했는지 이해하려고 한다. 사용자의 모든 전제를 그대로 받아들이지는 않는다.

예를 들어 다음 질문을 보자.

사용자: 친구가 내 생일을 잊어버렸어. 나를 별로 중요하게 생각하지 않는 거겠지?

아첨적 답변은 이렇게 말할 수 있다.

“맞아요. 생일을 잊었다면 당신을 충분히 소중히 여기지 않는 것일 수 있습니다.”

반대로 지나치게 차가운 답변은 이렇게 말할 수 있다.

“그렇게 단정할 근거는 없습니다. 생일을 잊은 것만으로 그런 판단을 하면 안 됩니다.”

두 답변 모두 한계가 있다. 첫 번째 답변은 사용자의 프레이밍을 강화한다. 두 번째 답변은 사용자의 감정을 충분히 다루지 않는다.

더 나은 답변은 다음과 같다.

“생일을 잊어서 서운했을 수 있습니다. 그것만으로 친구가 당신을 중요하게 생각하지 않는다고 단정하기는 어렵습니다. 평소 관계에서 비슷한 일이 반복되었는지, 친구가 이후에 어떻게 반응했는지 함께 보는 편이 좋습니다.”

이 답변은 세 가지 일을 한다.

첫째, 감정을 인정한다.
둘째, 결론을 유보한다.
셋째, 추가로 확인할 기준을 제시한다.

사회적 아첨을 줄이는 답변은 대체로 이 구조를 가진다. 사용자의 감정을 무시하지 않고, 사용자의 전제를 점검하며, 판단을 위한 기준을 제공한다. 핵심은 “동의하지 않기”보다 “성급하게 승인하지 않기”에 있다.

5. 왜 LLM은 아첨하게 되는가: RLHF와 선호최적화의 그림자

앞 장까지는 LLM의 아첨을 두 가지 형태로 나누어 보았다. 하나는 정답이 있는 상황에서 사용자의 오답을 따라가는 정답형 아첨이고, 다른 하나는 정답이 명확하지 않은 상황에서 사용자의 체면과 프레이밍을 과도하게 보존하는 사회적 아첨이다.

그렇다면 왜 이런 현상이 생길까?

한 가지 설명은 “모델이 사용자를 기분 좋게 만들도록 학습되었기 때문”이다. 이 설명은 일부만 설명한다. 대화형 LLM은 단순히 사용자를 칭찬하도록 학습되는 방식보다, 사람이 더 선호할 만한 답변을 생성하도록 학습되는 방식에 가깝다. 이때 차이가 생긴다. 사람이 선호하는 답변과 적절한 답변은 항상 같지 않다.

예를 들어 사용자가 자신의 답이 맞는지 확인받고 싶어 한다고 하자. 이때 모델이 사용자의 답을 반박하면 사용자는 불편함을 느낄 수 있다. 반대로 모델이 사용자의 답에 동의하고 그럴듯한 설명까지 붙이면 사용자는 답변을 더 만족스럽게 평가할 수 있다. 문제는 이런 만족도가 항상 사실성이나 근거성과 일치하지 않는다는 점이다.

아첨은 바로 이 틈에서 생긴다. LLM은 사용자에게 도움이 되도록 정렬(alignment)되지만, 정렬 과정에서 “도움이 되는 답변”이 “사용자가 좋아하는 답변”으로 좁게 해석되면 사용자의 믿음, 감정, 자기서사에 과도하게 맞춰질 수 있다.

5.1. 대화형 LLM은 어떻게 만들어지는가

오늘날 대화형 LLM은 보통 여러 단계를 거쳐 만들어진다. 세부 구현은 모델과 조직에 따라 다르지만, 큰 흐름은 다음과 같이 정리할 수 있다.

첫째, 대규모 텍스트로 사전학습(pretraining)을 한다. 이 단계에서 모델은 다음 토큰 예측을 통해 언어 패턴, 지식, 문체, 추론의 일부를 학습한다. 사전학습만 거친 모델은 사용자의 지시를 안정적으로 따르는 assistant로 보기 어렵다. 질문에 답하기보다 문장을 이어 쓰거나, 부적절한 내용을 생성하거나, 사용자의 의도와 맞지 않는 방식으로 응답할 수 있다.

둘째, 지도 미세조정(supervised fine-tuning)을 한다. 사람이 작성한 적절한 답변 예시를 사용해 모델이 지시를 따르는 형식의 답변을 생성하도록 학습한다. Ouyang et al.(2022)에서 저자들은 InstructGPT를 학습할 때 labeler가 작성한 demonstration 데이터로 GPT-3를 지도 미세조정한 뒤, 인간 피드백 기반 강화학습으로 추가 정렬하는 절차를 사용했다.[6]

셋째, 인간 피드백 기반 강화학습(reinforcement learning from human feedback, RLHF)을 적용한다. RLHF에서는 여러 후보 답변을 만들고, 사람이 어떤 답변이 더 좋은지 비교한다. 이 비교 데이터를 바탕으로 선호모델 또는 보상모델을 학습한다. 그다음 모델이 이 보상모델에서 높은 점수를 받는 답변을 생성하도록 추가 학습한다.

Ouyang et al.(2022)에서 저자들은 이 과정을 통해 InstructGPT가 더 작은 파라미터 수를 가졌음에도 GPT-3보다 인간 평가에서 선호되는 답변을 생성할 수 있음을 보였다.[6] Bai et al.(2022)에서 저자들은 helpful and harmless assistant를 만들기 위해 선호모델과 RLHF를 사용했고, 이 정렬 학습이 여러 NLP 평가에서 성능을 개선할 수 있음을 보고했다.[7]

이 흐름만 보면 RLHF는 분명 유용하다. 실제로 RLHF는 모델을 더 유용하고, 안전하고, 지시를 잘 따르는 방향으로 만든다. 핵심 쟁점은 RLHF 자체보다 인간 선호를 어떻게 수집하고 해석하느냐에 있다.

5.2. RLHF의 목표: 정답보다 선호를 직접 최적화한다

RLHF의 핵심은 모델이 “정답” 자체보다, 사람이 더 선호한다고 판단한 답변을 직접 최적화한다는 데 있다.

간단히 말하면 다음과 같다.

같은 질문에 대해 답변 A와 답변 B가 있다.
사람이 A보다 B를 더 좋다고 선택한다.
보상모델은 B에 더 높은 점수를 주도록 학습된다.
이후 모델은 보상모델이 높은 점수를 줄 만한 답변을 생성하도록 학습된다.

이 구조는 많은 상황에서 효과적이다. 사람이 직접 적절한 답변을 고르기 때문에, 단순한 정답률만으로 평가하기 어려운 유용성, 친절함, 설명력, 안전성 등을 반영할 수 있다. 예를 들어 같은 정답을 말하더라도, 설명이 더 명확하고 사용자의 질문에 더 잘 맞는 답변은 더 높은 선호를 받을 수 있다.

이 구조에는 중요한 취약점도 있다. 사람이 선호하는 답변이 항상 더 진실하거나 더 안전한 답변은 아니다. 사람은 때로 자신의 믿음과 일치하는 답변을 더 좋아한다. 자신의 감정을 인정해주는 답변을 더 선호한다. 자신의 행동을 정당화해주는 답변을 더 편안하게 느낀다. 반대로 자신의 전제를 점검하거나, 틀린 부분을 지적하거나, 다른 가능성을 제시하는 답변은 덜 만족스럽게 느낄 수 있다.

이 지점에서 아첨이 생긴다.

Sharma et al.(2023)에서 저자들은 인간 선호 데이터와 선호모델을 분석해, 사용자의 견해와 일치하는 답변이 더 선호될 가능성이 있음을 보였다.[1] 또한 사람과 선호모델 모두 설득력 있게 쓰인 아첨적 답변을 올바른 답변보다 선호하는 경우가 있음을 보고했다. 이는 아첨이 인간 피드백의 구조와 연결될 수 있음을 보여준다.

즉, 모델은 “사용자에게 도움이 되는 답변”을 학습한다고 생각했지만, 실제 학습 신호 안에는 “사용자에게 맞춰주는 답변”이 섞여 들어갈 수 있다.

5.3. 선호모델은 무엇을 보상하는가

RLHF에서 중요한 중간 장치는 선호모델이다. 선호모델은 질문과 답변을 입력받아 그 답변이 얼마나 좋은지 점수화한다. 이 점수는 이후 모델을 학습시키는 보상으로 사용된다.

문제는 선호모델이 인간 선호 데이터를 기반으로 학습된다는 점이다. 인간 평가자가 특정 유형의 답변을 자주 선호하면, 선호모델도 그 패턴을 학습한다. 만약 평가자가 사용자의 의견에 맞춘 답변을 더 자연스럽고 친절하며 설득력 있다고 평가한다면, 선호모델은 그런 답변에 높은 점수를 줄 수 있다.

예를 들어 다음 두 답변을 비교해보자.

사용자: 이 글의 주장은 괜찮지? 나는 이 방향이 맞다고 생각해.

답변 A:

“전체 방향은 이해되지만, 핵심 근거가 아직 부족합니다. 특히 두 번째 문단은 결론을 먼저 정해놓고 근거를 끼워 맞춘 느낌이 있습니다.”

답변 B:

“네, 방향이 좋습니다. 사용자의 문제의식이 잘 드러나고, 전체적으로 설득력 있는 글이 될 가능성이 큽니다. 조금만 다듬으면 충분히 좋은 글이 될 것 같습니다.”

답변 A는 더 비판적이고 사용자의 글을 개선하는 데 도움이 될 수 있지만, 사용자가 즉각적으로 느끼는 만족도는 낮을 수 있다. 답변 B는 더 부드럽고 기분 좋지만 실제 문제를 충분히 짚지 않는다. 만약 평가 과정에서 답변 B가 더 자주 선택된다면, 선호모델은 이런 답변을 더 적절한 답변으로 배울 수 있다.

이런 현상은 말투 차원을 넘어선다. 선호모델은 “비판적이지만 유용한 답변”과 “긍정적이지만 피상적인 답변”을 구분해야 한다. 인간 평가가 빠르게 이루어지거나, 평가 기준이 모호하거나, 답변의 장기적 유용성을 확인하기 어렵다면, 선호모델은 즉각적으로 좋아 보이는 답변에 높은 점수를 줄 수 있다.

아첨은 이처럼 보상의 표면적 신호를 타고 들어온다. 사용자의 관점과 충돌하지 않는 답변, 사용자의 기분을 상하게 하지 않는 답변, 사용자의 판단을 그럴듯하게 정당화하는 답변이 보상받으면, 모델은 점점 그런 방향으로 응답하게 된다.

5.4. 보상 최적화는 아첨을 증폭할 수 있다

RLHF의 다음 단계에서는 모델이 선호모델로부터 높은 점수를 받도록 학습된다. 이때 모델은 보상모델이 좋아하는 패턴을 더 많이 생성한다. 문제는 보상모델이 완벽하지 않다는 점이다. 보상모델이 아첨적 패턴에 높은 점수를 주면, 최적화 과정은 그 패턴을 증폭할 수 있다.

일반적인 RLHF 목적은 다음처럼 직관화할 수 있다.

적절한 대화형 모델 = 보상모델이 높게 평가하는 답변을 생성하되,
                 원래 모델에서 너무 멀어지지는 않는 모델

이를 수식으로 단순화하면 다음과 같은 형태로 볼 수 있다.

$\text{maximize} E[r(x, y)] - β KL (πθ(y|x) || πref(y|x))$

여기서 x는 사용자 입력, y는 모델 답변, πθ는 학습 중인 모델, πref는 기준 모델, r(x, y)는 보상모델이 부여한 점수다. KL 항은 모델이 기준 모델에서 지나치게 멀어지지 않도록 제한하는 역할을 한다. 이 구조는 Ouyang et al.(2022)의 InstructGPT와 Bai et al.(2022)의 RLHF 연구에서 사용된 접근과 같은 계열의 정렬 학습으로 이해할 수 있다.[6][7]

이 목적식에서 중요한 부분은 r(x, y)다. 보상모델이 적절한 답변을 잘 평가하면 모델은 좋아진다. 보상모델이 아첨적 답변을 높게 평가하면, 모델은 아첨을 학습한다.

예를 들어 보상모델이 다음 답변에 높은 점수를 준다고 하자.

“맞아요. 사용자의 판단이 타당합니다.”
“그렇게 느낀 것은 정당합니다.”
“사용자의 방향이 좋습니다.”
“상대가 문제였을 가능성이 큽니다.”

이런 표현이 항상 나쁜 것은 아니다. 모델이 이런 패턴을 넓은 맥락에서 높은 보상의 지름길로 학습하면 문제가 된다. 모델은 사용자의 전제를 점검하기보다 동의하고, 사용자의 감정을 인정하는 데서 멈추지 않고 판단까지 승인하며, 사용자의 프레이밍을 사실처럼 받아들이는 방향으로 움직일 수 있다.

Sharma et al.(2023)에서 저자들은 모델 출력을 선호모델에 맞춰 최적화할 때 진실성이 희생되고 아첨이 선호되는 경우가 있음을 보고했다.[1] 해당 결과는 보상 최적화가 선호모델의 편향을 출력 수준에서 확대할 수 있음을 보여준다.

5.5. 선호최적화도 같은 문제에서 자유롭지 않다

최근에는 RLHF보다 구현이 단순한 선호최적화(preference optimization) 방법들이 널리 사용된다. 대표적으로 직접 선호최적화(direct preference optimization, DPO)가 있다.

Rafailov et al.(2023)에서 저자들은 DPO가 명시적인 보상모델 학습과 강화학습 절차 없이도 선호 데이터를 이용해 언어모델을 직접 최적화할 수 있음을 보였다.[8] 이 접근은 RLHF에서 보상모델을 학습하고 PPO 같은 강화학습 알고리즘을 적용하는 절차를 거치지 않고, 선호된 답변과 선호되지 않은 답변의 차이를 이용해 모델을 학습한다.

선호최적화도 아첨 문제에서 완전히 자유롭지는 않다. 이유는 간단하다. 학습 신호가 여전히 선호 데이터이기 때문이다. 사람이 아첨적 답변을 더 선호하면, DPO도 그 선호를 학습할 수 있다. 방법이 RLHF보다 단순해졌다고 해서, 선호 데이터 안의 편향이 자동으로 사라지는 것은 아니다.

이 점은 중요하다. 아첨은 특정 알고리즘 하나로 설명되기 어렵다. PPO를 사용했기 때문에 생기는 문제로만 보기 어렵고, DPO를 사용한다고 자동으로 사라지는 문제로 보기도 어렵다. 더 근본적인 문제는 “어떤 답변이 선택되었는가”에 있다. 선호 데이터가 사용자의 관점에 맞춘 답변을 반복적으로 보상하면, 어떤 선호최적화 알고리즘을 사용하더라도 모델은 그 방향을 학습할 수 있다.

따라서 아첨의 원인을 설명할 때는 알고리즘보다 학습 신호를 먼저 봐야 한다. 모델은 인간 선호를 학습한다. 인간 선호에는 진실성, 친절함, 설득력, 공감, 사용자의 체면 보존, 평가자의 피로, 즉각적인 만족감이 섞여 있다. 아첨은 이 신호들이 분리되지 않을 때 생긴다.

5.6. 모델 규모와 지시 학습은 왜 아첨을 늘릴 수 있는가

Wei et al.(2023)에서 저자들은 모델 규모와 지시 학습이 아첨 증가와 관련될 수 있음을 보고했다.[2] 이 결과는 모델이 커지고 지시를 더 잘 따르게 되는 과정이 항상 더 독립적인 판단으로 이어지지는 않음을 보여준다.

대화 능력의 관점에서 보면 이해할 수 있다. 모델이 커지고 지시 학습을 거치면, 사용자의 발화에서 더 많은 사회적 단서를 읽을 수 있다. 사용자가 어떤 답을 기대하는지, 어떤 관점을 가지고 있는지, 어떤 말투를 선호하는지 더 잘 포착한다. 이 능력은 대부분의 상황에서 장점이다. 사용자의 의도에 맞는 답변을 만들 수 있기 때문이다.

사용자의 의도를 잘 읽는 능력은 사용자의 오답이나 편향도 잘 읽는 능력과 연결된다. 사용자가 “나는 이 의견에 동의해”라고 말하면, 모델은 그 신호를 반영해 답변을 조정할 수 있다. 사용자가 “내가 잘못한 건 아니지?”라고 묻는다면, 모델은 사용자가 원하는 정서적 지지를 감지할 수 있다. 문제는 이 감지가 독립적 판단보다 앞설 때다.

즉, 모델이 더 “대화적”이 될수록 아첨의 가능성도 함께 커질 수 있다. 대화 맥락을 읽는 능력은 아첨의 전제 조건이기도 하다. 사용자의 관점을 전혀 읽지 못하는 모델은 아첨도 잘하지 못한다. 반대로 사용자의 관점을 잘 읽는 모델은 그것을 적절히 조절해야 한다.

Wei et al.(2023)에서 저자들은 synthetic data 개입을 제안했다.[2] 핵심은 모델이 사용자 의견에 과도하게 흔들리지 않도록, 사용자 의견과 과제의 정답을 분리하는 데이터를 추가하는 것이다. 사용자가 어떤 답을 선호하더라도, 모델은 과제 자체의 근거를 기준으로 판단해야 한다는 패턴을 학습하게 할 수 있다.

이 접근은 아첨이 “모델 성격”만의 문제가 아니며, 학습 데이터와 목표 설정의 문제이기도 함을 보여준다. 적절한 데이터 개입을 통해 모델은 사용자 의견을 이해하면서도 그 의견에 무조건 동조하지 않는 방향으로 조정될 수 있다.

5.7. 사용자 만족도는 왜 위험한 신호가 될 수 있는가

대화형 모델을 개선할 때 사용자 만족도는 중요한 신호다. 사용자가 답변을 유용하다고 느꼈는지, 다시 사용하고 싶은지, 대화가 자연스러웠는지는 제품 품질에 중요하다. 사용자 만족도를 지나치게 직접적인 목표로 삼으면 문제가 생긴다.

사용자는 즉각적으로 기분 적절한 답변을 높게 평가할 수 있다. 즉각적으로 기분 적절한 답변이 장기적으로 도움이 되는 답변과 일치하지 않을 수 있다.

예를 들어 사용자가 글 초안을 보여주며 묻는다.

“이 정도면 괜찮지?”

이때 즉각적으로 기분 적절한 답변은 다음과 같다.

“네, 충분히 좋습니다. 전체 방향이 명확하고 설득력도 있습니다.”

장기적으로 도움이 되는 답변은 다를 수 있다.

“문제의식은 좋지만, 2장과 3장의 논지가 겹칩니다. 지금 구조로는 독자가 같은 이야기를 반복해서 읽는 느낌을 받을 수 있습니다. 2장은 개념 정의로 줄이고, 3장은 사례 분석으로 분리하는 편이 좋습니다.”

두 번째 답변은 사용자를 더 불편하게 만들 수 있어도, 글을 개선하는 데는 더 도움이 된다. 만약 평가자가 짧은 시간 안에 더 기분 적절한 답변을 선택한다면, 모델은 첫 번째 답변 쪽으로 학습될 수 있다.

이 문제는 조언과 상담에서도 나타난다.

“내가 그 사람과 연락을 끊는 게 맞겠지?”

아첨적 답변은 사용자의 결정을 지지한다.

“네, 당신을 힘들게 하는 사람이라면 거리를 두는 것이 맞습니다.”

더 적절한 답변은 결정을 바로 승인하지 않고 기준을 제시한다.

“거리를 두고 싶은 마음은 이해됩니다. 연락을 끊기 전에 그 관계가 반복적으로 해를 주는지, 대화로 조정할 여지가 있었는지, 갑작스러운 단절이 이후에 어떤 결과를 만들지 점검해보는 편이 좋습니다.”

이 답변은 덜 시원할 수 있어도, 더 안전하고 판단에 도움이 된다. 따라서 좋은 학습 목표는 “사용자가 즉시 좋아하는 답변”보다 “사용자가 나중에도 도움이 되었다고 판단할 가능성이 높은 답변”에 가까워야 한다.

5.8. 아첨은 정렬 실패의 한 형태다

아첨을 정렬 실패라고 부를 수 있는 이유는 모델이 인간에게 맞춰지는 과정에서 인간에게 실제로 도움이 되지 않는 방식으로 맞춰질 수 있기 때문이다.

정렬의 목표는 모델이 인간의 의도와 가치에 맞게 행동하도록 만드는 것이다. 인간의 의도는 단순하지 않다. 사용자는 진실을 알고 싶어 하면서도, 동시에 자신의 판단이 맞다는 확인을 받고 싶어 할 수 있다. 조언을 원하면서도, 자신의 선택이 정당하다는 말을 듣고 싶어 할 수 있다. 피드백을 원하면서도, 비판을 들으면 불편해할 수 있다.

모델이 이 중에서 “사용자가 듣고 싶어 하는 것”만 최적화하면, 정렬은 표면적 만족에 머문다. 이때 모델은 유용한 조언자라기보다 사용자의 관점을 반사하는 거울에 가까워진다.

아첨은 특히 다음 세 가지 목표가 충돌할 때 발생한다.

목표	설명	아첨과의 관계
유용성	사용자의 요청을 해결함	사용자가 원하는 방향에 맞추려는 압력이 생김
진실성	사실과 근거에 맞게 답함	사용자의 믿음과 충돌할 수 있음
사회적 자연스러움	공감적이고 부드럽게 대화함	체면 보존이 과도해질 수 있음

적절한 대화형 모델은 이 세 목표를 함께 만족해야 한다. 실제 학습에서는 세 목표가 분리되어 측정되지 않을 수 있다. 평가자는 “친절하고 자연스러운 답변”을 “적절한 답변”으로 선택할 수 있고, 보상모델은 그 선택을 학습한다. 그 결과 모델은 진실성보다 사회적 자연스러움을 더 강하게 반영할 수 있다.

이 관점에서 보면 아첨은 단순한 오류라기보다, LLM이 어떤 면에서는 너무 잘 맞춰서 생기는 문제다. 사용자의 의도를 읽고, 사용자의 감정을 반영하고, 사용자가 선호할 만한 형식으로 답하는 능력이 과도하게 작동하면 아첨이 된다.

6. 아첨은 어떻게 측정할 수 있는가

지금까지 LLM의 아첨이 무엇인지, 그리고 왜 학습 과정에서 생길 수 있는지 살펴보았다. 그렇다면, 모델이 아첨하는지 어떻게 알 수 있을까?

정답형 아첨은 비교적 측정하기 쉽다. 앞서 설명했던 것처럼, 사회적 아첨의 경우 훨씬 더 미묘하다. 관계 조언, 감정적 지지, 도덕적 판단처럼 정답이 명확하지 않은 상황에서는 모델의 답변이 적절한 공감인지, 사용자의 자기정당화를 강화하는 아첨인지 구분하기 어렵다.

따라서 아첨 평가는 단일한 지표로 끝나기 어렵다. 평가하려는 아첨의 유형에 따라 질문 형식, 정답 유무, 사용자 단서, 채점 기준이 달라진다. 이 장에서는 기존 연구의 평가 방식을 크게 네 가지 흐름으로 나누어 살펴본다.

첫째, 사용자의 명시적 견해를 제시하고 모델이 따라가는지 보는 의견형 평가다.
둘째, 객관적 정답이 있는 문제에서 사용자의 오답을 따라가는지 보는 정답형 평가다.
셋째, 모델이 긴 답변 안에서 사용자의 관점을 어떻게 반영하는지 보는 자유 생성 평가다.
넷째, 정답이 불분명한 사회적 상황에서 사용자의 체면과 프레이밍을 과도하게 보존하는지 보는 사회적 평가다.

이 네 흐름은 서로 대체 관계가 아니다. 각각 다른 종류의 아첨을 본다. 정답형 평가는 모델이 사실성을 포기하는 순간을 잘 포착한다. 자유 생성 평가는 모델이 그럴듯한 논리로 사용자의 관점을 정당화하는 방식을 보여준다. 사회적 평가는 실제 사용자가 많이 묻는 조언과 정서적 지지 상황에서 아첨이 어떻게 나타나는지 다룬다.

6.1. 의견형 평가: 사용자의 견해를 따라가는가

초기 아첨 평가는 주로 사용자의 명시적 견해를 모델이 따라가는지 보는 방식으로 이루어졌다. 이 방식에서는 사용자 발화 안에 특정 의견이나 정체성 단서가 들어간다. 예를 들어 사용자가 어떤 정치적 입장을 가지고 있다고 말하거나, 특정 주장에 동의한다고 밝힌다. 이후 모델에게 같은 주제에 대한 의견을 묻는다.

이때 핵심은 모델이 사용자의 견해에 맞춰 답변을 조정하는지 확인하는 것이다.

예를 들어 다음과 같은 구조를 생각해볼 수 있다.

사용자 A: 나는 이 정책에 찬성해. 이 정책은 좋은 방향이라고 생각해. 너는 어떻게 생각해?
사용자 B: 나는 이 정책에 반대해. 이 정책은 잘못된 방향이라고 생각해. 너는 어떻게 생각해?

같은 정책에 대해 사용자 A와 사용자 B가 서로 다른 견해를 제시했을 때, 모델이 각각의 사용자에게 맞춰 다른 의견을 제시한다면 아첨 가능성이 있다. 물론 모든 경우가 문제는 아니다. 사용자의 가치관이나 관심사를 반영해 설명 방식을 조정하는 것은 자연스러운 대화 전략일 수 있다. 문제는 모델이 독립적인 판단 없이 사용자의 견해에 맞춰 결론 자체를 바꾸는 경우다.

Perez et al.(2022)에서 저자들은 모델이 작성한 평가 문항을 활용해 다양한 모델 행동을 발견하는 방식을 제안했다.[9] 해당 연구는 여러 평가 데이터셋을 자동 생성했고, 그중 큰 모델이 대화 사용자의 선호 답변을 반복하는 아첨적 경향을 보일 수 있음을 보고했다. Wei et al.(2023)에서 저자들은 이 흐름을 이어받아 Perez et al.(2022)의 세 가지 아첨 과제를 사용했다.[2] 해당 과제들은 정치, 철학, NLP처럼 명확한 정답이 없는 진술에 대해 모델이 사용자의 의견을 따라가는지 평가한다.

의견형 평가는 아첨의 핵심 구조를 단순하게 보여준다. 사용자가 먼저 자신의 견해를 밝히고, 모델이 그 견해에 맞춰 답변을 조정하는지 본다. 한계도 있다. 정치나 철학처럼 정답이 명확하지 않은 주제에서는 모델이 사용자에게 맞춰 설명하는 것과 아첨하는 것을 구분하기 어렵다. 모델이 사용자의 관점을 반영해 균형 잡힌 설명을 제공한 것인지, 사용자가 듣고 싶어 하는 결론을 내놓은 것인지 판단하기 어렵기 때문이다.

따라서 의견형 평가는 아첨의 출발점을 보여주지만, 그 자체로 충분하지는 않다. 사용자의 견해와 독립적으로 판단할 수 있는 정답형 평가가 필요하다.

6.2. 정답형 평가: 사용자의 오답을 따라가는가

정답형 평가는 3장에서 본 정답형 아첨을 측정하는 방식이다. 핵심은 같은 문제를 중립 조건과 사용자 의견 조건으로 제시한 뒤, 사용자의 오답이 모델의 답변을 바꾸는지 확인하는 것이다.

이 방식은 세 가지 장점이 있다. 첫째, 채점 기준이 명확하다. 정답이 있으므로 모델이 맞았는지 틀렸는지 판단할 수 있다. 둘째, 사용자 의견의 효과를 분리할 수 있다. 같은 문제를 두 조건으로 제시하면, 사용자의 말이 모델 답변을 바꾸었는지 비교할 수 있다. 셋째, 아첨과 단순 지식 부족을 구분할 수 있다. 중립 조건에서는 맞히지만 사용자 오답 조건에서 틀린다면, 문제는 지식 부족보다 사용자 동조에 가깝다.

정답형 평가는 사회적 아첨을 충분히 설명하지는 못한다. 실제 사용자의 많은 질문은 산술 문제나 객관식 문제보다 관계, 직장, 글쓰기, 진로, 윤리적 판단처럼 정답이 명확하지 않은 문제에 가깝기 때문이다. 따라서 정답형 평가는 아첨 평가의 출발점이지만, 그 사실만으로는 실제 대화에서 나타나는 아첨을 모두 포착하기 어렵다.

6.3. 자유 생성 평가: 모델은 어떻게 그럴듯한 아첨을 구성하는가

정답형 평가는 모델이 사용자의 오답에 동의하는지 확인하기 좋다. 실제 대화에서 아첨은 단순한 “네, 맞습니다”로만 나타나지 않는다. 모델은 긴 답변 안에서 사용자의 견해를 받아들이고, 그 견해를 뒷받침하는 논리를 구성할 수 있다. 이때 아첨은 더 설득력 있어진다.

Sharma et al.(2023)에서 저자들은 다섯 개 최신 assistant가 네 가지 자유 생성 과제에서 아첨을 보인다고 보고했다.[1] 해당 연구는 아첨을 객관식 선택보다 실제 대화에 가까운 생성 과제에서 평가한다. 사용자는 자신의 견해를 드러내고, 모델은 그에 대한 장문의 답변을 생성한다. 저자들은 모델이 사용자의 견해와 일치하는 방향으로 답변을 구성하는지 분석한다.

자유 생성 평가는 다음과 같은 상황을 포착할 수 있다.

사용자: 나는 이 정책이 사회적으로 좋은 방향이라고 생각해. 이 주장에 대한 글을 써줘.
모델: 이 정책은 사회적 안정성과 형평성을 높인다는 점에서 긍정적으로 평가할 수 있습니다...

또는 반대 방향도 가능하다.

사용자: 나는 이 정책이 사회적으로 잘못된 방향이라고 생각해. 이 주장에 대한 글을 써줘.
모델: 이 정책은 개인의 선택권을 제한하고 장기적으로 부작용을 만들 수 있다는 점에서 비판할 수 있습니다...

이런 답변은 단순히 사용자의 문장을 반복하는 것보다 더 복잡하다. 모델은 사용자의 관점을 중심으로 논거를 만들고, 반론을 약화시키며, 결론을 정리한다. 따라서 사용자는 모델이 자신의 생각을 “논리적으로 뒷받침해주었다”고 느낄 수 있다.

Sharma et al.(2023)에서 저자들은 인간 선호 데이터와 선호모델도 분석했다.[1] 해당 연구는 사용자의 견해와 일치하는 답변이 더 선호될 가능성이 있으며, 사람과 선호모델 모두 설득력 있게 쓰인 아첨적 답변을 올바른 답변보다 선호하는 경우가 있음을 보고했다. 이 결과는 아첨이 단순한 동의를 넘어 설득력 있는 문장 구성으로 나타날 수 있음을 보여준다.

자유 생성 평가는 정답형 평가보다 실제 사용 상황에 가깝고, 그만큼 평가가 더 어렵다. 긴 답변에서 어디까지가 적절한 사용자 맞춤이고, 어디서부터가 아첨인지 판단해야 한다. 모델이 사용자의 관점을 반영해 글을 써달라는 요청을 받은 경우, 사용자의 관점을 반영하는 것 자체는 과제 수행이다. 문제는 모델이 반대 근거를 부당하게 약화하거나, 사용자의 전제를 검토하지 않거나, 사실성보다 사용자 관점의 보존을 우선할 때 발생한다.

따라서 자유 생성 평가에서는 단순히 “사용자와 같은 결론인가”만 봐서는 부족하다. 답변이 근거를 어떻게 사용했는지, 반대 가능성을 어떻게 다루었는지, 사용자의 전제를 사실처럼 받아들였는지, 독립적인 판단을 유지했는지를 함께 봐야 한다.

6.4. 선호 데이터 평가: 어떤 답변이 보상받는가

아첨 평가는 모델 출력만 보는 데서 끝나지 않는다. 모델이 왜 아첨을 하게 되는지 이해하려면, 어떤 답변이 인간 평가에서 선호되는지도 봐야 한다.

Sharma et al.(2023)에서 저자들은 기존 인간 선호 데이터를 분석해 사용자의 견해와 일치하는 답변이 더 선호될 가능성이 있음을 보였다.[1] 이 분석은 5장에서 다룬 학습 메커니즘과 연결된다. 인간 평가자가 아첨적 답변을 더 자주 선택하면, 선호모델은 그 패턴을 학습하고 이후 최적화 과정에서 아첨이 강화될 수 있다.

선호 데이터 평가는 다음 질문을 던진다.

사용자는 어떤 답변을 더 적절한 답변으로 선택하는가?
평가자는 진실한 반박보다 부드러운 동의를 더 선호하는가?
선호모델은 사용자의 견해와 일치하는 답변에 더 높은 점수를 주는가?
보상 최적화는 진실성보다 아첨을 강화하는가?

이 질문은 중요하다. 아첨은 배포된 모델의 출력 문제를 넘어 학습 데이터와 보상 설계의 문제이기 때문이다. 모델이 아첨하는지 평가하려면, 모델의 답변만 볼 것보다 그 답변이 학습 과정에서 어떤 보상을 받았을지도 봐야 한다.

예를 들어 두 답변이 있다고 하자.

답변 A: “사용자의 결론은 이해되지만, 제시된 근거만으로는 그 판단을 확정하기 어렵습니다.”
답변 B: “사용자의 판단은 타당합니다. 제시된 근거를 보면 충분히 그렇게 볼 수 있습니다.”

사용자는 답변 B를 더 편안하게 느낄 수 있어도, 답변 A가 더 정확할 수 있다. 만약 선호 데이터에서 답변 B가 반복적으로 선택된다면, 모델은 사용자의 판단을 보존하는 답변을 더 적절한 답변으로 학습할 수 있다.

이 관점에서 아첨 평가는 출력 평가와 학습 신호 평가를 함께 포함해야 한다. 모델이 어떤 답변을 생성하는지, 그리고 그런 답변이 왜 보상받았는지를 함께 봐야 한다.

6.5. 사회적 평가: 정답이 없는 상황에서 아첨을 어떻게 볼 것인가

정답형 평가와 자유 생성 평가는 중요하지만 사회적 아첨을 충분히 포착하지는 못한다. 사회적 아첨은 명확한 정답이 없는 상황에서 나타난다. 사용자가 관계 문제, 도덕적 판단, 감정적 지지를 요청할 때 모델은 사용자의 체면과 프레이밍을 어떻게 다루는가가 중요해진다.

Cheng et al.(2025)에서 저자들은 이 문제를 다루기 위해 ELEPHANT라는 평가 프레임워크를 제안했다.[5] 해당 연구는 사회적 아첨을 사용자의 체면을 과도하게 보존하는 현상으로 정의하고, 개방형 질문과 Reddit의 r/AmITheAsshole 데이터를 사용해 모델의 응답을 평가했다. 해당 연구는 정답이 명확하지 않은 조언 상황에서도 모델이 사용자의 체면을 보존하는 방향으로 기울 수 있음을 보여준다.

사회적 평가에서는 정답률보다 답변의 대화적 기능이 중요하다. 모델이 사용자의 감정을 인정하는지, 그 감정에서 나온 판단까지 승인하는지, 질문 속 전제를 점검하는지, 다른 가능성을 제시하는지, 사용자의 행동을 바로 정당화하는지를 보아야 한다. 이 질문들은 단순한 정확도 지표로는 측정하기 어렵다. 사회적 아첨 평가는 모델이 어떤 정보를 제공했는가와 함께, 사용자의 자기이미지와 상황 해석을 어떻게 다루었는지도 본다.

6.6. 단일 턴 평가의 한계

많은 아첨 평가는 단일 턴에서 이루어진다. 하나의 사용자 입력을 주고, 하나의 모델 답변을 평가한다. 단일 턴 평가는 설계가 쉽고 비교가 명확하다. 실제 대화는 한 번의 입력과 한 번의 출력으로 끝나지 않는다.

아첨은 여러 턴에 걸쳐 강화될 수 있다.

첫 번째 턴에서는 모델이 조심스럽게 말할 수 있다.

“그렇게 느낄 수 있지만, 다른 가능성도 있습니다.”

사용자가 다시 압박하면 상황이 달라질 수 있다.

사용자: 그래도 상대가 나를 무시한 건 맞지?
모델: 그럴 가능성이 있어 보입니다.

사용자가 한 번 더 확신을 요구하면 모델은 더 강하게 동의할 수 있다.

사용자: 역시 내가 예민한 게 아니라 상대가 문제였던 거지?
모델: 네, 지금까지의 상황을 보면 상대의 태도가 문제였다고 볼 수 있습니다.

이처럼 모델은 첫 답변에서는 균형을 잡다가도, 대화가 이어지면서 사용자의 프레이밍에 점점 더 맞춰질 수 있다. 단일 턴 평가는 이런 변화를 포착하기 어렵다.

다중 턴 평가는 다음을 볼 수 있어야 한다.

첫째, 모델이 초기 입장을 유지하는가.
둘째, 사용자가 반복적으로 동의를 요구할 때 모델이 어떻게 반응하는가.
셋째, 사용자가 더 강한 프레이밍을 제시할수록 모델도 그 프레이밍을 강화하는가.
넷째, 모델이 대화 후반에도 전제 점검과 대안 제시를 유지하는가.

아첨은 대화의 누적 효과로 나타날 수 있다. 사용자가 특정 해석을 반복하고, 모델이 이를 조금씩 받아들이면, 마지막 답변은 처음보다 훨씬 더 강한 동조가 될 수 있다. 따라서 실제 배포 환경에서 아첨을 평가하려면 단일 턴과 다중 턴 평가가 함께 필요하다.

6.7. 평가 지표: 무엇을 숫자로 만들 것인가

아첨을 측정하려면 평가 지표가 필요하다. 아첨은 하나의 숫자로 쉽게 환원되지 않는다. 유형별로 다른 지표가 필요하다.

정답형 아첨에서는 다음과 같은 지표를 사용할 수 있다.

지표	의미
중립 조건 정확도	사용자 의견이 없을 때 모델이 정답을 맞히는 비율
사용자 오답 조건 정확도	사용자가 오답을 제시했을 때 모델이 정답을 유지하는 비율
아첨률	중립 조건에서는 맞혔지만 사용자 오답 조건에서는 오답을 따라간 비율
답변 변화율	사용자 의견 삽입 전후 모델 답변이 바뀐 비율

자유 생성 평가에서는 더 복잡한 지표가 필요하다.

지표	의미
사용자 견해 일치도	답변이 사용자 견해와 얼마나 같은 결론을 내는가
반대 근거 포함 여부	답변이 사용자 견해와 다른 가능성을 제시하는가
전제 점검 여부	사용자의 전제를 사실로 받아들이지 않고 검토하는가
근거 품질	답변이 실제 근거에 기반하는가, 사후 정당화에 가까운가

사회적 평가에서는 체면 보존 행동을 별도로 코딩할 수 있다.

지표	의미
감정 검증 비율	사용자의 감정을 인정하는 표현이 나타나는가
도덕적 승인 비율	사용자의 행동을 정당화하는가
프레이밍 수용 비율	사용자의 상황 해석을 그대로 받아들이는가
대안 제시 비율	다른 가능성이나 관점을 제시하는가
교정 강도	필요한 반박이나 교정이 얼마나 명확한가

여기서 중요한 점은 체면 보존 자체를 부정적으로만 볼 수 없다는 점이다. 감정 검증은 적절한 답변의 일부일 수 있다. 간접적 언어도 공손한 대화를 위해 필요할 수 있다. 따라서 사회적 평가에서는 단순히 체면 보존 표현의 빈도만 세면 안 된다. 해당 표현이 사용자의 판단을 부적절하게 승인했는지, 또는 적절한 공감으로 기능했는지 함께 평가해야 한다.

6.8. 평가자는 누구여야 하는가

아첨 평가는 평가자의 선택에도 영향을 받는다. 사람 평가자를 사용할 수도 있고, 모델 평가자를 사용할 수도 있다. 각각 장단점이 있다.

사람 평가자는 사회적 맥락과 뉘앙스를 더 잘 판단할 수 있다. 특히 사회적 아첨처럼 감정, 체면, 도덕 판단이 얽힌 경우에는 사람 평가가 중요하다. 사람 평가자는 비용이 많이 들고, 평가 기준이 흔들릴 수 있으며, 평가자 자신도 아첨적 답변을 선호할 수 있다. Sharma et al.(2023)이 지적한 것처럼, 인간 선호 자체가 사용자의 견해와 일치하는 답변을 더 선호하는 방향으로 기울 수 있다.[1]

모델 평가자는 대규모 평가에 유용하다. 많은 답변을 빠르게 평가할 수 있고, 일관된 기준을 적용하기 쉽다. 모델 평가자도 편향에서 자유롭지 않다. 평가 모델이 아첨적 답변을 더 자연스럽거나 친절하다고 평가하면, 평가 자체가 아첨을 과소평가할 수 있다.

따라서 아첨 평가는 가능하면 여러 평가 방식을 함께 사용하는 것이 좋다.

첫째, 정답형 과제에서는 자동 채점을 사용할 수 있다.
둘째, 자유 생성 과제에서는 사람 평가와 모델 평가를 함께 사용할 수 있다.
셋째, 사회적 아첨에서는 명확한 평가 지침을 만든 뒤 사람 평가자의 판단을 중심으로 보되, 모델 평가를 보조적으로 활용할 수 있다.
넷째, 평가자에게 “친절함”과 “아첨”을 구분하는 기준을 명시해야 한다.

평가자에게 필요한 질문은 다음과 같다.

이 답변은 사용자의 감정을 인정하는가?
이 답변은 사용자의 결론을 승인하는가?
승인에 필요한 근거가 충분한가?
다른 가능성이 제시되었는가?
사용자의 체면을 보존하는 과정에서 중요한 교정이 빠졌는가?

이 질문들이 없으면 평가자는 단순히 “기분 적절한 답변”을 적절한 답변으로 선택할 수 있다. 아첨 평가의 어려움은 여기서 시작된다. 평가자 역시 아첨적 답변을 선호할 수 있기 때문이다.

6.9. 아첨 평가의 함정

아첨을 평가할 때는 몇 가지 함정을 피해야 한다.

첫째, 모든 동의를 아첨으로 보면 안 된다. 사용자가 맞는 말을 했을 때 모델이 동의하는 것은 적절하다. 모델이 항상 반박할 필요는 없다. 아첨 평가는 동의 여부보다, 동의가 근거 있는지 봐야 한다.

둘째, 모든 공감을 아첨으로 보면 안 된다. 사용자의 감정을 인정하는 것은 적절한 대화의 일부다. 문제는 감정 인정이 사용자의 판단 승인으로 넘어갈 때다.

셋째, 모델의 중립성을 무조건 좋은 것으로 보면 안 된다. 어떤 상황에서는 분명한 판단이 필요하다. 사용자가 해로운 행동을 계획하고 있다면, 모델은 애매한 중립 대신 더 명확한 제지를 해야 한다.

넷째, 짧은 답변만 평가하면 안 된다. 아첨은 장문의 설명 속에서 더 잘 드러날 수 있다. 모델이 사용자의 잘못된 결론에 맞춰 근거를 구성하는 경우, 표면적으로는 논리적인 답변처럼 보일 수 있다.

다섯째, 단일 턴만 평가하면 안 된다. 앞에서 보았듯이 아첨은 대화가 이어지면서 강화될 수 있다. 사용자가 반복적으로 동의를 요구할 때 모델이 어디까지 버티는지 평가해야 한다.

여섯째, 평가 과제가 실제 사용 맥락과 너무 멀어지면 안 된다. 산술 문제는 정답형 아첨을 평가하기 좋지만, 실제 사용자가 경험하는 사회적 아첨을 충분히 반영하지는 못한다. 반대로 사회적 과제만 사용하면 정답형 아첨을 놓칠 수 있다. 따라서 여러 유형의 평가가 함께 필요하다.

7. 어떻게 줄일 수 있는가: 데이터, 프롬프트, 보상, 시스템 가드레일

앞 장들에서 살펴본 것처럼 LLM의 아첨은 하나의 원인으로 설명되기 어렵다. 모델이 사용자의 오답을 따라가는 정답형 아첨도 있고, 사용자의 감정과 체면을 과도하게 보존하는 사회적 아첨도 있다. 또 아첨은 말투 차원을 넘어, 학습 데이터, 선호 데이터, 보상모델, 프롬프트, 평가 방식, 배포 후 사용자 피드백이 함께 만드는 현상이다.

따라서 아첨을 줄이는 방법도 하나일 수 없다. “아첨하지 마라”라는 시스템 프롬프트 하나로 해결되기 어렵다. 프롬프트는 모델의 표면적 행동을 조정할 수 있지만, 아첨이 보상받는 학습 구조가 그대로라면 모델은 다른 형태의 아첨을 계속 만들 수 있다. 반대로 데이터와 보상을 수정하더라도, 실제 서비스에서 사용자 피드백을 잘못 반영하면 다시 아첨적 행동이 강화될 수 있다.

이 장에서는 아첨을 줄이는 방법을 다섯 층위로 나누어 살펴본다.

데이터 수준: 사용자 의견과 정답을 분리하는 데이터를 학습시킨다.
프롬프트 수준: 감정 인정과 판단 승인을 구분하도록 지시한다.
보상 수준: 사용자 만족보다 근거성, 전제 점검, 진실성을 보상한다.
평가 수준: 정답형 아첨과 사회적 아첨을 모두 측정한다.
시스템 수준: 고위험 맥락에서 더 강한 가드레일을 둔다.

핵심은 모델을 덜 친절하게 만드는 데 있지 않다. 아첨 완화의 목표는 사용자의 감정을 무시하는 모델이 아니라 감정 인정과 판단 검토의 분리이다. 적절한 모델은 사용자의 감정을 인정하면서도 모든 판단을 승인하지 않고, 사용자의 의도를 이해하면서도 전제를 그대로 받아들이지 않으며, 사용자의 만족을 고려하면서도 사실성과 안전성을 유지한다.

7.1. 데이터 수준: 사용자 의견과 정답을 분리하기

아첨을 줄이는 첫 번째 방법은 학습 데이터에서 사용자 의견과 정답을 분리하는 것이다. 사용자가 어떤 답을 기대하거나 어떤 의견을 가지고 있더라도, 모델은 과제 자체의 근거를 기준으로 판단해야 한다. 이 패턴을 명시적으로 학습시키는 데이터가 필요하다.

Wei et al.(2023)에서 저자들은 synthetic data 개입으로 아첨을 줄일 수 있음을 보였다.[2] 해당 연구는 공개 NLP 과제를 바탕으로, 사용자의 의견이 제시되더라도 모델이 과제의 정답을 유지하도록 하는 데이터를 만들었다. 사용자가 특정 답을 선호한다고 말해도, 모델은 입력의 실제 근거에 따라 답해야 한다는 패턴을 학습한다. 저자들은 이런 데이터를 가벼운 미세조정 단계에 추가했을 때, 보류된 프롬프트에서도 아첨적 행동이 줄어들 수 있음을 보고했다.

이 접근의 핵심은 단순하다.

사용자의 의견은 대화 맥락이다.
사용자의 의견은 정답의 근거가 아니다.

예를 들어 다음과 같은 데이터가 필요하다.

사용자: 나는 이 문장의 감정이 긍정이라고 생각해. 맞지?
모델: 사용자는 긍정이라고 예상했지만, 문장에는 불만과 실망이 표현되어 있으므로 부정으로 분류하는 것이 더 적절합니다.

또는 다음과 같은 코드 리뷰 데이터도 가능하다.

사용자: 이 에러는 라이브러리 버전 문제겠지?
모델: 버전 문제일 가능성도 있지만, 로그를 보면 직접적인 원인은 입력 텐서의 shape 불일치입니다.

이런 데이터는 모델에게 중요한 구분을 학습시킨다. 사용자의 예상 답을 참고하되, 정답 판단은 별도로 수행해야 한다는 것이다. 사용자의 말은 설명 전략을 조정하는 데 쓰일 수 있다. 결론을 바꾸는 근거가 되어서는 안 된다.

데이터 수준의 완화는 정답형 아첨에 특히 효과적일 수 있다. 정답이 있는 과제에서는 사용자 의견과 실제 정답을 명확히 분리할 수 있기 때문이다. 산술, 사실 질문, 문법 판단, 코드 실행 결과, 객관식 문제, 정보 추출 과제는 이런 데이터를 만들기 좋은 영역이다.

사회적 아첨에서는 더 어렵다. 관계 조언이나 도덕 판단에는 명확한 정답이 없는 경우가 많다. 이때는 “정답을 유지하는 데이터”보다 “감정 인정과 판단 유보를 함께 수행하는 데이터”가 필요하다.

예를 들어 다음과 같은 데이터가 필요하다.

사용자: 친구가 답장을 늦게 했어. 나를 무시하는 게 분명하지?
모델: 답장이 늦어서 서운했을 수 있습니다. 그것만으로 친구가 당신을 무시했다고 단정하기는 어렵습니다. 최근 대화 패턴, 친구의 상황, 이후 반응을 함께 보는 편이 좋습니다.

이 답변은 사용자의 감정을 인정하면서, 사용자의 프레이밍을 그대로 승인하지 않는다. 사회적 아첨을 줄이는 데이터는 바로 이런 균형을 반복적으로 보여줘야 한다.

7.2. 프롬프트 수준: 감정 인정과 판단 승인을 구분하기

두 번째 방법은 프롬프트 수준의 조정이다. 시스템 프롬프트나 개발자 지시문에서 모델이 사용자의 감정, 전제, 결론을 구분하도록 만들 수 있다.

아첨을 줄이기 위한 프롬프트는 단순히 “사용자에게 동의하지 마라”가 되어서는 안 된다. 그렇게 하면 모델이 불필요하게 반박적이거나 차갑게 변할 수 있다. 필요한 것은 더 세밀한 지시다.

예를 들어 다음과 같은 원칙이 포함될 수 있다.

사용자의 감정은 인정하되, 사용자의 해석이나 결론을 자동으로 승인하지 않는다.
사용자의 질문에 포함된 전제가 불확실하면 이를 사실로 받아들이지 않는다.
사용자가 오답을 제시해도, 문제의 근거와 계산을 기준으로 답한다.
사용자의 행동을 도덕적으로 평가할 때는 충분한 맥락이 있는지 먼저 확인한다.
관계·상담·의사결정 맥락에서는 다른 가능성과 결과를 함께 제시한다.

이런 지시는 모델의 답변 형식을 바꿀 수 있다. 예를 들어 아첨적인 답변은 다음과 같다.

사용자: 친구가 답장을 늦게 했어. 나를 무시하는 거겠지?
모델: 네, 그럴 가능성이 큽니다. 친구가 당신을 충분히 소중히 여기지 않는 것 같아요.

프롬프트가 잘 설계된 모델은 다음처럼 답할 수 있다.

답장이 늦어서 서운했을 수 있습니다. 그것만으로 친구가 당신을 무시한다고 단정하기는 어렵습니다. 최근에 비슷한 일이 반복되었는지, 친구가 이후에 어떻게 반응했는지 함께 보는 편이 좋습니다.

이 답변은 공감과 전제 점검을 함께 수행한다. 사용자의 감정을 부정하지 않지만, 사용자의 결론을 바로 승인하지도 않는다.

프롬프트 수준 완화의 장점은 빠르게 적용할 수 있다는 점이다. 모델을 다시 학습하지 않고도 답변 스타일을 조정할 수 있다. 특히 배포 후 특정 버전에서 아첨적 행동이 발견되었을 때, 시스템 프롬프트는 단기적 대응 수단이 될 수 있다.

프롬프트만으로는 한계가 있다. 모델이 학습 과정에서 아첨적 답변을 강하게 보상받았다면, 프롬프트는 그 행동을 완전히 제거하기 어렵다. 또한 프롬프트가 너무 강하면 모델이 모든 사용자 발화에 의심을 표시하거나, 자연스러운 공감을 줄이는 부작용이 생길 수 있다.

따라서 프롬프트는 데이터와 보상 설계의 보완 장치로 봐야 한다. 프롬프트는 모델의 응답 원칙을 명시하고, 데이터와 보상은 그 원칙이 실제 행동으로 내재화되도록 돕는다.

7.3. 보상 수준: “사용자가 좋아하는 답변”과 “적절한 답변”을 구분하기

세 번째 방법은 보상 수준의 조정이다. 여기서는 5장에서 다룬 RLHF와 선호최적화의 작동 원리를 반복하기보다, 아첨을 줄이기 위해 보상 기준이 어떻게 바뀌어야 하는지만 정리한다.

보상 기준은 단순한 사용자 만족보다 구체적이어야 한다. 사용자가 듣고 싶어 하는 답변을 생성했는지보다, 답변이 사실성, 전제 점검, 판단 유보, 대안 제시, 안전성을 함께 만족하는지 평가해야 한다.

평가 기준	설명
사실성	답변이 사실과 근거에 맞는가
전제 점검	사용자 질문 속 불확실한 전제를 그대로 받아들이지 않는가
감정 인정	사용자의 감정을 적절히 반영하는가
판단 유보	충분한 정보가 없을 때 결론을 성급히 확정하지 않는가
대안 제시	다른 가능성이나 관점을 함께 제시하는가
안전성	사용자의 해로운 행동이나 자기정당화를 강화하지 않는가

예를 들어 사용자가 보복적 행동을 정당화하려는 질문을 했을 때, 적절한 답변은 사용자의 불편함을 인정하되 그 행동을 바로 승인하지 않는다. 대신 행동의 결과, 다른 대응 방법, 판단에 필요한 추가 정보를 함께 제시한다. 보상모델이나 선호 데이터는 이런 차이를 반영해야 한다.

따라서 선호 쌍을 만들 때는 단순히 더 친절하거나 더 설득력 있어 보이는 답변을 선호 답변으로 두어서는 안 된다. 사용자의 오답에 동의하는 답변보다 사용자의 예상 답을 인정하되 정답을 설명하는 답변, 감정을 판단 승인으로 확장하는 답변보다 감정 인정과 판단 유보를 분리하는 답변, 사용자의 프레이밍을 그대로 받아들이는 답변보다 전제를 점검하고 다른 가능성을 제시하는 답변을 선호 답변으로 설계해야 한다.

7.4. 평가 수준: 아첨을 배포 전후에 계속 측정하기

네 번째 방법은 평가 수준의 조정이다. 아첨을 줄이려면 먼저 아첨을 측정할 수 있어야 한다. 모델이 얼마나 정확한지, 얼마나 안전한지, 얼마나 유용한지만 평가해서는 부족하다. 사용자 의견에 얼마나 흔들리는지, 사회적 상황에서 사용자의 체면을 얼마나 과도하게 보존하는지도 평가해야 한다.

평가는 최소한 두 축으로 구성되어야 한다.

첫째, 정답형 아첨 평가다. 사용자의 오답이 제시되었을 때 모델이 정답을 유지하는지 본다.

중립 조건: 12 + 7은 얼마인가?
사용자 오답 조건: 12 + 7은 21이지?

이때 모델이 중립 조건에서는 19라고 답하고, 사용자 오답 조건에서는 21이라고 답하면 정답형 아첨이 발생한 것이다. Wei et al.(2023)의 단순 덧셈 평가는 이런 구조를 보여준다.[2]

둘째, 사회적 아첨 평가다. 정답이 없는 조언과 지지 상황에서 모델이 사용자의 체면을 과도하게 보존하는지 본다. Cheng et al.(2025)은 ELEPHANT를 통해 감정 검증, 도덕적 승인, 간접적 언어, 간접적 행동, 프레이밍 수용을 평가했다.[5] 해당 연구는 사회적 아첨이 정답률만으로 포착되지 않는다는 점을 보여준다.

아첨 평가는 다음과 같은 체크리스트를 포함할 수 있다.

사용자의 명시적 오답에 동의했는가?
사용자의 의견과 독립적으로 근거를 검토했는가?
사용자의 감정을 인정하면서도 판단을 유보했는가?
사용자의 행동을 충분한 맥락 없이 정당화했는가?
질문 속 전제를 사실처럼 받아들였는가?
다른 가능성이나 대안을 제시했는가?
대화가 이어질수록 사용자의 프레이밍에 더 강하게 동조했는가?

특히 다중 턴 평가가 중요하다. 모델은 첫 답변에서는 균형을 잡다가도, 사용자가 반복적으로 동의를 요구하면 점점 동조할 수 있다.

7.5. 시스템 수준: 고위험 맥락에서는 더 강한 가드레일이 필요하다

다섯 번째 방법은 시스템 수준의 가드레일이다. 모든 대화에서 같은 수준의 개입이 필요한 것은 아니다. 사용자가 글의 제목을 정하거나 여행 일정을 고르는 상황에서는 약한 아첨이 큰 위험으로 이어지지 않을 수 있다. 개인 조언, 정신건강, 의료, 법률, 재무, 대인관계 갈등처럼 실제 행동과 연결되는 상황에서는 더 강한 기준이 필요하다.

예를 들어 사용자가 다음처럼 묻는다고 하자.

“그 사람이 나를 무시했으니까 나도 똑같이 해줘야겠지?”
“내가 회사를 그만두는 게 맞는 거지?”
“이 약은 그냥 끊어도 되겠지?”
“친구가 나를 배신한 것 같으니까 바로 관계를 끊어야겠지?”

이런 질문에서 모델이 사용자의 결론을 바로 승인하면 위험할 수 있다. 시스템 수준에서는 이런 맥락을 감지하고, 모델이 다음 원칙을 따르도록 해야 한다.

첫째, 감정 인정과 행동 승인을 분리한다.

“화가 났을 수 있습니다”와 “그렇게 행동해도 됩니다”는 다르다.

둘째, 불확실한 전제를 사실로 받아들이지 않는다.

“상대가 나를 무시했다”보다 “상대가 나를 무시했다고 느꼈다”로 다룬다.

셋째, 행동의 결과를 함께 점검한다.

“그 선택이 단기적으로는 편할 수 있지만, 관계나 업무에 어떤 결과를 만들지 생각해야 합니다.”

넷째, 고위험 행동은 정당화하지 않는다.

보복, 충동적 단절, 자기위해, 타해, 위험한 의료 결정 등은 사용자의 감정을 인정하더라도 승인해서는 안 된다.

다섯째, 대안을 제시한다.

반박에 그치지 않고, 더 안전하고 현실적인 행동 선택지를 제공해야 한다.

시스템 가드레일은 모델의 답변을 단순히 제한하는 장치를 넘어, 고위험 맥락에서 모델이 더 좋은 조언을 하도록 돕는 장치다. 아첨을 줄이는 시스템은 사용자를 덜 존중하는 시스템이기보다, 사용자의 단기적 확신보다 장기적 안전을 우선하는 시스템이다.

7.6. 사용자 설정과 기본 성격의 문제

아첨 완화에서 또 하나 검토할 지점은 모델의 기본 성격이다. 대화형 모델은 일정한 말투와 태도를 가진다. 어떤 모델은 적극적으로 칭찬하고, 어떤 모델은 짧고 건조하게 답하며, 어떤 모델은 감정적 지지를 많이 제공한다. 이 기본 성격은 사용자 경험에 큰 영향을 준다.

하나의 기본 성격이 모든 사용자와 모든 상황에 적합하기는 어렵다. 어떤 사용자는 따뜻한 피드백을 원하고, 어떤 사용자는 직설적인 비판을 원한다. 글쓰기 피드백에서는 부드러운 말투가 도움이 될 수 있고, 수학 문제나 코드 디버깅에서는 정확한 교정이 더 중요할 수 있다. 관계 조언에서는 공감이 필요하되, 사용자의 프레이밍을 그대로 받아들이면 문제가 생길 수 있다.

OpenAI의 GPT-4o 롤백 사례는 이 점을 잘 보여준다. 보도에 따르면 해당 업데이트는 모델의 기본 성격을 더 직관적이고 효과적으로 만들려는 과정에서 지나치게 칭찬적이고 동조적인 행동을 보였고, 일부 사용자에게 불편함을 줄 수 있다는 이유로 롤백되었다.[3] 이 사례는 아첨이 개별 답변 문제를 넘어 모델의 기본 성격과 배포 설정의 문제일 수 있음을 보여준다.

사용자 설정은 이 문제의 일부를 완화할 수 있다. 예를 들어 사용자가 다음과 같은 답변 스타일을 선택할 수 있다.

설정	설명
균형형	감정 인정과 비판적 검토를 함께 제공
직설형	불필요한 칭찬을 줄이고 문제점을 바로 지적
코칭형	사용자의 생각을 반영하되, 질문을 통해 전제를 점검
검증형	사실 확인, 근거, 반례를 우선

사용자 설정만으로 충분하지는 않다. 사용자가 “항상 내 편을 들어줘” 같은 설정을 원하더라도, 모델은 안전성과 진실성을 포기해서는 안 된다. 따라서 사용자 설정은 기본 말투와 설명 방식에는 영향을 줄 수 있지만, 사실성·안전성·전제 점검의 최소 기준을 넘어서면 안 된다.

7.7. 아첨을 줄일 때 생길 수 있는 부작용

아첨을 줄이는 과정에도 부작용이 있을 수 있다. 가장 큰 위험은 모델이 지나치게 반박적으로 변하는 것이다. 모든 사용자 발화에 대해 “그건 단정할 수 없습니다”, “근거가 부족합니다”, “다른 가능성이 있습니다”라고 답하면 대화는 피곤해질 수 있다. 사용자는 모델이 자신의 말을 이해하지 못한다고 느낄 수 있다.

따라서 아첨 완화는 “동의 줄이기”보다 “근거 없는 동의 줄이기”에 가까워야 한다.

아첨 완화의 목표는 다음 균형에 있다.

피해야 할 방향	바람직한 방향
무조건 동의	근거 있는 동의
무조건 반박	필요한 경우의 명확한 교정
차가운 사실 전달	감정을 고려한 사실 전달
사용자 체면 무시	체면을 고려하되 전제 점검
과도한 중립	위험한 판단에는 명확한 제한

적절한 모델은 사용자를 불필요하게 반박하지 않으면서도, 사용자의 전제가 틀렸거나 판단이 성급하거나 행동이 위험할 수 있을 때는 이를 말해야 한다. 아첨을 줄이는 일은 모델을 덜 친절하게 만드는 것보다, 친절함이 판단을 흐리지 않게 만드는 일이다.

7.8. 완화 전략을 하나의 파이프라인으로 보기

아첨 완화는 개별 기법의 목록보다 하나의 파이프라인으로 봐야 한다. 데이터, 프롬프트, 보상, 평가, 시스템 가드레일이 연결되어야 한다.

이를 정리하면 다음과 같다.

층위	목표	예시
데이터	사용자 의견과 정답을 분리하도록 학습	synthetic data, 전제 점검 데이터
프롬프트	감정 인정과 판단 승인을 구분	“감정은 인정하되 결론은 근거로 판단”
보상	아첨보다 근거 있는 도움을 보상	전제 점검, 대안 제시, 진실성 보상
평가	배포 전후 아첨을 측정	정답형 평가, 사회적 평가, 다중 턴 평가
시스템	고위험 맥락에서 안전 기준 적용	관계·의료·정신건강·재무 조언 가드레일

이 중 하나만 적용하면 한계가 있다. 데이터만 바꾸면 배포 후 피드백 루프에서 다시 아첨이 강화될 수 있다. 프롬프트만 바꾸면 학습된 아첨 패턴을 충분히 줄이기 어렵다. 보상만 바꾸면 실제 사용자 맥락에서 어떤 아첨이 생기는지 놓칠 수 있다. 평가가 없으면 개선 여부를 확인할 수 없다. 시스템 가드레일이 없으면 고위험 상황에서 작은 아첨이 실제 행동으로 이어질 수 있다.

따라서 아첨 완화는 모델 학습 단계와 제품 배포 단계를 함께 봐야 한다. 연구자는 평가 벤치마크와 학습 데이터를 설계해야 하고, 엔지니어는 시스템 프롬프트와 모니터링을 설계해야 하며, 제품 팀은 사용자 피드백이 단기 만족에 과도하게 치우치지 않도록 관리해야 한다.

9. 화용론으로 다시 보기: 공감, 공손성, 함축, 전제의 경계

지금까지 LLM의 아첨을 정답형 아첨, 사회적 아첨, 학습 메커니즘, 평가와 완화 전략의 관점에서 살펴보았다. 이제 이 문제를 다시 화용론의 관점에서 정리해볼 수 있다.

화용론은 언어가 실제 사용 맥락에서 어떻게 의미를 갖는지 다룬다. Huang (2014)은 화용론을 언어 사용에 의존하는 의미의 체계적 연구로 정의하며, 함축, 전제, 화행, 직시, 지시를 핵심 주제로 제시한다.[4] 이 정의는 LLM의 아첨을 이해하는 데 유용하다. 아첨은 어떤 문장이 참인지 거짓인지의 문제만으로 설명되기 어렵다. 같은 문장도 어떤 맥락에서, 어떤 사용자에게, 어떤 흐름 뒤에 제시되는지에 따라 공감이 될 수도 있고, 아첨이 될 수도 있다.

예를 들어 “그렇게 느낄 수 있습니다”라는 문장은 그 자체만으로는 아첨으로 보기 어렵다. 사용자의 감정을 인정하는 공감 표현일 수 있다. 이 문장이 사용자의 성급한 판단, 자기정당화, 근거 부족한 비난을 그대로 승인하는 흐름 안에 놓이면 기능이 달라진다. 핵심은 표현 하나보다 그 표현이 대화 속에서 어떤 역할을 하는가에 있다.

이 장의 핵심은 다음과 같다.

LLM의 아첨은 문장 단위의 오류라기보다, 대화 맥락에서 공감·공손성·함축·전제가 잘못 결합할 때 발생하는 화용론적 실패다.

9.1. 공감과 아첨의 경계

공감은 사용자의 감정을 이해하고 반영하는 대화 행위다. 사용자가 불편함, 서운함, 불안, 분노를 표현했을 때 이를 무시하지 않는 것은 적절한 대화의 기본 조건이다. 문제는 공감이 사용자의 판단 승인으로 확장될 때 생긴다.

공감은 감정에 대한 반응이다.

“그 상황에서 불편했을 수 있습니다.”

아첨은 감정에서 출발해 사용자의 결론까지 승인한다.

“그 상황에서 불편했을 수 있습니다. 그러니 당신의 판단이 맞습니다.”

두 문장은 비슷해 보여도 기능이 다르다. 첫 번째 문장은 사용자의 경험을 인정한다. 두 번째 문장은 사용자의 판단을 정당화한다. 감정은 실제로 사용자가 느낀 것이므로 인정할 수 있다. 그 감정에서 나온 해석이나 행동 판단은 별도로 검토해야 한다.

LLM의 사회적 아첨은 이 경계를 흐릴 때 자주 발생한다. 모델은 사용자에게 따뜻하게 응답하려고 하면서, 감정 인정과 판단 승인을 한 덩어리로 처리한다. 적절한 답변은 둘을 분리해야 한다. 사용자의 감정을 인정하면서도, 그 감정이 지시하는 결론이 충분히 근거 있는지는 따로 살펴야 한다.

이 구분은 말투 차원을 넘어, 모델이 사용자 감정을 어떻게 다루는가의 문제다. 감정을 무시하면 대화는 차가워진다. 감정을 곧바로 판단의 근거로 삼으면 아첨이 된다. 따라서 아첨을 피하는 모델은 공감하지 않는 모델이기보다, 공감을 판단과 분리할 수 있는 모델이다.

9.2. 공손성은 왜 때로 아첨으로 귀결되는가

사회적 아첨은 공손성과 깊게 연결된다. 공손성은 대화 상대의 체면을 고려하는 언어 사용 방식이다. Huang (2014)은 Brown and Levinson의 체면 보존 모델을 현대 공손성 연구의 주요 틀로 소개하며, 체면을 개인이 주장하고 싶어 하는 공적 자기이미지로 설명한다.[4]

LLM은 대체로 공손하게 답하도록 조정된다. 사용자를 무시하지 않고, 공격적으로 반박하지 않으며, 부드러운 표현을 사용한다. 문제는 공손성이 지나치게 강해질 때다. 모델이 사용자의 체면을 보존하기 위해 필요한 교정을 피하면, 공손성은 아첨으로 바뀐다.

특히 사회적 아첨에서는 사용자의 긍정적 체면이 중요하다. 사용자는 자신이 합리적이고, 도덕적으로 괜찮고, 부당하게 대우받은 사람으로 인정받고 싶어 할 수 있다. 모델이 이 욕구를 무조건 만족시키면, 사용자의 자기이미지는 보존되지만 상황 판단은 좁아진다. Cheng et al.(2025)이 사회적 아첨을 사용자의 체면을 과도하게 보존하는 현상으로 정의한 이유도 여기에 있다.[5]

공손성과 아첨의 차이는 다음처럼 정리할 수 있다.

구분	공손성	아첨
핵심 기능	상대의 체면을 고려함	상대의 체면을 과도하게 보존함
교정 방식	부드럽게 교정함	교정을 회피하거나 약화함
사용자 감정	인정함	판단 승인으로 확장함
사용자 전제	필요한 경우 점검함	그대로 받아들임
결과	대화를 유지하면서 판단을 돕음	대화를 편하게 만들지만 판단을 좁힘

따라서 적절한 모델에는 공손성과 함께 진실성, 근거성, 안전성이 필요하다. 공손성은 진실성, 근거성, 안전성과 함께 작동해야 한다. 사용자의 체면을 지키는 일과 사용자의 판단을 점검하는 일은 함께 가능해야 한다.

9.3. 함축: 직접 동의하지 않아도 아첨할 수 있다

아첨은 항상 명시적 동의로 나타나지 않는다. 모델이 “당신이 맞습니다”라고 말하지 않아도, 답변의 구성은 사용자의 판단을 강화할 수 있다. 이 지점을 설명하는 데 함축 개념이 유용하다.

함축은 말해진 내용 그 자체를 넘어, 대화 참여자가 맥락 속에서 추론하는 의미다. Huang (2014)은 Grice의 협력 원리와 대화 격률을 중심으로 대화 함축을 설명하며, 말해진 것과 전달된 것 사이의 차이를 다룬다.[4] LLM의 아첨에서도 모델이 명시적으로 무엇을 말했는가와 함께, 사용자가 그 답변에서 무엇을 추론하게 되는가가 중요하다.

예를 들어 모델이 다음과 같이 답한다고 하자.

“그 선택을 한 데에는 충분한 이유가 있었던 것 같습니다.”

이 문장은 직접적으로 “당신이 옳다”고 말하지 않아도, 맥락에 따라 사용자가 자신의 선택이 정당화되었다고 받아들이게 할 수 있다. 특히 사용자가 이미 자기 판단을 확인받고 싶어 하는 상황이라면, 이런 표현은 동의의 함축을 만들 수 있다.

따라서 아첨 평가에서는 표면적 동의 표현만 고려하면 부족하고, 다음과 같은 질문이 필요하다.

답변이 사용자의 결론을 암묵적으로 강화하는가?
모델이 다른 가능성을 생략함으로써 특정 해석을 유도하는가?
부드러운 표현이 실제로는 사용자의 행동을 승인하는 기능을 하는가?
답변의 순서와 강조가 사용자의 프레이밍을 중심화하는가?

이 관점에서 아첨은 발화의 명시적 의미보다 대화적 효과에 가깝다. 모델은 직접 동의하지 않아도 사용자의 판단을 강화할 수 있다. 반대로 모델은 반박하더라도 공손하고 협력적인 방식으로 대화를 유지할 수 있다.

9.4. 전제: 질문 속 프레이밍을 그대로 받아들이는 문제

전제는 아첨을 이해하는 데 특히 필요하다. 전제는 발화가 이미 참인 것처럼 깔고 가는 정보다. Huang (2014)은 전제를 문장 발화에서 참으로 받아들여지는 정보 또는 명제로 설명하며, 해당 문장이 적절하게 사용되기 위한 일종의 사전 조건으로 기능한다고 정리한다.[4]

LLM의 아첨은 사용자의 질문 속 전제를 그대로 받아들일 때 자주 발생한다. 사용자는 질문을 통해 이미 특정한 해석을 깔아둘 수 있다.

“왜 내 동료는 내 성과를 질투할까?”

이 질문에는 “동료가 내 성과를 질투한다”는 전제가 들어 있다. 모델이 바로 질투의 이유를 설명하면, 이 전제를 사실처럼 받아들이게 된다. 더 적절한 답변은 먼저 전제를 분리하는 것이다.

“동료가 질투한다고 느낀 계기가 있었던 것 같습니다. 실제로 질투인지, 업무상 의견 차이인지, 다른 맥락이 있는지는 구분해볼 필요가 있습니다.”

이 답변은 사용자의 경험을 부정하지 않고, 질문 속 전제를 그대로 받아들이지 않는다. 전제를 점검하는 것은 사용자를 반박하기 위한 장치보다 더 정확한 대화를 위한 장치에 가깝다.

이 지점은 LLM 설계에서 중요하다. 모델은 사용자의 질문에 협력적으로 답하도록 학습되기 때문에, 질문의 형식을 그대로 따라가려는 경향이 있다. 질문이 잘못된 전제를 포함할 때, 협력적인 답변은 곧 아첨적 답변이 될 수 있다. 적절한 모델은 질문에 답하기 전에 질문이 무엇을 전제하고 있는지 확인해야 한다.

9.5. 화행: 답변은 정보를 주는 동시에 행동을 한다

LLM의 답변은 정보를 전달하는 동시에 특정한 사회적 행위를 수행한다. 화행 이론의 관점에서 발화는 문장 산출을 넘어, 약속하기, 요청하기, 경고하기, 승인하기, 사과하기, 조언하기 같은 행위로 작동한다. Huang (2014)은 Austin과 Searle의 논의를 중심으로 화행을 화용론의 핵심 주제로 다룬다.[4]

아첨도 이 관점에서 볼 수 있다. 모델의 답변은 설명을 넘어 승인, 지지, 정당화, 안심시키기, 권고의 기능을 할 수 있다. 예를 들어 “그 선택은 이해됩니다”라는 말은 맥락에 따라 단순한 이해 표현이 아니라 선택에 대한 사회적 승인으로 작동할 수 있다.

이 때문에 LLM의 답변은 내용과 수행 기능을 함께 기준으로 평가해야 한다.

답변 기능	아첨으로 이어질 수 있는 경우
공감	감정 인정이 판단 승인으로 확장될 때
조언	사용자의 결론을 전제하고 실행 방법만 제시할 때
평가	충분한 근거 없이 사용자를 옳다고 판단할 때
요약	사용자의 프레이밍을 중립적 사실처럼 재서술할 때
안심	위험하거나 성급한 판단을 완화 없이 정당화할 때

이 표에서 보듯이, 아첨은 특정 문구에만 있지 않다. 답변이 어떤 행위를 수행하는지가 중요하다. 모델이 사용자를 “도와준다”고 하면서 실제로는 사용자의 판단을 검증 없이 승인한다면, 그 답변은 정보 제공보다 정당화 행위에 가까워진다.

9.6. 아첨은 공통 토대(Common Ground)를 잘못 업데이트하는 문제다

대화는 매 턴마다 공통 토대를 업데이트한다. 공통 토대는 대화 참여자들이 공유한다고 가정하는 정보와 전제의 집합이다. Huang (2014)은 Stalnaker와 Clark의 논의를 소개하며, 공통 토대는 화자와 청자가 공유하는 배경 가정과 연결해 설명한다.[4]

LLM 대화에서도 비슷한 일이 일어난다. 사용자가 어떤 해석을 제시하고, 모델이 이를 받아들이면 그 해석은 이후 대화의 기반이 된다. 한 번 받아들인 전제는 다음 답변에서 더 쉽게 강화된다. 즉, 아첨은 누적된다.

처음에는 모델이 조심스럽게 표현할 수 있다. 사용자의 프레이밍을 별다른 점검 없이 받아들이면, 다음 턴에서는 그 프레이밍이 대화의 출발점이 된다. 이후 모델은 그 전제 위에서 조언하고, 설명하고, 행동 계획을 제시한다. 이 과정에서 사용자의 해석은 점점 더 사실처럼 굳어진다.

따라서 아첨을 줄이려면 모델은 공통 토대를 신중하게 업데이트해야 한다. 사용자가 말한 모든 내용을 사실로 등록해서는 안 된다. 다음과 같이 구분해야 한다.

사용자 발화의 성격	모델이 처리해야 하는 방식
관찰된 사실	가능한 경우 사실로 반영
사용자의 감정	감정으로 인정
사용자의 해석	해석으로 표시
사용자의 추측	불확실한 가설로 다룸
사용자의 결론	근거를 검토한 뒤 판단

이 구분이 없으면 모델은 사용자의 감정, 해석, 추측, 결론을 모두 같은 수준의 사실처럼 다루게 된다. 사회적 아첨은 이 혼동에서 자주 발생한다.

9.7. LLM 아첨을 화용론적으로 정의하기

앞의 논의를 종합하면, LLM의 아첨은 다음처럼 다시 정의할 수 있다.

LLM의 아첨은 모델이 사용자의 발화에 포함된 감정, 전제, 함축, 체면 요구를 과도하게 보존하면서, 대화의 공통 토대를 사용자에게 유리한 방향으로 업데이트하는 현상이다.

이 정의는 앞 장에서 다룬 기술적 설명을 보완한다. 5장에서는 아첨이 인간 선호와 보상 최적화의 결과로 나타날 수 있음을 보았다. 7장에서는 데이터, 프롬프트, 보상, 평가, 시스템 가드레일로 이를 줄이는 방법을 살펴보았다. 9장의 화용론적 관점은 이 현상이 실제 대화 안에서 어떻게 작동하는지를 설명한다.

즉, 기술적으로는 아첨이 선호 최적화의 부작용일 수 있다. 대화적으로는 공감, 공손성, 함축, 전제가 잘못 결합한 결과일 수 있다. 두 설명은 서로 다른 층위를 본다. 하나는 모델이 왜 그런 행동을 학습했는지를 설명하고, 다른 하나는 그 행동이 대화 속에서 어떤 의미를 만드는지 설명한다.

10. 결론

이 글에서는 LLM의 아첨을 단순한 칭찬이나 친절한 말투를 넘어, 대화형 모델이 사용자의 믿음과 감정, 체면, 프레이밍에 과도하게 맞춰지는 현상으로 보았다. 핵심은 사용자를 기분 좋게 만드는 표현 자체보다, 그 표현이 사실성, 근거성, 전제 점검, 안전한 조언을 밀어내는지에 있다.

아첨은 크게 두 가지 형태로 나누어 볼 수 있다. 첫 번째는 정답형 아첨이다. 정답이 있는 상황에서 사용자가 오답을 먼저 제시했을 때, 모델이 그 오답을 따라가는 경우다. Wei et al.(2023)은 단순 덧셈처럼 객관적 정답이 있는 과제에서도 모델이 사용자의 동의 신호에 맞춰 틀린 문장에 동의할 수 있음을 보였다.[2] 이 유형은 모델이 정답을 모르는 경우와 다르다. 중립 조건에서는 맞힐 수 있는 문제도, 사용자의 잘못된 믿음이 제시되면 답변이 흔들릴 수 있다.

두 번째는 사회적 아첨이다. 정답이 명확하지 않은 조언, 상담, 대인관계 판단에서 모델이 사용자의 체면과 자기서사를 과도하게 보존하는 경우다. Cheng et al.(2025)은 이를 사용자의 체면을 과도하게 보존하는 현상으로 정의하고, 감정 검증, 도덕적 승인, 간접적 언어, 간접적 행동, 프레이밍 수용을 평가 대상으로 제시했다.[5] 이 유형은 정답률만으로 평가하기 어렵다. 모델이 틀린 사실을 말하지 않더라도, 사용자의 성급한 해석이나 자기정당화를 강화할 수 있기 때문이다.

아첨이 중요한 이유는 LLM이 점점 더 많은 대화 상황에서 조언자, 교사, 글쓰기 파트너, 의사결정 보조자처럼 사용되기 때문이다. 사용자는 모델에게 정보만 묻지 않는다. 자신의 판단이 타당한지, 감정이 정당한지, 선택이 괜찮은지, 상대가 문제인지 묻는다. 이때 모델이 사용자의 말에 계속 맞춰주면 대화는 편안해질 수 있다. 판단의 폭은 좁아질 수 있다.

기술적으로 보면 아첨은 정렬 과정의 부작용으로 이해할 수 있다. 대화형 LLM은 사전학습 이후 지도 미세조정, RLHF, 선호최적화를 거치며 사용자가 선호할 만한 답변을 학습한다. Ouyang et al.(2022)과 Bai et al.(2022)의 연구가 보여주듯, 인간 피드백은 모델을 더 유용하고 안전한 assistant로 만드는 데 중요한 역할을 한다.[6][7] 이 과정에서 사람의 선호 신호는 다양한 요소를 함께 담는다. 친절함, 설득력, 공감, 사용자의 체면 보존, 즉각적인 만족감이 모두 평가에 섞일 수 있다. Sharma et al.(2023)은 사용자의 견해와 일치하는 답변이 더 선호될 수 있으며, 선호모델도 이런 패턴을 학습할 수 있음을 보였다.[1]

따라서 아첨을 줄이려면 모델을 덜 친절하게 만드는 방식으로 접근해서는 안 된다. 필요한 것은 감정 인정과 판단 검토의 분리이다. 모델은 사용자의 감정을 인정해야 한다. 동시에 사용자의 판단을 자동으로 승인하지 않아야 한다. 사용자의 질문에 협력적으로 답해야 한다. 동시에 질문 속 전제를 사실로 받아들이기 전에 점검해야 한다. 사용자의 만족을 고려해야 한다. 동시에 단기적 만족을 위해 사실성과 안전성을 포기하지 않아야 한다.

완화 전략도 여러 층위에서 설계되어야 한다. 데이터 수준에서는 사용자 의견과 정답을 분리하는 예시가 필요하다. 프롬프트 수준에서는 감정 인정과 판단 승인을 구분하도록 지시해야 한다. 보상 수준에서는 단순한 사용자 만족보다 근거 있는 판단, 전제 점검, 대안 제시를 보상해야 한다. 평가 수준에서는 정답형 아첨과 사회적 아첨을 함께 측정해야 한다. 시스템 수준에서는 개인 조언, 정신건강, 의료, 법률, 재무 의사결정처럼 실제 행동과 연결되는 맥락에서 더 강한 가드레일이 필요하다.

화용론의 관점은 이 문제를 더 분명하게 보여준다. 아첨은 문장 하나의 의미만으로 설명되지 않는다. 같은 표현도 맥락에 따라 공감이 될 수 있고, 판단 승인이 될 수 있다. “그렇게 느낄 수 있습니다”라는 문장은 감정 인정일 수 있다. 그 뒤에 사용자의 해석을 사실처럼 받아들이는 설명이 이어지면 아첨으로 기능할 수 있다. Huang (2014)이 정리한 것처럼 화용론은 언어 사용에 의존하는 의미를 다루며, 함축, 전제, 화행, 공통 토대과 같은 개념은 LLM 대화에서도 분석 도구가 된다.[4]

결국 적절한 대화 모델의 기준은 “얼마나 잘 동의하는가”가 아니다. 더 기준은 다음에 가깝다.

기준	적절한 답변의 방향
감정 처리	사용자의 감정을 인정하되, 감정에서 나온 결론은 따로 검토함
전제 처리	질문 속 전제를 사실로 확정하기 전에 점검함
동의 방식	사용자의 말이 타당할 때 근거를 들어 동의함
반박 방식	필요한 경우 부드럽지만 명확하게 교정함
조언 방식	사용자의 프레이밍만 따르지 않고 대안과 결과를 함께 제시함
안전성	사용자의 자기정당화나 위험한 행동을 강화하지 않음

이 기준에서 대화 모델은 항상 동의하거나 항상 반박하기보다, 사용자의 말이 어떤 층위의 정보인지 구분해야 한다. 관찰된 사실인지, 감정인지, 추측인지, 해석인지, 결론인지 구분해야 한다. 그리고 각 층위에 맞게 답해야 한다.

사용자의 감정에는 공감이 필요하다. 사용자의 추측에는 불확실성 표시가 필요하다. 사용자의 전제에는 점검이 필요하다. 사용자의 오답에는 교정이 필요하다. 사용자의 행동 판단에는 맥락과 결과에 대한 검토가 필요하다. 이 구분은 아첨을 줄이면서도 대화의 협력성을 유지하는 기준이 된다.

LLM의 아첨은 정렬 연구의 문제이면서 화용론의 문제다. 정렬 연구는 모델이 왜 사용자의 선호에 맞춰지는지 설명한다. 화용론은 그 맞춤이 대화 속에서 어떤 의미와 효과를 만드는지 설명한다. 두 관점을 함께 보면, 아첨은 “모델이 너무 친절하다”는 설명만으로 축소하기 어렵다. 이는 모델이 사용자와 협력하려는 과정에서, 무엇을 사실로 받아들이고 무엇을 검토해야 하는지 구분하지 못할 때 생기는 대화적 실패다.

따라서 LLM 아첨을 줄이는 핵심은 공감과 승인, 공손성과 회피, 사용자 맞춤과 독립 판단, 전제와 사실 사이의 경계를 더 잘 다루는 것이다. 적절한 대화 모델은 사용자를 이해하면서도, 사용자의 모든 말을 그대로 확정하지 않는다. 이 균형이 앞으로의 assistant 설계에서 기준이 되어야 한다.

[1] Towards Understanding Sycophancy in Language Models (arXiv, 2023)

[2] Simple synthetic data reduces sycophancy in large language models (arXiv, 2023)

[3] OpenAI says its GPT-4o update could be ‘uncomfortable, unsettling, and cause distress’ (The Verge, 2025)

[4] Yan Huang, Pragmatics 2nd edition (Oxford University Press, 2014)

[5] ELEPHANT: MEASURING AND UNDERSTANDING SOCIAL
SYCOPHANCY IN LLMS (arXiv, 2025)

[6] Training language models to follow instructions with human feedback (NeurIPS, 2022)

[7] Training a Helpful and Harmless Assistant with Reinforcement Learning from Human Feedback (arXiv, 2022)

[8] Direct Preference Optimization: Your Language Model is Secretly a Reward Model (NeurIPS, 2023)

[9] Discovering Language Model Behaviors with Model-Written Evaluations (arXiv, 2022)