음성 대화모델, 요즘은 어떻게 평가할까

Sujin Koo·2026년 5월 31일

최근 음성 대화모델 연구가 정말 활발하다. 특히 사용자의 말을 끝까지 다 듣고 나서야 대답하는 half-duplex 방식을 넘어, 듣는 동시에 말할 수 있는 full-duplex 모델들이 빠르게 등장하고 있다. 끼어들기(interruption), 멈춤(pause), 짧은 맞장구(backchannel)처럼 사람 사이의 대화에서 자연스럽게 일어나는 현상들을 다룰 수 있게 된 것이다.

그런데 모델이 발전하는 속도만큼, 이걸 어떻게 평가할 것인가라는 질문도 같이 커지고 있다. 최근 벤치마크 논문들을 보면 공통적으로 가리키는 방향이 있는데, 그 흐름을 정리해 봤다.

Single-round → Multi-turn으로

가장 큰 흐름은 평가 단위가 한 번의 응답에서 여러 라운드의 대화로 옮겨갔다는 점이다.

기존 벤치마크는 "interruption 한 번 잘 처리하는가", "pause 한 번 잘 받는가" 같은 단발성 능력을 봤다. 하지만 실제 음성 인터페이스는 사용자가 계속 끼어들고, 멈췄다 다시 말하고, 소음이 섞이는 복합적인 상황이다. 끼어들기가 딱 한 번만 일어나는 대화는 없다.

그래서 같은 feature를 여러 라운드 반복했을 때, 혹은 여러 feature가 섞였을 때도 성능이 유지되는지가 중요해지고 있다. 실제로 이렇게 평가해 보면 라운드가 늘어날수록 성능이가 눈에 띄게 떨어지는 모델이 많았다.

결국 여러 턴에서도 안정적인 모델이 중요해지고 있다.

Robustness

능력(capability) 측정에서 강건성(robustness) 측정으로 관점이 옮겨간 느낌이다.

현실에 가까워질수록(여러 feature 동시 발생, 배경 음성, barge-in 반복) 성능이 급격히 떨어진다.

기존 벤치마크가 이런 복합 조건을 잘 못 잡았다 보니, 모델의 실제 환경 성능을 제대로 평가해오지 못했다는 지적이 나온다. isolated test에서의 점수와 실제 서비스에서의 체감 성능 사이에 간극이 있었던 셈이다.

단일 지표 → 다차원 평가

단순히 하나의 지표만 보는 방식에서 벗어나, 여러 관점에서 동시에 평가하는 흐름이 분명하다.

예를 들어 대화 모델이라면 conversational timing이 좋은지뿐 아니라 instruction following을 유지하는지, 유해 요청을 거절하는지(safety), 응답 내용이 coherent한지를 함께 본다. 의료 같은 특정 도메인이라면 일반적인 받아쓰기 정확도(WER)에 더해, 질병·검사·처치·약물 같은 도메인 핵심 개념을 맞췄는지를 따로 측정하기도 한다(HC-WER).

여기서 한 발 더 나아가, transcript나 응답이 downstream에서 어떤 결과로 이어지는가까지 본다. 즉 모델 단독 성능보다 서비스 전체 관점에서의 평가가 중요해지고 있다.