대화 데이터셋 리뷰

Open-Source Full-Duplex Conversational Datasets for Natural and Interactive Speech Synthesis

대화형 모델에 계속 관심을 갖고 있고, 데이터 파트가 궁금해 읽게 되었습니다. 논문에서 진행한 방식은 직접 녹음하는 방식이었는데 사실 비용 문제로 크롤링이나 합성에 비해 제가 따라서 적용하기는 어렵겠다는 생각이 들었습니다. 추가적으로 좀 더 대규모 데이터셋으로 실험한 모델 크기가 더 컸을 때 결과가 궁금했는데 아무래도 그런 규모를 직접 녹음하기는 어렵고 하다보니 없어서 아쉬웠습니다. 그래도 이렇게 녹음하는 게 데이터 퀄리티는 가장 높고 fine-tuning 용으로 적합하기 때문에 그런 부분에서 도움이 되는 논문이었습니다.

✔️ 배경

최근 대화형 TTS와 음성 에이전트가 더 자연스러워지려면, 단순히 문장을 또렷하게 읽는 것을 넘어서 사람처럼 짧게 맞장구치고, 겹쳐 말하고, 끼어들고, 반응 타이밍을 조절하는 능력이 중요해졌습니다.

문제는 기존 음성 코퍼스 대부분이 여전히 turn-based, 즉 “한 사람이 말하고 끝나면 다음 사람이 말하는” 반이중(half-duplex) 형태가 많다는 점입니다.

✔️ Main Problem and Key Approach

이를 위해 저자들은 중국어와 영어 두 언어에 대해, 화자 두 명이 각자 분리된 공간에서 독립적으로 녹음하되 실제 대화는 자유롭게 진행하는 수집 프로토콜을 설계했습니다. 이렇게 하면 대화는 자연스럽게 유지하면서도, 각 화자의 오디오는 깨끗한 개별 채널로 확보할 수 있습니다. 즉, 상호작용의 자연스러움과 학습용 음질이라는 두 가지 요구를 동시에 잡으려는 접근입니다.

• Full-duplex conversation: 두 사람이 완전히 번갈아가며 말하는 것이 아니라, 말과 듣기가 동시에 일어나며 overlap, backchannel, interruption이 자연스럽게 발생하는 대화 형태입니다.

• Dual-track recording: 각 화자를 서로 다른 오디오 트랙에 분리해 녹음하는 방식입니다. 겹쳐 말해도 후처리나 학습 시 화자별 신호를 깨끗하게 다룰 수 있다는 장점이 있습니다.

✔️ Dataset Design & Annotation

1. 수집 방식

데이터는 중국어와 영어 원어민을 크라우드소싱 플랫폼을 통해 모집해 구축했습니다. 중요한 점은, 가능하면 서로 이미 친한 두 사람을 짝으로 구성했다는 것입니다. 친구, 가족, 동료처럼 익숙한 관계일수록 사회적 긴장이 적고, backchannel이나 interruption 같은 자연스러운 상호작용이 더 잘 나온다고 본 것입니다. 대화 주제도 강하게 제한하지 않고, 참가자들이 스스로 관심 있는 주제를 고르게 했습니다.

2. 녹음 포맷

Speaker A와 Speaker B의 파형이 서로 다른 트랙으로 시간축에 정렬되어 있습니다. 한쪽이 말하는 동안 다른 쪽이 짧게 반응하거나, 두 사람의 발화가 부분적으로 겹치는 구조를 그대로 볼 수 있습니다. 최종 공개 포맷은 16-bit PCM, 16kHz의 dual-track WAV이며, track 1은 Speaker A, track 2는 Speaker B에 대응합니다. conversational overlap을 잃지 않으면서도 speaker-isolated training data를 제공한다는 점이 이 데이터셋의 가장 실용적인 포인트입니다.

3. 전사와 어노테이션

어노테이션도 단순 ASR transcript보다 한 단계 더 신경 썼습니다. 각 발화에는 화자 ID, 성별, 시작/종료 시각이 붙고, 동시 발화는 두 트랙에서 겹치는 시간 구간으로 표현됩니다. 또 저자들은 문자 정확도만이 아니라 문장부호, 문장 경계, 문맥적 완결성까지 중요하게 다뤘다고 강조합니다. 특히 VAD segmentation을 “소리가 끊기는 지점”이 아니라 의미적으로 완결된 단위에 맞추려 했다는 점이 흥미롭습니다.

4. 데이터 구성

전체 데이터는 중국어 10시간, 영어 5시간, 총 15시간입니다. 세부적으로는 중국어 27개 대화, 영어 8개 대화이며, 총 35개 conversation에 14명의 화자가 포함됩니다. T중국어는 6명의 화자가 2,306개 발화 세그먼트를, 영어는 8명의 화자가 4,149개 발화 세그먼트를 구성합니다. 전사 파일은 화자별로 정리되며, 침묵이나 듣기 구간에는 "None" 라벨도 부여됩니다.

✔️ Technical Validation

이 논문은 “데이터가 실제로 도움이 되는가?”를 보여주기 위해, 새 모델을 제안하기보다 CosyVoice-300M을 이 데이터셋으로 파인튜닝해 전후 비교를 수행합니다. 저자들은 중국어/영어 데이터를 각각 따로 파인튜닝했고, 세그먼트 길이는 중국어 약 30자, 영어 15단어 수준으로 제한하고, 너무 짧으면 다음 발화와 병합했습니다.

1. 객관 평가

결과를 보면 prosody 관련 지표들이 특히 좋아졌음을 볼 수 있습니다.

2. 주관 평가

주관 평가는 언어별 원어민 10명씩을 모집해, 원본 모델(A)과 파인튜닝 모델(B)이 같은 텍스트를 읽은 샘플을 비교하게 했습니다. 각 청자는 80쌍을 평가했고, A/B 순서는 랜덤화된 single-blind 방식으로 제시됐습니다. 결과는 B가 약간 더 선호하는 것으로 나왔습니다.