세계 최초로 감정표현 하는 다중화자 노래음성합성 AI

이는 MuseSVS로 기존은 대부분 노래를 부르는 음성만을 합성할 수 있었던 반면, MuseSVS는 감정을 반영하여 음성을 합성했다고 한다!

감정을 반영해 음성을 합성하는 AI는 최초라고 한다.
악보와 함께 화자, 감정의 종류와 강도를 입력하면 그에 따라 음색, 비브라토, 볼륨이 다른 노래음성을 합성하는 것이다.
위는 MuseSNS가 합성한 노래음성의 음정변화로, 슬픔의 강도가 강해질 수록 강한 비브라토를 생성한다.

개인적으로 미세한 변화를 데이터로부터 효과적으로 학습하는 MuseSVS는 전문적인 지식만 충만하다면, 사람과 같이 혹은 사람보다 더 디테일하고 안정적이게 생성해낼 수 있을 것이라 본다.

노래음성 합성 MuseSVS 개요

출처 : https://www.aitimes.kr/news/articleView.html?idxno=28660