Intro
AI 커버곡 생성 알고리즘 RVC ( Retrieval-based-Voice-Conversion ) 을 사용하기 시작한지 한달이 되어 간다. 그동안 순수하게 덕질 목적으로 좋아하는 보컬들 AI 커버곡을 만드는데 열중했는데, 사용하다 보니 개발자 입장에서 RVC 모델 자체와 오픈소스 커뮤니티에 대해 흥미롭게 공부할 부분이 보이기 시작했다.
한달 간 직접 RVC 모델을 사용하며 정리한 내용을 아래와 같이 공유한다.
RVC 오픈소스 프로젝트
RVC 오픈소스 프로젝트는 아래와 같이 MIT License 정책하에 있다.
덕분에 RVC 오픈소스 프로젝트에서 GUI 개선을 위한 기여가 활발히 이뤄지고 있고 훌륭한 결과물들을 누구나 공유할 수 있다. 그 중에서 아래의 Mangio-RVC-Fork가 커뮤니티 내에서 큰 주목을 받고 있다.
그리고 이를 한차례 더 발전시켜서 Colab환경에서 gradio UI 기반으로 실행가능하게 개선한 Easy GUI 가 등장했다. donation 링크에서 기여자의 개발 id가 @lesantillan 인것까진 확인했는데 git 에서 개인 repo를 아직 못 찾앗다.
굵직굵직한 기여 흐름을 요약하면 아래와 같다.
<원본 프로젝트 repo>
Retrieval-based-Voice-Conversion-WebUI
↓
Mangio-RVC-Fork
↓
Easy GUI by @lesantillan
나는 @lesantillan 가 Colab에 공개한 버젼으로 RVC 모델을 학습시키고 또 해당 모델로 곡 변환하는 작업을 해왔다. 덕질한다고 나름 헤비하게 사용하고 이것저것 돌려본 경험에 기반했을 때, Colab이 무료로 기본 제공하는 GPU 리소스 할당량으로도 RVC 모델을 학습시키에 충분하다.
@lesantillan 가 현재진행형으로 활발히 기여하고 있는 것으로 보인다. 내가 처음 사용 시작한 버젼은 6/24/23 이고 글을 작성하는 시점에서 가장 최근 버젼은 9/08/23 이다. 그동안 새로운 버젼을 확인할 때마다 아래와 같이 개인 Colab 저장소에 복사본을 옮겨놨다.
RVC Easy GUI 실행화면
@lesantillan 버젼의 RVC Easy GUI를 colab에서 실행하면 아래와 같은 화면을 브라우저에서 확인할 수 있고 세개의 탭이 있다.
- Train
- 내가 학습시키고자 하는 가수의 목소리가 담긴 고음질 음원을 업로드하고 몇가지 설정값을 입력하면 바로 Train 이 가능하다.
- Train이 완료되면 해당 모델을 두개의 파일 형태로 다운받을 수 있는데 각각의 파일 확장자는 .index와 .pth 이다.
- Download Model
- 1번에서 다운받은 두개의 파일을 하나의 압축파일로 만들어서 구글 드라이브에 업로드하고, 다시 해당 압축파일을 구글 드라이브로부터 colab 실행 환경에 다운로드하는 탭이다.
- 구글 드라이브에서 파일 공유용 링크를 복사해서 첫번째 텍스트 박스에 붙여넣기 한 뒤 Download 버튼을 누르면 자동으로 위 작업이 실행된다.
- Inference
- colab 실행 환경에 다운로드된 Trained Model에 변환하고 싶은 노래를 input으로 제공하고 이에 대한 변환 결과 파일을 생성/다운로드하는 탭이다.
- 이때 변환하고 싶은 노래는 .mp3 .wav 등의 일반 음악 파일을 업로드하면 되는데, 마이크 녹음 기능도 제공하고 있기 때문에 본인이 노래에 자신있으면 직접 부르면 된다.
- 실험삼아 내가 직접 노래 흥얼거리고 바로 변환을 시켜봤는데 내 최애 가수들을 음치로 만들어버리는 결과였다 ㅠ
1편 결론
RVC Easy GUI 버젼을 통해 누구나 비용 안들이고 AI Cover곡을 만들 수 있다.
- GPU 장비 하나 없어도 OK! Colab 무료 GPU 할당량으로 모델 학습 충분
- 낮은 진입 장벽 ! 코드 작업이 전혀 없기에 개발 모르는 사람들도 누구나 사용 가능
- RVC 오픈소스 프로젝트는 MIT License 를 따른다. 현재 진행형으로 고퀄리티의 기여 결과물들이 파생되어 나오고 있다.
