자동넘김악보
자동넘김악보는 2021년 UGRP 연구 주제인 음원의 악기별 분리 및 음원과 악보 간의 실시간 유사도 계산 기술 개발의 마지막 단계인 유사도 계산을 통한 실시간 자동 연주 위치 추적에서 제안된 개념으로, 디바이스 화면을 통해 보여주는 악보가 사용자의 연주 데이터를 통해 자동으로 전환되는 기술을 의미합니다.
자동넘김악보의 필요성
저희 연구팀에서 260명 대학생을 대상으로 시행한 설문 조사의 결과, 전자기기에 악보를 띄워서 악보를 보며 악기를 연습한 132명의 응답자 중 86개의 응답(65.2%)인 기기에 한 번에 표시할 수 있는 정보가 너무 적어 불편하다가 1위를 차지했습니다. 이외에도 화면이 종이 악보보다 작다., 화면 또는 인터페이스 크기가 작다 등의 유사한 답변이 많았습니다.
전문가들은 어떨까요? 악보를 대신 넘겨 주는 페이지 터너가 있을 정도로 연주 중 악보를 넘기는 일은 상당히 번거로운 일입니다. 저희 연구팀의 자문 교수님이신 진영선 피아니스트께서는 자동 넘김 악보의 필요성에 대해서 이렇게 말씀하셨습니다.
악보를 넘기기 위한 페달용 앱이 있긴 하지만, 피아노에는 악기 자체에 페달이 있어서 사용하기 힘들어요. 연주 위치를 추적해서 악보를 넘겨주는 앱이 있다면 꼭 사용할 거에요.
- 진영선 피아니스트
이 연구는 전자기기를 통한 음악 학습과 음악 활동에 큰 기여를 할 것으로 예상하고 있습니다. 다만 이 연구는 사람과 전자 악보 간의 상호 인터랙션의 질을 향상하는 것이기 때문에, 성능을 객관적으로 평가하기가 어렵다는 특징이 있습니다.
그래서 저희는 연구를 위해 온라인 피아노 교육 서비스를 제작하여 사용자를 모으고, 사용자의 행동 패턴을 바탕으로 이를 분석하여 자동 페이지 넘김 기능과 같은 전자기기에서 악보를 더 잘 보기 위한 기술을 개발하고자 하는 계획을 세웠습니다.
사바나뮤직
하지만 온라인 피아노 교육 서비스를 UGRP 예산과 현재 인력만으로 만들기는 상당히 어렵습니다. 그래서 ‘한 곡만이라도 잘 연주할 수 있게 돕는 서비스, 사바나뮤직을 기획하게 되었습니다. 사바나뮤직 서비스는 현재 UGRP 연구 목표와 ‘실전 연주를 위한 교육 서비스’ 비전을 앞세워 올해 초 예비창업패키지에 우수사업으로 선정되었고 추가로 6000만원의 지원금을 확보할 수 있었습니다.
연습 단계에 맞는 악보, 필요에 맞는 기술
저희 연구팀에서 시행한 설문 조사의 답변 중에서는 연습할 때에는 사실 많은 부분을 보지 않기 때문에 종이 악보와 전자 악보의 차이가 느껴지지 않는다.라는 답변이 있었습니다. 이 답변을 보고 악보의 목적에 따라서 서로 다른 기술을 적용해야 할 수 있겠다는 영감을 얻었습니다. 이를 확인하기 위해서 학습 과정에서 각 단계별로 어떤 악보가 필요한지 관찰해야 했습니다.
예를 들어, 한 손을 연습할 때에는 박자를 잘 나타낼 수 있는 악보를 제공하면 충분합니다. 또는, 실전 연주를 할 때는 사용자가 조금 실수하더라도 넘어가 주는 악보를 제공해야 합니다.
그런데 기존의 음악 교육 서비스들은 기능에만 집중하고 그 기능을 적절히 활용하는 데에는 부진한 모습을 보여 주고 있습니다. 사바나뮤직은 음악 초심자부터 전문가까지 음악인들의 필요를 연구하여 제품을 만드는 일을 하고 있습니다. 저희는 실시간 유사도 계산을 통한 자동 넘김 악보 뿐만 아니라 소리 인식, 음원의 악기별 분리 등의 다양한 음악과 관련된 연구를 진행하고 있으며 이들은 음악 교육, 오케스트라 연습 등 다양한 음악 분야에서 활용될 수 있습니다.
사바나뮤직의 목표
작게는 나만의 악보를 만들어 간단히 포스팅하고 싶은 크리에이터, 음악 선생님부터 크게는 음악 교육 기업까지 모두가 사바나뮤직의 기술과 제품을 공유함으로써 더 많은 사람들이 음악 학습에 더 쉽게 접근할 수 있도록 하는 것을 목표하고 있습니다.
Serengeti 프로젝트
연주 위치를 추적하는 기술 개발 이전에 앱, 웹 환경에서 주어진 악보를 표시하는 제품을 만들어야 했습니다. 지금까지 개발한 Separation 및 Transcription 기술을 시연하고, 사바나뮤직 제품 개발에 필요한 구성요소들을 만들기 위한 프로젝트 Serengeti의 개발을 시작했습니다.
악보를 웹 사이트에 표시하기 위해 MusicXML을 렌더링하는 라이브러리인 Open Sheet Music Display를 통합했습니다. 사용자가 악보를 자동 재생해 보거나 메트로놈 등의 기능을 사용해 볼 수 있도록 하는 라이브러리 osmd-audio-player를 직접 개발하기도 했습니다. 또한 웹 환경에서 피아노를 직접 연결해 연주하면서 학습할 수 있도록 Web API를 활용한 MIDI 연결 기능을 개발했습니다. 그 외에도 Firebase서버에 학습지를 생성하거나 편집할 수 있도록 하는 기능을 개발 중에 있습니다. 현재 관련 기능은 모두 세렝게티 사이트
https://www.sabanamusic.com 와 깃허브 https://www.github.com/sabana-music/serengeti 에서 모두 확인할 수 있습니다.
Open Sheet Music Display, 인터랙티브 악보 뷰어
악보 뷰어는 MusicXML, LilyPond, mscz 등의 악보 파일을 SVG 등의 렌더링 결과물로 전환하는 프로그램을 말합니다.
인터랙티브 악보 뷰어는 악보 파일을 SVG등으로 변환하기 전에 만들어진 Vexflow등의 중간 결과물을 편집하거나, 악보 자동 재생, 틀린 음 인식 등의 부가적인 기능을 더해 사용자 입력과 상호작용하는 통합 UI를 제공하는 프로그램을 말합니다.
Open Sheet Music Display는 Vexflow 악보 뷰어를 기반으로 만들어진 인터랙티브 악보 뷰어입니다. Open Sheet Music Display는 누구나 음악 애플리케이션을 빠르게 만들 수 있도록 개발된 프로젝트입니다. MusicXML 파일을 입력받아 악보를 출력하며, 강력한 악보 데이터의 추상화와 커서 기능을 제공합니다.
저희는 Open Sheet Music Display를 이용하여 다양한 기능을 갖춘 컴포넌트를 만들고 있습니다.
Alignment Viewer는 특히 유사도 계산을 이용한 자동 넘김 악보 기능을 포함하고 있습니다. 다음 포스트에서는 자동 넘김 악보 연구에 대한 자세한 이야기를 해 보고자 합니다.
