시리즈를 보며 주의할 점

이 시리즈는 크게 2가지로 나눌 수 있다.

1. 음악 딥러닝에 대한 전반적인 이론

2. CNN을 이용해 딥러닝 프로젝트 만들기

만약 당신이 이 시리즈를 검색해서 들어왔다면 역시 크게 2가지 분류중 하나 일 거다.

1. 음악 딥러닝 이론에 대한 한국어 자료를 찾는 경우

2. CNN과 최신 경량화를 찾는 경우

아마 내 생각엔 많은 것이 시리즈에 포함되어서 약 100개 정도의 글을 쓸 것 같다.

따라서 이 시리즈를 다 읽을 필요는 없고 필요한 부분만 읽으면 된다.

음악 딥러닝에 대한 이론만을 원한다면 시리즈 제목에 프로젝트가 아닌 전반부만 읽으면 된다. 글 제목에 확연히 티가 날 것이다.

CNN과 전반적인 경량화 지식과 프로젝트를 참고하려는 사람은 음악 딥러닝을 제외한 후반부만 읽으면 된다.

음악 딥러닝에 대한 이론편

이론편은 https://www.youtube.com/@ValerioVelardoTheSoundofAI를 기초로 만들어졌다. 참고자료 또한 pdf 형식으로 다양하며 입문자가 보기 좋다.

이 참고자료와 영상을 토대로 내가 보충 설명이나 좀 더 살을 붙인게 이론편이라고 생각하면 된다.

음악 딥러닝의 이론은 생각보다 어렵다. 푸리에 해석과 같은 고급 수학이 어느정도 들어가고 신호 처리와 같은 부분이 응용되기 때문에 어렵게 들어가려면 한 없이 어려워진다.

하지만 이 시리즈에선 쉽게 설명하려고 했고 어려운 부분은 최대한 배제하려고 했다. 따라서 이 시리즈의 글로만 이론을 배우려 하면 안된다. 이 시리즈의 이론편은 길잡이 역할 정도만 한다고 생각하고 보충하여 자료를 찾아봐라.

음악 딥러닝에 맞는 데이터 가공과 실제 CNN 프로젝트

여기서도 크게 2가지 주제가 있다.

데이터 전처리

음악, 음성 딥러닝에 쓰이는 중요한 데이터인 mel-spectrogram을 직접 만들어보고 이미지 파일로 만드는 모든 과정을 직접 보여준다.

나는 CNN 필요없고 이론과 데이터 전처리만 필요하다, CNN 말고 트랜스포머를 이용한 다른 프로젝를 할 예정이라면 여기까지만 보면 된다.

CNN과 경량화

CNN을 이용해서 보컬 분류를 만들 것 이다.
기본적인 CNN을 처음부터 알려주지 않는다.

음악 데이터의 경우 용량이 매우 크기 때문에 경량화는 필수적이다.
따라서 2024.04에 나온 최신 경량화인 mobileNetV4를 목표로 기초적인 경량화부터 최신 경량화까지 모두 다룰예정이다.

예상하는데 약 100여 편의 논문을 읽고 대략 10편이 넘는 논문의 내용을 직접 구현하여 섞을 것 이다.

프로젝트의 경우 크게 2가지 구현이 있을 것이다.

1. 경량화를 이해하기 위해 직접 구현은 하되 사용하진 않을 구현

2. 결과를 만들어 낼 때 사용할 논문들이 종합된 구현체

따라서 직접적인 프로젝트의 결과물을 이용할 사람을 위해서 필요없는 부분만 * 표시를 제목에 둘 것이다.

급하면 * 를 제외하고 보라