내 파트만 이미지 업로드
캔바에서 보기
전체 파일은 아래 구글 드라이브 링크
구글드라이브(pdf)
https://drive.google.com/file/d/15HKvyXrukcyFWGeO1fKGQnrDjIDQX-1d/view?usp=sharing
깃허브
https://github.com/juugii-ho/service_ml_TP/tree/main
< 공통파트 >
All that K-POP? 덕들에게는 부족하다
이제는 More than K-POP!
"둘, 셋! 안녕하세요 we A one! 입니다
나의 최애가 내 최애곡을 불러줄 수 있을까?
내 최애의 타이틀곡 안무, 안무가가 누굴까?
내 분위기에 맞는 곡을 추천해줘!
내가 주는 곡과 비슷한 장르의 곡을 추천해줘!
K-POP을 더 Deep하게 즐기자!
어떻게? Deep Learning으로~
< 개인 파트 >
안무 영상으로 안무가 분류하기
라치카, 바다(베베), 배윤정, 위뎀보이즈, 최영준
5 안무가(팀)의 안무를 바탕으로 분류모델 만들기
다섯 안무가(팀)을 선정한 것은 기본적으로 작업한 안무가 많아야 하기 때문에 최소 50개 이상은 있어야 가능하겠다는 생각이 들어서
알고 있는 안무가들 나무위키 검색해서 50개 이상인 안무가들로 추린 것
그 중에서 모델 학습에 어울리지 않는 영상을 제거하고 30개 영상으로 추려 데이터셋을 구성
30개 영상으로 20:5:5로 train/valid/test 구성
OpenCV를 이용해서 영상 별 배경을 제거
앞뒤 프레임을 비교해서 변화가 없는 픽셀은 삭제하는 방식인 듯
아래와 같은 영상은 최대한 배제했다.
카메라 무빙이 생기면 벽의 움직임 등도 남기 때문에 제외
인원이 많으면 무리짓는 형상을 인식할 것이라 판단해서 제외
안무실 거울에 반사되는 모습이 많아도 제외
벽에 로고 등이 있으면 사람이 지나갈때마다 덩달아 생겼다가 사라졌다가 해서 제외
처음에는 가수나 안무가의 시안 영상으로 작업했다가 모두 취소하고 개인 커버 거울모드 영상 위주로 선정했다.
왜냐하면 최근 가수/안무가 안무 영상은 카메라 무빙이 많고, 보통 다인원이기 때문에 개인 커버를 선택했고, 거울모드 영상들이 안무를 배우기 위한 사람들에게 안내해주는 영상이기 때문에 카메라 시점이 고정된 경우가 많기 때문
처음에는 VideoToTensor를 이용해서 분석해보려고 했으나
시간축까지 차원이 5차원이 되고, stride로 3차원이 되다보니 값에 대한 이해가 잘 되지 않아서
하루 내내 들여다 보다가 포기
넓이 기준으로
원본영상 640px => 흑백영상
흑백 프레임 128x72 - 로 작업해보고 싶었으나 시간이 너무 많이 걸려서 Tensor 크기를 낮춤
64x32 Tensor로 바꿔서 훈련 실시
CNN, CRNN 2개 모델을 만들었다.
CrossEntropyLoss와 AdamW를 이용했다.
CNN은 과대적합이고
CRNN은 믿을 수 없는 수치가 나왔다.
한 장면만으로 0.94라는 정확도가 나온다고..? 상식적으로 말이 안되는데..
실제로 이미지를 넣어가면서 하나하나 확인해본 결과
0.94까지는 아닌 것 같다.
그러나 내가 생각하기에 해당 안무가가 즐겨 사용하는(?) 특징적인 안무들을 넣었을때는 상당히 정확도가 높게 나왔다.
안무가에 대한 분류가 되는 것인가?
이 내용을 더 발전시켜본다면
-
YOLO를 써서 객체 인식을 명확히 시키면 바탕에 대한 이미지 노이즈를 더 줄일 수 있지 않을까?
-
VideoToTensor 꼭 익혀서 제대로 해보자!
-
마지막에 봤던 특징적인 안무는 사실 해당 안무가의 것이라기보다는 해당 장르의 특징이 아닌가 싶은 생각이 드는데 알 수가 없다. 좀 더 명확히 알 수 있게끔 모델과 결과를 더 살펴봐야할 듯 하다
