안녕하세요, 밍기뉴와제제입니다.
저는 현재 포항공과대학교에 있는 연구실에서 audio captioning이라는 주제를 연구하고 있습니다. 연구 기간이 짧기 때문에 하루하루 알차게 보내려고 노력 중입니다. 그래서 그런지 시간이 정말 잘갑니다.
그러면 지금까지 느낀 점을 하나씩 정리해보겠습니다.
1. Baseline 찾는건 힘들다
원래 처음에 Baseline으로 삼으려던 network가 있었습니다. 구현된 code가 없어서 논문을 보며 직접 구현을 했습니다. 그런데...학습이 안됩니다. 분명 Loss가 계속해서 떨어지는걸 봤는데 생성되는 caption이 'concept concept concept.'과 같이 나오더라구요. 학습이 전혀 안된 것이죠.
그래서 문제점을 찾아봤고, 뭔가 구현이 제대로 안된 것으로 보이는 부분을 알아냈습니다. 이게 "구현이 제대로 안되었다"고 확신을 못하냐면 논문에 해당 부분을 제대로 설명을 안해놔서 어떻게 구현해야할지 몰라서 그런 것이었습니다.
그래서 어떻게 해야 제대로 구현할 수 있을지 조언을 구하고자 논문의 저자에게 메일을 보냈는데 보낸지 1주일이 지난 지금도 답장을 받지 못하고 있습니다. 분명 검사받고 보낸 메일이라 메일에 문제는 없을 것으로 보이는데 음...이건 아니지.
그래서 포기하고 다른 Network의 구조를 Baseline으로 삼았습니다. 성능은 음...논문으로 쓸 성능은 절대로 아닌데 그렇다고 너무 하찮아서 가망이 없을 정도는 아닙니다. 일단 최대한으로 성능을 뽑을 수 있을 때까지 뽑아보려고요.
2. 기록은 중요해
글의 제목이죠? 제가 연구참여 기간동안 가장 절실히 느낀 부분입니다.
본래 혼자 하는게 익숙하고 최대한 빠르게 진행시켜야한다는 생각이 들어 무작정 진행만 시켰는데 하다보니 정리가 필요하다 느껴졌습니다. 그래서 주말에 각잡고 1주일간 진행한 부분을 싹 정리했습니다.
정리를 하다보니 내가 뭘 해왔고, 앞으로 어떻게 하면 되는 것인지 조금은 명확해지더라구요. 기록의 중요성을 알게된 정말 좋은 경험이었습니다.
그리고 실험을 하는 과정에서도 기록의 중요성을 깨달았습니다. 어떤 환경에서 학습시켰을 때 성능이 어떤지, 현재 논문으로 나온 network들과 얼마나 성능이 차이가 나는지 명확하게 알 수 있더라구요. 현재 엑셀로 실험 세팅과 결과를 정리하고 있는데 정말 좋습니다. 엑셀을 배워두길 잘했네요.
이런식으로 기록하고 있습니다. 왼쪽의 metric은 Captioning에 관한 metric들입니다.
3. 할 일이 많다!
조사하고 구현하고 실험하고...했던게 많아지니까 해야할 일이 더 많이 보이더라구요. 시야가 넓어진건가?
아무튼, 할 일이 많습니다. 많은 발전이 필요합니다. 아자아자!
이번글은 여기까지 쓰려고 합니다. 아직 연구참여 기간이라 뭘 구체적으로 연구했는지 밝히기가 좀 그렇네요. 뭔가 연구 성과가 완성되면 공개하도록 하겠습니다.
즉, 연구 성과가 완성되지 않으면 공개하지 않는 것이죠. 그러니 제발 공개할 수 있기를...🙏
