안녕하세요❗️
이번에는 돌아온 GIST에서 살아남기 4주차에 대해서 얘기해보려고 합니다!!
4주차를 진행 중인데, 그 사이에 GIST 자대생 분들이 연구실로 새롭게 오셨습니다!! (기존의 계시던 연구생분들께서는 다 카이스트로 갔다고 하네용...천외천 그 자체)
저는 그 사이에 논문을 3편 정도 리뷰했고 두 차례의 세미나를 수행했으며 코드 구현을 하는 감자로 일상을 보냈습니다..!
그 중 오늘의 간단한 정리는 바로 연구 방향성입니다.
현재, GIST의 소재웅 교수님 연구실 IVL 연구실은 Image Restoration을 중점적으로 하는 연구실입니다. 저는 Image Restoration에서 특히, SSL 기법을 활용한 Denoising에 대해서 공부하고 있습니다.
이때, 논문에 대한 실험을 어떤 방향성으로 수행할지 그리고 논문을 어떤 방향성으로 작성해야 할지에 대해서 이야기해주셔서 해당 부분을 얘기해보고자 합니다.
먼저, 현재 논문의 큰 트렌드는 Application이라고 합니다. 즉, 예전처럼 어떤 문제를 해결하기 위해서 무에서 유를 만들어내는 것이 아니라 기존의 잘 짜여진 모델을 가지고 와서 fine-tuning을 수행해서 해당 도메인에서의 Application을 수행하는 것이 주된 방향성이라고 교수님의 개인적인 견해입니다!
이때 크게 4가지의 방향성으로 논문이 작성된다고 말씀해주셨습니다.
- Stable diffusion을 가져와서 fine-tune을 수행하는 application
- multi-modality를 다루는 연구 및 해당 multi-modality에 diffusion을 추가하는 등 다양한 연구가 이루어짐
- 자율 주행, SSL 등 어떤 특정 domain에서의 수행
- 이전처럼 어떤 문제를 해결하기 위한 무에서 유의 새로운 해결법 제시
그러나 지금 당장 저희 수준에서 해당 방향성으로 실험을 해보는 것이 많이 어렵기 때문에 아래 두 가지의 방향성에 대해서 이야기해주셨습니다.
- 기존의 잘 짜여진 라이브러리를 가져와 finetune -> application
- sampling step 및 모델 동작에 있어서 step 줄이기 etc...
이때, 저의 궁금한 점은 바로 다음과 같습니다.
"단순히 잘 짜여진 라이브러리를 가져와서 finetuning 시키고 이를 application을 수행하는 것이 탑 티어에 논문을 쓸 수 있을까?"
이때, 교수님의 답변은 가능하다고 이야기해주셨고 실험을 정말 다양하고 많이 해야 한다고 말씀해주셨습니다. 단순히 이 때, 실험만 많이 하는 것이 아니라 해당 실험에 대한 해석을 할 줄 아는 능력을 갖춰야 한다고 해주셨고 더불어서, 이러한 실험에 대한 해석을 많은 사람들과 Discussion 해야 한다고 해주셨습니다.
저는 이제 요즘 강하게 들고 있는 고민이 하나 있습니다!
실험을 하든 논문을 리뷰하고 해당 논문에 대해서 구현을 할 때, 이를 처음부터 직접 스크립트를 작성하는 것과 아니면 바이브 코딩으로 AI의 도움을 받는 것, 마지막으로는 단순히 라이브러리를 가져와서 수행하는 방법 중 어떤 것이 좋은 방향일지 모르겠습니다..
해당 궁금 사항에 대해서 이미 석사 혹은 박사 선배님들의 조언을 듣고 싶습니다! 저는 대학원을 준비하는 입장이기 때문에 어떤 방향성이 더 좋을지 많이 조언해주시면 감사하겠습니다🙏(저랑 같이 대학원을 준비하는 학사 여러분들도 자신만의 팁이나 방향성이 있으면 공유해주세요!!)
