[학부연구생] 마치며

약 5달 간의 학부연구생 기간이 끝났다.
그동안의 경험들을 정리해보며 마무리 지으려 한다.

컴퓨터비전 강의 수강

선수강이 필요한 4-2 강의이지만, 덕분에 미리 공부할 수 있었다.
교수님께서 관심분야에 대해서는 강의를 쭉 한 번 공부해보는 것을 권장하셨다.
강의를 들으며 관련 배경지식에 대해 추가적인 공부가 필요했다.
특히, 필요한 개념을 추가로 공부하여 Technical/Knowledge Debt을 남기지 말자는 것을 강조하셨다.

세미나 참여

매주 논문 발표 세미나에 참여했다.
일반적으로는 발표자의 연구와 관련한 최신 논문에 대한 소개를 한다.
솔직히 발표를 들으면서 바로 이해하는 것은 어려워 참여에 의의를 두었다.

진행 중인 연구 관련 논문에 대한 소개와 아이디어를 적용하여 직접 실험하신 연구 결과를 발표하신 경우도 있었다.
논문을 내는 데 있어서 어떠한 과정이 있었는지, 유의미한 성과를 나타내는 정량적 지표에 대해 자세히 알게 되었다.

가장 기억에 남는 것은 CVPR 2023 학회에 다녀 온 후기를 소개하는 발표였다.
Models/Tasks/Modalities 키워드를 통한 연구의 트렌드를 분석하는 내용이 흥미로웠다.
Diffusion, NeRF 관련 생성 모델, CLIP 관련 멀티모달 등이 활발히 연구되고 있기에 관심을 가져봐야겠다고 생각했다.
이제는 대기업의 거대한 Foundation model들을 어떻게 효율적으로 fine-tuning 하여 활용할 지 연구하는 것이 중요하다고 들었다.

논문 발표

컴퓨터비전 연구의 전반적인 흐름에 관련한 논문들을 공부하고 발표하는 시간을 가졌다.

• Attention Is All You Need
• AN IMAGE IS WORTH 16X16 WORDS: TRANSFORMERS FOR IMAGE RECOGNITION AT SCALE
• Swin Transformer: Hierarchical Vision Transformer using Shifted Windows
• End-to-End Object Detection with Transformers
• DEFORMABLE DETR: DEFORMABLE TRANSFORMERS FOR END-TO-END OBJECT DETECTION
• Non-local Neural Networks
• Depth-aware CNN for RGB-D Segmentation
• Intra-inter Modal Attention Blocks for RGB-D Semantic Segmentation

논문을 이해하는데 오랜 시간이 걸렸지만, 핵심 원리를 설명하는 콘텐츠들의 도움을 많이 받았다.
발표를 통해 부족한 부분에 대해서는 선배님께 지도를 받으며 다시 이해할 수 있었다.
아직 많이 부족하지만, 이제 논문 읽는 데 거부감이 들진 않는다.
코드를 참고하여 스스로 이해할 수 있는 역량이 중요함을 느꼈다.

실습

DETR 관련 연구에 사용되는 코드 실습을 통해 일반적인 연구 과정을 배울 수 있었다.

• 연구실 서버 사용법
• 가상환경 세팅
• 디버깅
• 실험

연구실에서 GPU 할당을 위해 어떤 식으로 가상머신을 세팅하는지 알 수 있었고, 리눅스 명령어도 익숙하게 사용할 수 있었다.
특히, 디버깅을 통해 원하는 위치에서 Tensor의 형태를 파악하는 것은 논문의 흐름을 이해하는데 도움이 됐다.
실험 세팅값을 미리 설정하여 디버깅 함으로써 순차적으로 실험을 수행하도록 하는 방법도 알 수 있었다.
이러한 과정에 익숙해진다면 추후 연구에 큰 도움이 될 것 같다.

타과 학생임에도 받아주시고 지도해주신 교수님과 선배님께 감사함을 느낀다.
항상 조심스럽고 신중하게 질문을 드리곤 했지만, 더 적극적으로 했으면 어땠을까 하는 아쉬움이 남는다.

이제는 관심 연구분야를 더 구체화 할 필요를 느꼈다.