학부연구생

기계 번역 분야의 최신 고성능 모델들은 Transformer 아키텍쳐를 기반으로 하고 있음GPT : Transformer Decoder 아키텍쳐 사용BERT : Transformer Encoder 아키텍쳐 사용이전에는 기계 번역이나 language modeling을 위

이미지 인식 분야에 Transformer 아키텍쳐를 적용하여, 기존 CNN 모델과 성능을 비교한 연구기존 CNN 모델처럼 주어진 입력 이미지를 픽셀 단위로 처리하는 것이 아닌, 전체 이미지를 하나의 sequence로 보는 접근 방식 (주어진 입력 이미지를 나열된 단어들

학부연구생 첫 과제는 교수님의 컴퓨터비전(4-2) 강의를 공부하는 것으로 주어졌다.6주 동안 한 학기 강의를 모두 들어야 하고 시험기간과 겹치기 때문에, 매주 약 2주차 분량을 공부해야 했다.꼼꼼히 필기하고 최대한 이해 하려다보니 1시간 반짜리 강의를 듣는데 3시간은

본 논문은 모델 아키텍처 변경에 주로 집중을 했던 이전 연구들과 달리, 성능 개선을 이끌 수 있는 각종 테크닉들에 대해 강조함사소한 트릭들의 조합으로 비슷한 학습 시간에서 정확도 향상을 이끌어 낼 수 있음을 보임일반적인 전처리 기법이미지를 랜덤으로 선택해 32-bit

'Attention Is All You Need' 논문을 읽고 이해가 덜 된 것 같아 교수님께서 보내주신 자료를 번역해보며 다시 한 번 공부했다.The Illustrated TransformerMachine Translation(기계 번역)에서의 Transformer는

약 5달 간의 학부연구생 기간이 끝났다. 그동안의 경험들을 정리해보며 마무리 지으려 한다. 컴퓨터비전 강의 수강 선수강이 필요한 4-2 강의이지만, 덕분에 미리 공부할 수 있었다. 교수님께서 관심분야에 대해서는 강의를 쭉 한 번 공부해보는 것을 권장하셨다. 강의를 들으며 관련 배경지식에 대해 추가적인 공부가 필요했다. 특히, 필요한 개념을 추가로 공부하여...

연구실 세미나에서 CVPR 2023 후기를 들으며 끄적인 내용이다. 참석자 8337명 중 한국인이 815명으로 굉장히 많이 참여했다고 한다. 논문 9155편 중 총 2359편이 채택되었고, 논문 제출 건은 점점 증가하고 있다고 한다. CV 분야가 이렇게 핫한만큼 논문 채택도 어려울 것 같아 보인다. Word Cloud for 2023 CVPR acc...