안녕하세요. 밍기뉴와제제입니다.
이번학기가 되면 안바쁠줄 알았는데 꽤 바쁘네요. 대학원 준비를 위해 이것저것 준비하다보니 시간이 금방 지나갔습니다.
그리고 수업도 들으며 살다보니 어느새 중간고사 기간이 되었어요. 다행히 중간고사 대체과제만 조금 있어서 부담이 적긴 합니다. 그래도 시간이 빨리 흐르긴 하네요.
논문 리뷰를 하고싶은데 시간이 없어요. 논문을 읽긴 했는데 여기에 글을 쓸 시간이 없습니다. 리뷰를 하나 작성하는데 너무 오랜 시간이 걸려요 흑.
적은 김에 제가 완독한 논문 중 2개를 소개해드리고자 합니다.
-
Big Transfer : 지금까지 이론이 아닌 경험(?)에 근거해 수행하던 사전학습(pre trainig)에 관한 것들을 정리한 논문입니다. 사전학습에 관해 무수히 많은 실험을 수행해 '큰 데이터셋, 큰 네트워크로 사전학습 하는게 제일 성능이 좋다'는 것을 보여줬으며 ResNet 등 기존에 존재하던 것들을 가지고 SOTA를 달성한 점이 인상적입니다. 한 번은 읽어보면 좋을 논문이라 생각됩니다. 링크
-
Sound-Guided Semantic Image Manipulation : 소리에 담긴 의미(semantic)를 가지고 이미지를 변형하는 방식을 제안한 논문입니다. 이미지 조작, image manipulation은 주로 text를 가지고 수행하는 text-guided manipulation이 주류였는데요, 위 논문이 제안한 'sound-guided image manipulation'이 보다 더 좋은 성능을 보여주는 것을 확인했습니다. 정확히 말하면 sound-guided가 가지는 장점이 있고 text-guided가 가지는 장점이 각각 있는데 sound-guided가 우리가 이미지에 전달하고자 하는 의미(semantic)을 더 효과적으로 전달할 수 있음을 확인하였죠. 실험 부분에서 sound와 text를 같이 사용해 이미지를 효과적으로 변형하는 것이 인상적이었으며 우리는 소리도 이미지 처리에 사용하는데 충분히 고려할 수 있는 요소임을 깨닫게 해주는 논문이었습니다. 이 논문도 한 번 읽어보시길 권장합니다. 링크
어쩌다보니 간단히 리뷰를 했네요. 음...논문 여러개를 간단하게 리뷰하는 방향으로 글을 써보는 것도 괜찮을듯 합니다.
아, 그리고 코딩 연습을 할겸 깃허브에 파이토치로 CNN 등의 네트워크를 생성하는 템플릿을 제작하고 있습니다. 아직 제대로 만든게 가장 기본적인 형태의 MLP와 CNN뿐이라 리포지토리를 private으로 설정해놨는데요, 몇개만 더 만들고 public으로 전환할 계획입니다.
쓰고나니 기네요. 홀홀. 다음 글에서 뵙겠습니다.
P.S : 이전 근황글에서 Big Transfer에 대해 썼네요. 논문에 대한 비판을 해놨네요. 좋은 논문인데 왜 당시에는 그렇게 생각했던 것일까요.
