학습정리

DL Basics

1강 딥러닝 기본용어 설명

딥러닝의 기본적인 역사와 발전 흐름에 대해서 배울수 있었다. 거의 대부분이 내가 모르던 분야들이고 지금 어떤부분이 성장세인지도 알수 있었다. 예를들어 Transformer, Self-Supervised Learning등 처음 듣는 부분도 있었다.

2강 MLP

MLP에 대해서 알수 있었다. 그뿐 아니라 실습으로 MLP 모델을 Pytorch로 구현도 해보았는데 Pytorch는 처음이라 잘 모르겠다. 다음주에 공부하고나서 다시 한번 봐야 할것 같다.

3강 Optimization

Optimization alorithms들에 대해서 배웠다. 어떤 옵티마이저가 어떤식으로 동작하는지에 대한 전반적인 지식을 알수 있었다.

4, 5, 6강 Convolution, CNN, Computer Vision Applications

합성곱의 연산및 작동 원리에 대해서 알수 있었다. 그 뿐 아니라 기본적인 alexnet 부터 시작해서 ResNet, DenseNet등 의 원리에 대해서도 배우며 어떤식으로 컨볼루션을 사용해서 파라미터의 수를 줄이며 깊이 층을 쌓을수 있었는지도 알게 되었다.

7, 8강 RNN, Transformer

기본적 RNN 부터 시작해서 LSTM, GRU 등을 배웠다. 이러한 순환신경망의 단점을 알게되었고 트렌스포머를 사용해서 어떻게 더 긴 문장에 대해서 학습을 할수 있으며 어텐션의 매커니즘도 살짝이나마 알아볼수 있었다.

9, 10강 Generative Models

사실 이 부분에 있어서는 좀더 공부가 필요하다. 대충 지금까지 GAN, AE, VAE 등에 대해서는 들어보긴 했지만 여기서 말하는 auto regressive 에 대해서는 잘 알지 못했다. 이에 대해서는 다시 알아보도록 하겠다.

피어세션

월요일날에 선택과제에 대해서 받고 서로 팀을짜서 논문 하나씩을 맡아서 그 논문에 대해서 페이퍼리뷰 식으로 발표를 하기로 하였다. 나는 Visual Transformer을 맡게되었다. 그나마 ViT가 가장 최신 논문이여서 이것에 대해서 정보를 전달하는 것들이 인터넷에 그나마 많아서 그런 곳들에서 정보를 얻을수 있었다.

기본적으로 ViT는 NLP에서만 사용되던 Transformer를 CV에서도 사용하려는 시도이다. 실질적으로 이 논문에 의하면 기존의 ResNet등과 비교해서도 오히려 데이터가 많아질수록 더욱 뛰어난 성능을 보였다. 그 내용이 그렇게 어렵지 않았지만 다만, Transformer에 대한 이해가 있어야 어떻게 이러한 성능향상이 일어났는지 알수 있다.

서로 논문에대해서 발표하며 정보교환을 했지만, 나는 ViT만 읽은터라 다른분들이 발표하는 내용을 잘 이해하지 못했다. 솔직히 내가 맡은 논문이 가장 쉽고 다른 논문들은 여러 수식이 많아서 더 힘들었던거 같다.

과제

일단 필수과제들은 교수님 강의내용에서 비어있는 부분만 찾아넣는 식이라서 손쉽게 풀수 있었다. 다만 의도가 이렇게 찾아넣기가 아니라 강의를 다시 보지 않고 혼자 찾아넣는 것이였을텐데 그랬다면 엄청 힘든 과제가 되었을 것이다. 일단 파이토치에대한 이해가 있지 않은 상태고, 모델을 전부 클레스 단위로 분리하는것 같은데 꽤나 복잡해 보였다.

선택과제에 있어서도 잘 몰라서 과제 자체는 넘기고 내가 맡은 부분의 논문만 열심히 찾아보고 읽었다. 다행이 트렌스포머가 많이 쓰이고있는 거라서 열심히 찾아 헤맨것히 헛되지는 않은것 같다.

회고

아직도 수식을 만나면 잘 모르겠다. 솔직히 끝까지 잘 모를것 같다는 생각은 들지만, 그 개념만은 잡고 지나가려고 노력하고 있다. 개념만 있다면 나중에 어떻게 해서는 수학 공부한 후에 수식을 보면 이해가 될거라 믿는다.

오늘 멘토님 얘기를 듣다보니 NLP쪽은 Transformer가 대세인것 같다. 다행히 내가 그쪽 논문을 찾아보면서 익힌터라 나중에 만약 NLP쪽을 선택해서 가게 된다면 도움이 될꺼라 생각하니 참 다행이다.