Section4 Deep Learning
드디어 섹션4가 끝이 났다... 시간이 빠른 것 같지만 그전 섹션들보단 시간이 길게 느껴지기도 했다. 이전까지의 섹션은 쉬운편이었구나 생각이 들정도로 이번 섹션은 만만치 않은 난이도였음에는 틀림이 없을 듯하다.
배운내용들
돌이켜보면 정말 많은 것들을 배웠다.. 심지어 이걸 내가 확실하게 배웠다는 느낌이 들지 않을정도로 방대하고 어려운 개념들이 많았다.
1주차. 인공신경망, 텐서플로우 기초
- 1일차에는 인공신경망(ANN)의 기본 개념들, 텐서플로우와 케라스의 기본 개념들, 표현학습 등에 대해서 배웠다.
- 2일차에는 인공신경망의 학습 방법, 손실함수와 역전파, 경사하강법과 옵티마이저에 대해서 배웠다.
- 3일차에는 더 나은 신경망 학습을 위한 방법들, 학습 성능 개선 방법 2가지(학습률 감소, 가중치 초기화), 과적합 방지 방법 3가지(손실함수 규제, 드롭아웃, 조기종료)에 대해 배웠다.
- 4일차에는 하이퍼파라미터 튜닝, 교차검증 방법들에 대해 배웠다.
2주차. 자연어처리
- 1일차에는 자연어와 자연어처리의 개념, 자연어 전처리 방법, 빈도 기반 벡터화 방법에 대해 배웠다.
- 2일차에는 분포가설과 임베딩, 분포기반 벡터화 방법과 라이브러리(Word2Vec, gensim, FastText)에 대해 배웠다.
- 3일차에는 언어모델의 개념, 신경망언어모델(NLM), 순환신경망(RNN), 장단기기억망(LSTM, GRU), Attention에 대해 배웠다.
- 4일차에는 언어 번역 태스크에서 쓰이는 Tranformer와 언어 전이학습 모델(GPT, BERT, BART)에 대해서 배웠다.
3주차. 컴퓨터 비전
- 1일차에는 합성곱신경망(CNN), 컴퓨터비전 전이학습 모델(VGG, Inception, ResNet)에 대해서 배웠다.
- 2일차에는 의미적 분할(Semantic Segmentation)과 인스턴스 분할(Instance Segmaentation), 완전 합성곱 네트워크(FCN)과 U-Net, 객체탐지(Object Detection)와 IoU에 대해서 배웠다.
- 3일차에는 차원축소, 노이즈제거, 이상치 탐색에 쓰이는 오토인코더와 잠재벡터에 대해서 배웠다.
- 4일차에는 생성적 적대신경망(GAN), 생성자와 판별자, DCGAN과 CycleGAN에 대해서 배웠다.
소감
이번 섹션은 그 어떤 섹션보다 우여곡절이 많았었다.
초반에는 그동안 해온 것처럼 로컬에서 실습과 프로젝트를 진행하려고 세팅을 해놓았지만, 용량 부족 문제와 GPU사양의 한계로 인해 대부분 Colab을 통해 과제나 프로젝트를 진행했는데, 이게 생각보다 불편한 점들이 많았다..
런타임이 초과되진 않을지 RAM은 초과하지 않을지 GPU 할당량은 초과되지 않을지 조마조마하면서 진행을 했었고 그로인해 여러가지 다양한 시도들을 하는데 제한이 있을 수 밖에 없었다.
그러한 점들이 아쉬움으로 남긴 했지만, 그래도 프로젝트를 해보면서 어떠한 경우에 코랩과 같은 GPU를 활용해야할지 감이 잡히긴 한것 같았다.
과제나 스프린트 챌린지는 자연어처리부분인 2주차때 까지는 해볼 만 했었지만, 마지막 3주차때는 어떠한 결과를 요구하는 것인지 파악하는 것에서부터 문제가 발생했었다. 강의노트나 과제가 크게 도움이 된 것 같진 않았고 오히려 프로젝트를 컴퓨터 비전분야로 진행해보면서 많은 것들을 배우고 습득할 수 있었던것 같다. 다음 기수에서는 이러한 어려움을 겪지 않도록 개선해야할 필요가 있다고 본다.
프로젝트 기간에는 종종 밤을 새우기도 했고, 월드컵 경기들고 중간중간 있었다보니 온전히 집중하기 힘들었던 섹션이기도 했다. 그래도 무사히 프로젝트를 마쳐서 다행이라고 생각함...
이번 개인 프로젝트는 컴퓨터비전 쪽으로 의료영상이미지를 통해 알츠하이머를 진단하는 분류모델 개발을 진행했었다. 준비할때는 그래도 내용이 많이 않은 것 같았지만, 막상 PPT자료를 만들고 녹화를 해보니 이번에도 정해진 시간 내에 너무 많은 양을 준비하여 추려내는 데 애를 먹기도 했다.
그래서 분명히 발표 분량이 너무 많다는 지적을 받기도했고, 코치진들로부터도 그러한 피드백이 날라올 것 같긴하지만... 그래도 모델은 만족할만한 성능으로 나와 다행이다.
정리하는 데에도 애를 먹을 것 같긴 하지만.. 오늘안에는 마무리 할 수 있도록 부지런히 정리하고 다음 섹션을 준비해야겠다.
어느덧 교육 세션으로는 마지막 섹션만을 남겨두고 있다. 그동안 정말 많은 걸 배웠고, 남은 기간 힘내서 무사히 수료 할 수 있기를 바래본다. 아자아자 화이팅..!
