최성준(고려대학교 인공지능학과) 교수님 강의 정리
Table of Contents
- 딥러닝 소개
- 딥러닝의 역사: 2012 ~ 2021
딥러닝 소개
딥러닝을 구성하는 중요 요소 4가지
- The data that the model can learn from
- The model how to transform the data
- The loss function that quantifies the badness of the model
- The algorithm to adjust the parameters to minimize the loss
딥러닝의 역사
참고자료: Deep Learning's Most Important Ideas
위 paper를 읽어보면 과거부터 현재까지 딥러닝에 큰 영향을 끼친 사건들을 한눈에 볼 수 있다. 큰 흐름을 알고 있는 것과 모르는 것에는 분명 큰 차이가 있으니 알아두자.
- 2012
- AlexNet: 처음으로 Deep Learning 모델이 예측 대회에서 처음으로 1등을 함.
- 2013
- DQN: 강화 학습으로 컴퓨터가 게임을 할 수 있도록 만듦. 알파고도 여기서 파생되었다고 한다.
- 2014
- Encoder / Decoder - 언어 번역을 목적으로 시작됨. 기계 번역의 트렌드가 변화함.
- Adam Optimizer - 현재까지 최적화는 대부분 Adam을 그냥 씀. 그만큼 효율이 높음.
- 2015
- GAN : 딥러닝에서 굉장히 중요한 네트워크. Generator와 Discriminator 구조를 띠고 있다.
- ResNet : 딥러닝의 딥러닝이 가능해짐. ResNet 전까지는 얕은 네트워크를 활용했다. 깊은 네트워크에서 성능이 나오기 시작.
- 2016
- 2017
- Transformer: Attention Is All You Need, 웬만한 recurrent network를 모두 대체함.
- 2018
- Bert: Fine-tuned NLP models, 다양한 말뭉치로 pre-train을 하고 transfer learning.
- 2019
- BIG Language Models(GPT-X): GPT-3가 나오면서 175 억 개의 파라미터를 학습하면서 NLP에서 엄청난 성능을 보여줌.
- 2020
- Self-Supervised Learning: 주어진 학습 데이터 외에 라벨링이 되어있지 않은 데이터를 사용해서 모델을 학습시킴.
