Deep Learning Introduction & History

boostcamp-ai-tech

최성준(고려대학교 인공지능학과) 교수님 강의 정리

Table of Contents

• 딥러닝 소개
• 딥러닝의 역사: 2012 ~ 2021

딥러닝 소개

딥러닝을 구성하는 중요 요소 4가지

• The data that the model can learn from
• The model how to transform the data
• The loss function that quantifies the badness of the model
• The algorithm to adjust the parameters to minimize the loss

딥러닝의 역사

참고자료: Deep Learning's Most Important Ideas

위 paper를 읽어보면 과거부터 현재까지 딥러닝에 큰 영향을 끼친 사건들을 한눈에 볼 수 있다. 큰 흐름을 알고 있는 것과 모르는 것에는 분명 큰 차이가 있으니 알아두자.

• 2012
  • AlexNet: 처음으로 Deep Learning 모델이 예측 대회에서 처음으로 1등을 함.
• 2013
  • DQN: 강화 학습으로 컴퓨터가 게임을 할 수 있도록 만듦. 알파고도 여기서 파생되었다고 한다.
• 2014
  • Encoder / Decoder - 언어 번역을 목적으로 시작됨. 기계 번역의 트렌드가 변화함.
  • Adam Optimizer - 현재까지 최적화는 대부분 Adam을 그냥 씀. 그만큼 효율이 높음.
• 2015
  • GAN : 딥러닝에서 굉장히 중요한 네트워크. Generator와 Discriminator 구조를 띠고 있다.
  • ResNet : 딥러닝의 딥러닝이 가능해짐. ResNet 전까지는 얕은 네트워크를 활용했다. 깊은 네트워크에서 성능이 나오기 시작.
• 2016
• 2017
  • Transformer: Attention Is All You Need, 웬만한 recurrent network를 모두 대체함.
• 2018
  • Bert: Fine-tuned NLP models, 다양한 말뭉치로 pre-train을 하고 transfer learning.
• 2019
  • BIG Language Models(GPT-X): GPT-3가 나오면서 175 억 개의 파라미터를 학습하면서 NLP에서 엄청난 성능을 보여줌.
• 2020
  • Self-Supervised Learning: 주어진 학습 데이터 외에 라벨링이 되어있지 않은 데이터를 사용해서 모델을 학습시킴.