U_Week_2_Day_6

수업 정리 　

강의 목록

[DL Basic] 딥러닝 기본 용어 설명(Historical Review)

• 딥러닝의 핵심 요소
  • 모델이 학습할 수 있는 데이터
  • 학습하고자 하는 모델
  • 모델 학습을 위한 손실 함수
  • 손실 함수를 최소화시킬 알고리즘
    >> 새로운 논문 및 연구를 볼 때, 중점적으로 확인할 요소들
• Historicla Review
  • 2012 : AlexNet
  • 2013 : DQN
  • 2014 : Encoder/Decoder, Adam
  • 2015 : GAN, ResNet
  • 2016 :
  • 2017 : Transformer
  • 2018 : BERT
  • 2019 : Big Language Models(GPT-X)
  • 2020 : Self-supervised Learning

[DL Basic] 뉴럴 네트워크 - MLP (Multi-Layer Perceptron)

• Neural Networks
  • Neural Networks는 동물의 뇌를 구성하는 생물학적 신경망에서 막연하게 영감을 받은 컴퓨팅 시스템이다.
  • Neural Networks는 반복적인 비선형 연산을 통해 함수를 근사하는 모델이다.
• Linear Neural Networks
  1. start with simple exam
  • Data : $\mathcal D = \{(x_i,y_i)\}_{i=1}^{N}$
  • Model : $\hat{y} = wx + b$
  • Loss : loss $= \frac{1}{N}\sum_{i=1}^N (y_i-\hat{y_i})^2$
    
    
  2. compute the partial derivatives w,r,t the optimization variables
     
  3. then, iteratively update the optimization variables
     
• Beyond Linear Neural Networks
  • 층을 쌓는다라는 것은 단순히 행렬곱을 여러번 하는 것이 아니라, 한 번의 linear transform 뒤에는 Nonlinear transform(activation function)을 거쳐 네트워크의 표현력을 극대화 해야 한다.
    
  • Activation functions
    
• Multi-Layer Perceptron
  • Loss function
    
    
    

[Data Viz]

과제

• MLP
  - 강의 보면서 완료
• ViT(Vision Transformer)
  -
• AAE(Adversarial Auto-Encoder)
  -
• MDN(Mixture Density Network)
  -

피어세션 정리

• 피어세션 전 멘토님께서 선택과제1, 2, 3 문제에 대한 해설을 추가적으로 진행해주셨습니다(조대현 멘토님👍)
• 예정되었던 코딩테스트 문제 풀이 리뷰 진행
• 다음 주 문제 : 합승 택시 요금

느낀점

본격적으로 딥러닝 강의가 시작되었습니다. 이번주에는 MLP부터 Transformer까지 진도가 나갈 예정입니다. 이미 알고 있는 내용이지만 선택과제에서 Vision Transformer 또한 다루고 있어 기대가 많습니다! MDN은 처음 들어보네요,,,(열심히 배우자!!)
이번주도 열심히 그리고 성실하게 나아가보려 합니다! 화이태애애애앵!!!!!