4. Backpropagation and Neural Networks

📌 발표 자료 키포인트 📌

• Review 간단히 (Optimization, Gradient Descent)
• Computational graphs 흐름
  • loss function
  • input, parameter
• Gradient 간략한 설명
  • matrix 상에서 gradient의 의미 (partial derivative)
• Backpropagation (scalar)
  • Chain Rule에 따라 local gradient가 역전파 되는 과정 보여주기 (강의 예제 2개: 슬라이드23~28 따라하기)
  • 과정 : example들 찬찬히 다 계산해주는 것 보여주세요!
  • gate별 역전파 flow (add, max, mul, copy 게이트->검색!)
  • Forward pass와 gradient computation 과정 코드로 보여주기 & 설명
• Backpropagation(vector)
  • Jacobian matrix 설명
  • 강의 슬라이드 vectorized operations 의 question에 대한 답변
  • vector jacobian matrix 예제(cs231n 강의 슬라이드에 있는 예제 제외)를 2~3개 정도 가져와서 찬찬히 계산/설명 (세미나 시간에 같이 풀어보는 식으로 진행해주세요!)
  • forward() / backward() API
• Neural Network
  • 개념(architecture.. etc)
  • activation function (함수별 설명 및 단점, 보완 ; ex. ReLU의 단점 -> 보완-> Leaky ReLU)
  • Architectures : Fully-Connected Layer 의미, (vs. 1x1 conv.layer와도 비교해주면 좋겠습니다.)

참고)
강의: https://www.youtube.com/watch?v=d14TUNcbn1k&list=PLC1qU-LWwrF64f4QKQT-Vg5Wr4qEE1Zxk&index=4&ab_channel=StanfordUniversitySchoolofEngineering

자료: http://cs231n.stanford.edu/slides/2017/cs231n_2017_lecture4.pdf