한양대학교 박서연 교수님 - github.io

(한양대학교 박서연 교수님의 딥러닝 수업을 청강 하면서 정리한 내용을 바탕으로 교수님의 허락을 받고 작성하였습니다.)

---

Backpropagation

Backpropagation Code - GitHub

• Sigmoid gate Backpropagation 계산
  
  • 한번에 계산할 수도 있음

---

Patterns in Gradient Flow

• 단일 vector에서의 Local Gradient
  

• multidimensional vector에서의 Gradient 계산
  • meaning it has multiple features or dimensions
    

---

Forward Pass 과정

• multidimensional vector에서의 Backpropagation
  
  

---

Summary

• W gradients
  
  
• x gradients