📌 학습 개요

• Neural Networks
• Linear Neural Networks
• Multi-Layer Perceptron

Neural Networks

• 인간의 뉴런 신경망을 따라 만든 Neural Networks
  -> 시작은 인간을 모방했다지만 역전파 등 인간의 신경망과 다른 점이 있음

Linear Neural Networks

• y = wx + b
• loss: MSE
• w와 b에 대한 편미분을 통해 파라미터를 업데이트 한다

Multi-Layer Perceptron

• 선형결합 사이에 활성함수를 사용하지 않으면 그냥 선형모델과 다름 없음 (Nonlinear transform)

Loss functions

• Regression Task --> MSE (Mean Squared Error)
• Classification Task --> CE (Cross Entropy)
• Probabilistic Task --> MLE (Maximum Likelihood Estimation)