DL

Neural Network와 Perceptron Neural Network는 인간의 신경 세포 구조에서 영감을 받았다. Perceptron은 Neural Network의 기본 요소로, 각 퍼셉트론은 신경 세포 하나를 나타낸다. 퍼셉트론은 벡터를 입력받아 Weighted

Activation Function 각 층에서 비선형 변환(non-linear transformation)을 적용하고, 뉴런이 활성화될지 여부를 결정합니다. 활성화 함수가 없으면 신경망은 단순히 선형 회귀(linear regression) 모델을 쌓아놓은 것과 같습

Optimizer NN이 Loss로부터 어떻게 학습할지 알려준다. Loss Landscape을 직접 알지는 못한다. Argument Learning rate: Optimizer의 step size Momentum: 이전 몇 단계의 개선 방향을 반영해 조금 더 큰 st

Gradient Descent Gradient를 계산하고, Gradient가 가능한 한 작아질 때까지 parameter $\theta$를 반복적으로 조정한다. Chain Rule로 Gradient를 계산하고 기울기의 반대 방향으로 small step 이동하여 param