Loss Function

Loss = 모델의 예측 $\hat{y}$ 실제 정답 $y$의 차이

Loss Function = loss를 계산하는 함수

Binary Cross Entropy

$\displaystyle J(y,\hat{y}) = -[ylog(\hat{y}) + (1-y)log(1-\hat{y})], 0< \hat{y} < 1$

파이썬으로 표현하기

import numpy as np

class BCELoss:
    def forward(self, y, pred):
        j = -(y * np.log(pred) + ((1 - y) * np.log(1 - pred)))

        return j

Differentiation

평균변화율(ARC, Average Rate of Change)

• 평균 변화율: Secanct line의 기울기
• Secant line: 주어진 두 점을 지나는 직선

  $\displaystyle\frac{\Delta y}{\Delta x} = \frac{y_1-y_0}{x_1-x_0}$

순간변화율(IRC, Instantaneous Rate of Change)

• tangent line : 주어진 점을 지나며 함수에 접하는 직선
• 특정 점의 순간변화율이 해당 점을 지나는 tangent line의 기울기다
• $x = x_0$ 일때 tangent line의 기울기를 $f'(x_0)$ 로 나타낸다
• 이를 다른 이름으로 접선의 기울기 , 미분계수 라고도 한다

$\displaystyle\lim_{\Delta x\rightarrow 0}\frac{\Delta y}{\Delta x} = f'(x_0)$

$\displaystyle f'(x_0) = \lim_{\Delta x \rightarrow 0}\frac{f(x_0+\Delta x) - f(x_0)}{\Delta x}$

여기서 특정 $x_0$가 아닌 일반적 $x$에 대한 미분계수를 구하기 위해 고안된것이 있다.

도함수

$\displaystyle f'(x) = \lim_{\Delta x \rightarrow 0}\frac{f(x+\Delta x) - f(x)}{\Delta x}$

위 함수는 미분계수를 구하고자 하는 $x$를 $f'(x)$에 입력하면 해당 $x$에 대한 미분계수를 출력해준다.

편미분

• 다변수 함수의 특정 변수를 제외한 나머지 변수를 상수로 간주하여 미분하는 것

Affine function의 편미분

$z = w_1x_1 + w_2x_2 + ... + w_nx_n + b$

$\displaystyle\frac{\partial{z}}{\partial{w_1}} =x_1$

$\displaystyle\frac{\partial{z}}{\partial{w_2}} =x_2$

$\displaystyle\frac{\partial{z}}{\partial{b}} =b$

Sigmoid의 편미분

$\displaystyle \sigma(z)= \frac{1}{1+e^{-z}}=(1+e^{-z})^{-1}$

$\displaystyle \frac{\partial{\sigma}}{\partial{z}} = \sigma(1-\sigma)$

BCE(Binary Cross Entropy) Loss function의 편미분

$\displaystyle J = -[ylog(\hat{y}) + (1-y)log(1-\hat{y})]$

$\displaystyle\frac{\partial{J}}{\partial{\hat{y}}} = \frac{\hat{y}-y}{\hat{y}(1-\hat{y})}$