시그모이드 함수

---

$\text{sigmoid}(x)=$ $\displaystyle\frac{1}{1+e^{-(ax+b)}}$

변수 a에 따른 그래프의 변화

변수 b에 따른 그래프의 변화

표준오차함수와 오차함수의 편미분

---

표준오차함수

시그모이드 함수를 $p = \displaystyle\frac{1}{1+e^{-(ax+b)}}$ 라 하면 표준오차함수는

$CE(a, b) =-\displaystyle\frac{1}{n}\sum \{ y \log{p}+(1-y)\log{(1-p)}\}$

표준오차함수의 편미분

a로 편미분

$\displaystyle{\frac{\partial{}}{\partial{a}}=}=-\frac{1}{n}\sum x(y-p)$

과정

• $CE(a,b)=\displaystyle\frac{1}{n}\sum [ y\log\{1+e^{-(ax+b)}\}+(1-y)\log{\{ 1+e^{(ax+b)}\}]}$이므로

• $\displaystyle\frac{\partial{}}{\partial{a}}CE=\frac{1}{n}\sum \Big\{ y\frac{-xe^{-(ax+b)}}{1+e^{-(ax+b)}}+(1-y)\frac{x e^{(ax+b)}}{1+e^{(ax+b)}} \Big\}$

  $\displaystyle\phantom{\frac{\partial{}}{\partial{a}}CE}=\frac{1}{n}\sum\{-xype^{-(ax+b)}+(1-y)xp\}$

  $\displaystyle\phantom{\frac{\partial{}}{\partial{a}}CE}=\frac{1}{n}\sum\{-xyh(1+e^{-(ax+b)})+xp\}$

  $\displaystyle\phantom{\frac{\partial{}}{\partial{a}}CE}=\frac{1}{n}\sum\{-xy\cancel{p}\cancel{(1+e^{-(ax+b)})}+xp\}$

  $\displaystyle\phantom{\frac{\partial{}}{\partial{a}}CE}=-\frac{1}{n}\sum x(y-p)$

b로 편미분

$\displaystyle\frac{\partial{}}{\partial{b}}CE=-\frac{1}{n}\sum(y-p)$

과정은 $a$로 편미분하는 과정과 거의 유사하다.

로지스틱 회귀 시뮬레이션

---

import numpy as np
import matplotlib.pyplot as plt

# 자료입력
input = np.array([2, 4, 6, 8, 10, 12, 14])
output = np.array([0, 0, 0, 1, 1, 1, 1])
x = np.arange(0,15,0.1)

# 초기값 설정
a, b = 0, 0

# 학습률과 반복횟수
lr = 0.5
epoch = 2001

# 시그모이드함수 클래스 정의
class sigmoid :
    def __init__(self, a, b)->None:
        self.a = a 
        self.b = b
    def value(self, x)->float:
        exp = self.a*x +self.b
        return 1/(1+np.e**(-exp))

    
#학습시작
for i in range(epoch):
    result = [sigmoid(a,b).value(i) for i in input]
    error = output - result
    a_diff = (-1)*np.mean(input*error)
    b_diff = (-1)*np.mean(error)
    a = a - lr*a_diff
    b = b - lr*b_diff

plt.scatter(input, output)
plt.plot(x, sigmoid(a,b).value(x))
plt.show

감상

---

편미분 결과가 실제값과 예측값의 차이의 평균으로 최소제곱법에서의 그것과 같다니 매우 아름답다.아니면 원래 거기서 출발했던 것일지도 모르겠다. 끝.