1. 퍼셉트론
- 신경망을 이루는 가장 기본적인 구조
- 뉴런과 시냅스
- 뉴런 : 신경계를 구성하는 세포
- 시냅스 : 뉴런과 뉴런을 연결(입력에 의해 자극을 받아 다른 뉴런으로 정보 전달)
- 입력 : 여러개의 자극들로 구성
- 입력들은 기준치 이상을 달성해야 전달함(모두 전달하는 건 아님)
- 퍼셉트론 : 입력값과 활성화 함수를 통해 출력값을 다음으로 넘기는 가장 작은 신경망 단위
1) 가중치, 가중합, 바이어스, 활성화함수
-
로지스틱 회귀 == 퍼셉트론
y = ax + b ➡️ y = wx + b(w는 가중치, b는 바이어스)
- 가중치(weight) :
- 바이어스(bias) : 편향
- 가중합(weighted sum) : 입력값 x와 가중치 w를 곱하고 바이어스 b를 더함
- 활성화 함수(activation) : 가중합의 결과를 보고 0과 1을 판단
* 퍼셉트론의 한계
- 직선 한 개만으로는 색 구분 불가능
* XOR 문제
- 게이트(gate) : 컴퓨터의 두 가지의 디지털 값, 즉 0과 1을 입력해 하나의 값을 출력하는 회로
- AND, OR 연산 : 한 개의 직선으로 결과값 구분 가능
- XOR : 구분 불가능
2) 다층 퍼셉트론
- 좌표 평면 자체에 변화를 주면 됨
- XOR 문제 해결 : 2개의 퍼셉트론 한 번에 계산
- 은닉층(hidden layer)
- 은닉층이 평면을 왜곡시키는 결과를 가져옴
- 은닉층이 평면을 왜곡시키는 결과를 가져옴
<1> 다층 퍼셉트론 설계
- 퍼셉트론이 은닉층으로 가중치와 바이어스를 보냄
- 은닉층으로 모인 값은 시그모이드함수(σ) 이용하여 최종값으로 결과를 보냄
- 노드(node) : 은닉층에 모이는 중간 정거장(n1, n2)
- 단일 퍼셉트론의 값 계산
n1 = σ(x1w11 + x2w21+b1)
n2 = σ(x1w12 + x2w22 + b2)- 출력층의 값 계산
- 각각의 가중치와 바이어스
<2> XOR 문제 해결
- n1 gate : AND gate의 정반대값 출력함 ➡️ NAND(Negative AND) Gate
- n2 gate : OR gate
- y gate : AND gate
<3> 코드
import numpy as np
w11 = np.array([-2,-2])
w12 = np.array([2,2])
w2 = np.array([1,1])
b1 = 3
b2 = -1
b3 = -1
def MLP(x,w,b): #퍼셉트론 함수
y = np.sum(w*x)+b
if y <= 0:
return 0
else:
return 1
def NAND(x1, x2):
return MLP(np.array([x1,x2]), w11, b1)
def OR(x1, x2):
return MLP(np.array([x1, x2]), w12, b2)
def AND(x1, x2):
return MLP(np.array([x1, x2]), w2, b3)
def XOR(x1, x2):
return AND(NAND(x1,x2), OR(x1,x2))
for x in [(0, 0), (1, 0), (0, 1), (1, 1)]:
y = XOR(x[0], x[1])
print("입력 값: " + str(x) + " 출력 값: " + str(y))def MLP2(x, w, b):
ws = x.dot(w) + b
return ws > 0
w1 = np.array([[-0.5,0.5],[-0.5,0.5]])
w2 = np.array([0.5,0.5])
b1 = np.array([0.7,-0.2])
b2 = np.array([-0.7])
X = np.array([(0, 0), (1, 0), (0, 1), (1, 1)])
for x in X:
n = MLP2(x, w1, b1)
y = MLP2(n, w2, b2)
print("입력 값: " + str(n) + " 출력 값: " + str(y))
3) 오차 역전파(back propagation)
- 신경망 내부 가중치 수정
- 경사하강법의 확장 개념
- 다층 퍼셉트론에서의 최적화 과정
- 임의의 가중치 선언 후 결괏값을 이용해 오차를 구함. ➡️ 오차가 최소의 지점으로 계속해서 이동시킴
- 오차가 최소가 되는 지점 : 우리가 찾는 정답임
1️⃣ 단층 퍼셉트론 : 입력층, 출력층으로만 구성
2️⃣ 다층 퍼셉트론 : 은닉층 존재 ➡️ 결괏값 오차를 토대로 하나 앞선 가중치를 차례로 거슬러 올라가며 조정
- 절차
- 1️⃣ 임의의 초기 가중치(W)를 준 뒤 결과(y) 계산
- 2️⃣ 계산 결과와 원하는 값 사이의 오차 구하기
- 3️⃣ 경사 하강법을 이용해 바로 앞 가중치를 오차가 작아지는 방향으로 업데이트
- 기울기가 0이 되는 방향으로 이동
- 가중치에서 기울기를 뺐을 때 가중치의 변화가 전혀 없는 상태
- 4️⃣ 위 과정을 오차가 더이상 줄어들지 않을 때까지 반복
알고리즘
1️⃣ 환경 변수 지정 : 입력값, 타깃 결과값이 포함된 데이터셋, 학습률 등 포함. 또한, 활성화 함수, 가중치 등도 선언
2️⃣ 신경망 실행 : 초깃값을 입력하여 활성화 함수와 가중치를 거쳐 결괏값이 나오게 함
3️⃣ 결과를 실제 값과 비교 : 오차 측정
4️⃣ 역전파 실행 : 출력층과 은닉층 가중치 수정
5️⃣ 결과 출력
2. 딥러닝
- 다층 퍼셉트론 + 오차 역전파 = 신경망
- 신경망을 쌓으면 인공지능의 성능이 올라갈까? 안 올라감
1) 기울기 소실 문제와 활성화 함수
- 기울기 소실 문제(vanishing gradient)
- 가중치 수정하려면 미분 값(기울기) 필요
- 층이 늘어나면 역전파를 통해 전달되는 기울기 값들이 점차 작아져서 맨 처음층까지 도달 시 기울기가 소실되는 문제 발생
➡️ 활성화 함수가 시그모이드 함수이기 때문 : 미분값이 1보다 작아지기 때문에 지속적으로 곱할 경우 0에 가까워짐.
✔️ 다양한 활성화 함수 도입
- 1️⃣ 하이퍼블릭 탄젠트 함수
- 시그모이드 함수 범위 확장 : -1 ~ 1로 확장
- 여전히 1보다 작은 값이 존재함
- 2️⃣ 렐루 함수
- 시그모이드 함수 대안으로 사용 : 가장 많이 사용되고 있음
- x < 0 : 모든 값은 0으로 처리
- x > 0 : 모든 값에 대하여 y=x
➡️ 미분값이 1이 됨.
➡️ 여러 은닉층을 거쳐 곱해져도 맨 처음층까지 값이 존재하게 됨
- 3️⃣ 소프트 플러스 함수
- 렐루 함수 변형
- 렐루가 0이 되는 순간을 완화
2) 고급 경사 하강법
- 경사하강법 : 가중치 업데이트를 위해 전체 데이터를 매번 미분해야 하므로 계산량이 매우 많음
➡️ 고급 경사하강법 등장
<1> 확률적 경사 하강법(Stochastic Gradient Descent, SGD)
- 전체 데이터를 사용하는 것이 아니라 랜덤하게 추출한 일부 데이터 사용 ➡️ 일부 데이터만 사용하기 때문에 더 빨리, 자주 업데이트 가능해짐.
- 경사 하강법 : 불필요하게 많은 계산으로 인해 속도가 느리고, 최적의 해를 찾기 전까지 최적화 과정이 멈추지 않음
- 빠른 속도, 최적값에 근사한 값을 찾아냄
<2> 모멘텀(momentum)
- 경사 하강법에 탄력을 더해줌
- 경사하강법을 통해 기울기를 구하며, 그 과정에서 오차를 수정하기 전 바로 앞 수정값과 방향(+,-)를 참고하여 같은 방향으로 일정한 비율만 수정하게 됨
- 즉, 이전 이동값을 고려해 일정 비율만큼만 다음값을 결정하므로 관성의 효과를 낼 수 있음.
<3> 딥러닝 구동에 사용되는 고급경사하강법
3-1) 확률적 경사 하강법(SSG)
- 개요 : 랜덤하게 추출한 일부 데이터를 사용해 더 자주, 빨리 업데이트하는 방법
- 효과 : 속도개선
- 케라스 사용법 :
keras.optimizers.SGD(lr=0.1)
3-2) 모멘텀(Momentum)
- 개요 : 관성의 방향을 고려해 진동과 폭을 줄임
- 효과 : 정확도 개선
- 케라스 사용법 :
keras.optimizers.SGD(lr=0.1, momentum=0.9)
3-3) 네스테로프 모멘텀(NAG)
- 개요 : 모멘텀이 이동시킬 방향으로 미리 이동해서 그레이디언트 계산. 불필요한 이동을 줄이는 효과
- 효과 : 정확도 개선
- 케라스 사용법 :
keras.optimizers.SGD(lr=0.1, momentum=0.9, nesterov=True)
3-4) 아다그라드(Adagrad)
- 개요 : 변수의 업데이트가 잦으면 학습률을 적게 하여 이동보폭을 조절
- 효과 : 보폭 크기 개선
- 케라스 사용법 :
keras.optimizers.Adagrad(lr=0.01, epsilon=1e-6)- 참고 : epsilon, rho, decay 같은 파라미터 안 바꾸고 그대로 사용하기. ➡️ 학습률 값만 적절히 조절
3-5) 알엠에스프롭(RMSProp)
- 개요 : 아다그라드 보폭 민감도 보완
- 효과 : 보폭 크기 개선
- 케라스 사용법 :
keras.optimizers.RMSProp(lr=0.01, rho=0.9, epsilon=1e-6, decay=0.0)
3-6) 아담(Adam)
- 개요 : 모멘텀 + 알엠에스프롭
- 효과 : 정확도와 보폭 크기 개선
- 케라스 사용법 :
keras.optimizers.Adam(lr=0.01, beta_1 = 0.9, beta_2=0.999, epsilon=1e-6, decay=0.0)
hello world!