🤯 신경망

신경망 작동원리

• 신경망은 가중치를 파라미터로 가진다.
• 중요한 feature 가중치 높게
• 손실 함수가 신경망의 출력 품질을 측정
• 손실점수가 낮도록 가중치 조정
  
• 손실 점수를 피드백 신호로 사용하여 가중치 조절
• 기본적인 딥러닝 방식 : 손실점수를 피드백 신호로 사용하여 현재 샘플의 손실 점수가 감소되는 방향으로 가중치를 조금씩 수정하는 것
  

---

🧬 퍼셉트론

• 여러 개의 신호를 입력을 받아 하나의 값을 출력
• x : 입력, y : 출력, w : 가중치
• x와 가중치 w를 곱한 값을 모두 더하여 하나의 값y으로 만들어냄
• 이때 임계값과 비교하여 크면 1, 그렇지 않으면 0을 출력
  -> 활성화 함수(Activation Function)
  -> 위에서 사용한 것은 계단 함수(Step Function)
  
  입력이 두개인 퍼셉트론

OR 게이트 구현하기

OR게이트 : 1이 하나라도 있으면 1

x1	x2	y
0	0	0
1	0	1
0	1	1
1	1	1

🐼 문제정의

문제정의 : OR 게이트 구현

• 0,0 -> 0
• 1,0 -> 1
• 0,1 -> 1
• 1,1 -> 1

---

데이터 준비하기

import tensorflow as tf
tf.random.set_seed(777)

import numpy as np
from tensorflow.keras.models import Sequential
from tensorflow.keras.layers import Dense
from tensorflow.keras.optimizers import SGD
from tensorflow.keras.losses import mse

# 데이터 준비하기
X = np.array([[0,0],[1,0],[0,1],[1,1]])
y = np.array([[0], [1], [1], [1]])

모델 구성, 설정, 학습하기

# 모델 구성하기
model = Sequential()
# 한개의 layer에 한개의 Dense층
model.add(Dense(1,input_shape=(2,), activation='linear')) # 단층 퍼셉트론

# 모델 설정하기
model.compile(optimizer=SGD(), loss=mse, metrics=['acc']) # 손실함수 : mse, 정확도 acc로 확인

# 모델 학습하기
# (학습데이터, 정답, 500번 공부)
history = model.fit(X, y, epochs=500) 

훈련 및 검증 -> 손실, 정확도

import matplotlib.pyplot as plt

his_dict = history.history
loss = his_dict['loss']

epochs = range(1, len(loss) + 1)
fig = plt.figure(figsize = (10, 5))

# 훈련 및 검증 손실 그리기
ax1 = fig.add_subplot(1, 2, 1)
ax1.plot(epochs, loss, color = 'orange', label = 'train_loss')
ax1.set_title('train loss')
ax1.set_xlabel('epochs')
ax1.set_ylabel('loss')
ax1.legend()

acc = his_dict['acc']

# 훈련 및 검증 정확도 그리기
ax2 = fig.add_subplot(1, 2, 2)
ax2.plot(epochs, acc, color = 'blue', label = 'train_accuracy')
ax2.set_title('train accuracy')
ax2.set_xlabel('epochs')
ax2.set_ylabel('accuracy')
ax2.legend()

plt.show()

---

XOR 게이트 구현하기

• 같으면 0, 다르면 1
• OR 게이트 코드 중 데이터 준비하기 코드만 변경

# 데이터 준비하기
# X1, X2가 다를 때 1, 같을 때 0
X = np.array([[0,0],[1,0],[0,1],[1,1]]) 
y = np.array([[0], [1], [1], [0]])

👀 OR 게이트와 달리 accuracy가 높지 않음 -> 다른 방법 필요!

---

🧬 다층 퍼셉트론

XOR 게이트 층 추가

# 데이터 준비하기
# X1, X2가 다를 때 1, 같을 때 0
X = np.array([[0,0],[1,0],[0,1],[1,1]]) 
y = np.array([[0], [1], [1], [0]])

model = Sequential()
# 한개의 layer에 한개의 Dense층
model.add(Dense(32,input_shape=(2,), activation='relu'))
model.add(Dense(1, activation='sigmoid'))

model.compile(optimizer=SGD(), loss=mse, metrics=['acc']) # 손실함수 : mse, 정확도 acc로 확인

# (학습데이터, 정답, 500번 공부)
history = model.fit(X, y, epochs=500) 

👀 여전히 accuracy가 낮음

---

XOR 게이트 층 추가 + 옵티마이저 변경

from tensorflow.keras.optimizers import RMSprop
# 데이터 준비하기
# X1, X2가 다를 때 1, 같을 때 0
X = np.array([[0,0],[1,0],[0,1],[1,1]]) 
y = np.array([[0], [1], [1], [0]])

xor_model = Sequential()
# 한개의 layer에 한개의 Dense층
xor_model.add(Dense(32,input_shape=(2,), activation='relu'))
xor_model.add(Dense(1, activation='sigmoid'))

xor_model.compile(optimizer=RMSprop(), loss=mse, metrics=['acc']) # 손실함수 : mse, 정확도 acc로 확인

# (학습데이터, 정답, 100번 공부)
history = xor_model.fit(X, y, epochs=100) 

👀 accuracy가 epoch를 줄였음에도 올라감

---

하이퍼파라미터 튜닝