Preview

<과제>
XOR을 이용한 전가산기, 반가산기
파이썬을 실습하면서 에러가 난 경우
압축 해제 에러
이전에 받은 디렉토리에서 압축받은 Pythoncache 파일, pickle파일 등을 모두 삭제해야 함.

pickle이란?

왜냐면 불안전하게 다운로드 받은 파일에서 파이썬은 가져오려고 하기 때문에 에러가 남.

다음주 수요일(4/6) 강의는 녹강!~

from re import T
import sys, os 
sys.path.append(os.pardir) # path는 현재 디렉토리(working directory)이어야 함
import numpy as np
import pickle # 파이썬 라이브러리 pickle 사용: 

from dataset.mnist import load_mnist
from common.functions import sigmoid, softmax

def get_data():
    (x_train, t_train), (x_test, t_test) = load_mnist(normalize=True, flatten=True, one_hot_label=False)
    return x_test, t_test

def init_network():
    with open("sample_weight.pkl", 'rb') as f:
        network = pickle.load(f)
    return network

def predict(network, x):
    W1, W2, W3 = network['W1'], network['W2'], network['W3']
    b1, b2, b3 = network['b1'], network['b2'], network['b3']

    a1 = np.dot(x, W1) + b1
    z1 = sigmoid(a1)
    a2 = np.dot(z1, W2) + b2
    z2 = sigmoid(a2)
    a3 = np.dot(z2, W3) + b3
    y = softmax(a3)

    return y

x, t = get_data()
network = init_network()

accuracy_cnt = 0
for i in range(len(x)):
    y = predict(network, x[i])
    p = np.argmax(y)
    if p == t[i]:
        accuracy_cnt += 1

print("Accuracy: "+str(float(accuracy_cnt)/len(x)))

predict라는 함수가 10000번 실행됨.

배치처리

배치: 무엇인가 묶어서 일괄처리한다.
네트워크가 연결되지 않았을 때 은행 입,출금 시 로컬 컴퓨터에서 계산 후 중앙 서버에 일괄 배치함.
구현한 신경망의 가중치 처리한 결과

# 배치처리
x, _ = get_data()
network = init_network()
W1, W2, W3 = network['W1'], network['W2'], network['W3']
print(x.shape)
print(x[0].shape)
print(W1.shape)
print(W2.shape)
print(W3.shape)

100개를 한번에 처리해 계산 속도가 빠름
실제 계산량은 바뀌지 않되, gpu(가속기)를 돌리다보면 데이터를 최적화한 상태에서 실행이 유리함(효율적).
=> 한장, 한장 하다보면 계산하는 시간보다 메모리 접근 시간이 더 오래걸림.

배치처리를 하면 훨씬 효율적임.

# 배치를 통한 신경망 추론 처리
x, t = get_data()
network = init_network()

batch_size = 100 # 배치 크기
Accuracy_cnt = 0

for i in range(0, len(x), batch_size):
    x_batch = x[i:i+batch_size]
    y_batch = predict(network, x_batch)
    p = np.argmax(y_batch, axis=1)
    accuracy_cnt += np.sum(p == t[i: i+batch_size])

print("Accuracy: "+str(float(accuracy_cnt)/len(x)))

전체 코드

from re import T
import sys, os 
sys.path.append(os.pardir) # path는 현재 디렉토리(working directory)이어야 함
import numpy as np
import pickle # 파이썬 라이브러리 pickle 사용: 

from dataset.mnist import load_mnist
from common.functions import sigmoid, softmax

def get_data():
    (x_train, t_train), (x_test, t_test) = load_mnist(normalize=True, flatten=True, one_hot_label=False)
    return x_test, t_test

def init_network():
    with open("sample_weight.pkl", 'rb') as f:
        network = pickle.load(f)
    return network

def predict(network, x):
    W1, W2, W3 = network['W1'], network['W2'], network['W3']
    b1, b2, b3 = network['b1'], network['b2'], network['b3']

    a1 = np.dot(x, W1) + b1
    z1 = sigmoid(a1)
    a2 = np.dot(z1, W2) + b2
    z2 = sigmoid(a2)
    a3 = np.dot(z2, W3) + b3
    y = softmax(a3)

    return y

x, t = get_data()
network = init_network()

accuracy_cnt = 0
for i in range(len(x)):
    y = predict(network, x[i])
    p = np.argmax(y)
    if p == t[i]:
        accuracy_cnt += 1

print("Accuracy: "+str(float(accuracy_cnt)/len(x)))

# 배치처리
x, _ = get_data()
network = init_network()
W1, W2, W3 = network['W1'], network['W2'], network['W3']
print(x.shape)
print(x[0].shape)
print(W1.shape)
print(W2.shape)
print(W3.shape)

# 배치를 통한 신경망 추론 처리
x, t = get_data()
network = init_network()

batch_size = 100 # 배치 크기
Accuracy_cnt = 0

for i in range(0, len(x), batch_size):
    x_batch = x[i:i+batch_size]
    y_batch = predict(network, x_batch)
    p = np.argmax(y_batch, axis=1)
    accuracy_cnt += np.sum(p == t[i: i+batch_size])

print("Accuracy: "+str(float(accuracy_cnt)/len(x)))```