모두를 위한 딥러닝 강좌

One logistic regression unit can not separate XOR

• 수학적으로 증명됨
• 근데 unit을 여러개로 합치면? 풀수는 있지만 각각의 네트워크 속 가중치와 편향이 학습이 불가능하다는 문제가 생김

Forward propagation

• x1, x2가 각각의 유닛으로 들어간 후 sigmoid로 나온 값이 다른 유닛 입력값으로 들어가서 W(웨이트=가중치), B(바이어스=편향)값이 나오고 그것을 시그모이드로 출력을 하고 최종 값(y)을 얻음

NN(Neural Network)

• xor 문제를 하나의 neural network를 통해서 해결함
• 아래는 어떻게 해결했는지에대한 공식
  

K = tf.sigmoid(tf.matmul(X, W1) + b1)
hypothesis = tf.sigmoid(tf.matmul(K, W2) + b2)

Back propagaton(chain rule)

• 어떤 출력값과 예측값을 비교해서 나오는 오류(cost형태)를 뒤에서부터 앞까지 계산하면서 미분값과 실제로 뭐가 적용된건지 알아보겠다는 것임

forward

실제 학습데이터에서 값을 받아오고 입력시킴

backward

그런 다음 backward로 실제 미분의 값을 계산함