출처: 모두를 위한 딥러닝 강좌 시즌 1 by Sung Kim

---

하나의 로지스틱 회귀로는 XOR 문제를 해결할 수 없어서 많은 연구자들이 애를 먹었다.
하나가 아니라, 3개의 로지스틱 회귀 유닛을 합치면 이 문제를 풀 수 있다.
하지만, 이 신경망에 있는 weight과 bias을 학습할 방법이 없다는 게 문제였다(Minsky)

NN for XOR

XOR problem

Neural Net with 3 logistic regression units

• 위는 1번 유닛과 2번 유닛의 예측값을 3번 유닛의 입력값으로 투입하여 XOR 문제를 성공적으로 해결하는 모델의 예시이다.
• 전체 모델을 도식으로 나타내면 아래와 같다.

• 위 모델에서 각각의 유닛을 게이트, 또는 퍼셉트론 이라고도 한다.

• Multinomial Classification에서 했던 것처럼, 두 유닛의 가중치($w$)와 편향($b$)을 하나의 행렬로 합쳐서 표현할 수 있다.

모델의 수식 표현

• Minsky 교수님이 던진 문제: 어떻게 W1, W2, B1, b2를 training data로부터 학습할 수 있을 것인가?