🟢 Introduction

아마 본격적인 딥러닝의 시작이될 것 같다.
이번 파트에서는 간단하게 인공신경망이 뭔지, 대표적인 XOR문제를 해결하기 위해서 어떻게 해야하는지 알아보자!

🔮 인공신경망이란?

인공 신경망이란 무엇일까?
실제 인간의 뇌의 신경계를 구성하는 기본단위인 뉴런을 바탕으로 만든 것이 바로 인공 신경망이다.

• 뉴런
  

• 인공 신경망
  

이러한 인공신경망을 퍼셉트론 이라고 부른다.
인공신경망을 살펴보도록 하자.

🎫 인공신경망의 구성요소

• $x$
  $x_0=1$로 고정된 bias 값(y절편이라고 생각하면 편하다)과 $x_1, x_2,x_3 ...x_n$ 까지의 $x$값들이 존재하고 있다.
  이러한 $x$값은 학습 데이터의 feature를 나타낸다. 과일을 분류한다라고 하였을 때 크기, 이심률, 색상의 RGB값 등을 나타낸다.

• $w$
  가충치를 뜻한다. 각 feature마다, 얼만큼 해당 feature를 강조해서 표현하여야 가장 잘 분류할 수 있는지를 평가하기 위해 사용한다.
  인공신경망의 학습이라는 것은 결국 이러한 $w$의 최적의 값을 찾는 것이다.

이러한 weight가 적용된 feature값들을 모두 더하게 되면 $z =w_0+w_1x_1+w_2x_2+w_3x_3 . . .$가 나오고, 이는 그림과 같이 $z = \sum_{i=1}^N w_ix_i$ 로 시그마를 사용해서 표현할 수 있다.

(또한 행렬의 곱 형태로 $z = W^TX$로도 표현할 수 있다. 이는 다중선형분류에서 배웠다.)

이러한 값($z$)을 최종적으로 활성함수(activation function)에 통과시켜, 0또는 1로 분류되도록 한다.
따라서 하나의 퍼셉트론은 이진 분류기라고 볼 수 있다.

• (+ 알아두면 좋은 상세 내용)
  정확하게 나눈다면, 한 퍼셉트론은 입력층과 출력층으로 나눠서 볼 수 있다.
  이렇게 입력층($x$)과 출력층($y$)으로 구성된 퍼셉트론의 구조에서 입력층은 특징 벡터($x_1-x_n$)를 나타내고, 출력층은 이 값을 합한 뒤, 활성함수를 통과 시켜 0,1 로 분류하는 선형 분류기라고 할 수 있겠다.
  그래서 퍼셉트론 1개 = 선형분류기 1개 라고 할 수 있는 것.

• 활성함수 $g(x)$에 $z = \sum_{i=1}^N w_ix_i$ 값이 통과되므로, 이 때의 $z$를 Affine함수라고 한다.
  

🥽 퍼셉트론의 수용력

그럼 이러한 한개 퍼셉트론의 수용력(표현력)은 어떨까? - (데이터를 얼마나 잘 분류/표현할 수 있을 것인가)
4개의 데이터 (0,0), (1,0), (1,0), (1,1)를 하나의 퍼셉트론(선형)으로 분류한다고 생각해보자.
OR 게이트와 AND게이트는 하나의 퍼셉트론으로 쉽게 분류 가능하지만, XOR게이트는 하나의 퍼셉트론으로 표현하기 힘들다.
아래 사진을 보라.

각 게이트에 ($x1,x2$)를 넣고, 나오는 출력($y$)인 ■, ●의 의미
■ : +1 (True or Positive)
● : -1 (False or Negative)

🧬 XOR 문제 해결과정 (MLP의 사용 이유)

이러한 XOR 문제를 해결하기 위해선(선형가지고 분리하기 위해선) 어떻게 해야할까?

두 단계에 걸쳐서 문제를 해결한다.

• 단계 1: 원래 특징 공간을 새로운 공간으로 매핑
  단계 2: 새로운 공간에서 분류

이 문제를 쉽게 해결하기위해 XOR 게이트를 어떻게 만드는지 생각해보자.

간단하게 XOR 게이트는 다음과 같이 표기할 수 있다.

위와 같이 표시 할 수 있겠지만, XOR게이트는 다음과 같이 3개의 게이트의 조합으로도 표현할 수 있다.

여기서 NAND, OR, AND 게이트의 공통점을 알겠는가?

바로 좌표 평면상에서 선형으로 분리할 수 있다는 점이다! (XOR 게이트는 좌표 평면상에서 선형으로 분리할 수 없다!)

• 좌표 평면상에서 선형(퍼셉트론)하나로 영역을 분리할 수 있음.
  

• XOR은 좌표 평면에서 선형(하나의 퍼셉트론)으로 분리할 수 없음.
  

감이오는가?

XOR을 선형으로 분류가능하게 만들기 위해서는 퍼셉트론 하나가 아니라, 총 3개의 퍼셉트론(NAND, AND, OR)을 사용하면 된다는 것이다.

앞에 봤던 그림의 3개의 게이트에서 앞의 입력을 계산해주는 부분을 1층, 최종 결과를 결정하는 AND를 2층이라고 하겠다.

즉, 입력층과 출력층 사이에, 1층 Hidden Layer라고 불리는 층을 하나 더 추가해서 구현 한 것이다.

이룰 통해 XOR을 선형 분리(AND, OR, NAND)만으로 구현할 수 있게 되었다.

🎉 최종 정리

• hidden Layer(1단계)를 추가함으로써 다음과 같이 (1, 1) = 1로 값이 겹치게 되며 이젠 선형으로 분류가 가능하다.

선형 분리가 가능하다는 뜻?
위 사진에서 입력 (1,0)과 (0,1)는 1단계(P1,P2)에서의 결과 값이 서로 동일하게 나오게 되므로 좌표평면상에서의 점이 아래와 같이 (-1,1) (1,1) (1,-1) 세 점의 형태로만 나오게 된다.

이는 선형으로 분류가 가능한 NAND게이트, AND게이트, OR게이트를 사용하여 비 선형적인 XOR게이트를 만드는 것과 동일하다.!

이렇게 중간에 Hidden Layer가 추가된 형태를 MLP라고 한다. (multi layer perceptron)

다음 장에서는 MLP에 대해서 알아보도록 하자. Bye!

• MLP (hidden Layer가 추가됨)