🟢 Introduction

hidden layer를 추가한 형태를 바로 MLP라고 한다고 했다.
그럼 이러한 MLP에 대해서 좀 더 알아보자!

📜 MLP의 유래

1969년 Perceptrons 책에서 XOR 문제는 perceptron으로 해결하지 못하는 것을 수학적으로 증명했다.

이는 지난 퍼셉트론에 관한 글에서 그림을 통해 왜 해결하지 못하는지 직접 확인했었다.
part11. 인공 신경망 개요

그러므로 XOR 문제 해결을 위해서는 multilayer perceptron (MLP)로 해결 가능하다는 것 또한 알았다.

유래는 이정도면 될 것 같다.

📚 MLP (다층퍼셉트론)

MLP는 다층퍼셉트론 즉, 퍼셉트론이 다층으로 쌓인 것을 말한다. (multilayer perceptron)
구성요소는 입력층, 은닉층(1개 이상), 출력층으로 구성된다.

다층퍼셉트론 MLP에 있는 하나하나의 노드들을 "유닛" 이라고 부른다.

하나하나 살펴보도록하자, 단일 퍼셉트론과 크게 차이나는 부분은 없다.

• MLP
  

📲 입력층 (Input Layer)

입력층은 하나의 단일 퍼셉트론 일 때와 똑같다.
샘플에 있는 feture값을 나타내며, feature의 개수에 따라 이러한 노드(유닛)의 개수가 결정된다.
(예를 들어 사람을 분류한다고 했을 때의 feature로 키, 몸무게 2개의 feature)

이 때 입력층은 사실상 MLP에서 하는 일이 없다. 단순히 값만이 들어오는 것이므로 어떠한 연산도 이루어지지 않는다.
따라서, 우리가 MLP의 층 수를 계산할 때 입력층은 층 수에 포함시키지 않는다.

🌒 은닉층 (Hidden Layer)

은닉층의 유닛개수는 파라미터로 조정된다. 파라미터라 함은 사용자가 제어하는 값이다.
즉, 은닉층의 유닛의 개수는 학습을 시키는 사용자가 직접 제어한다. (이 부분은 실습을 통해 직접해볼 것이다.)
이러한 은닉층을 구성하는 유닛의 개수 및 전체 은닉층의 개수에 따라 학습의 시간 및 학습의 정확도에 중대한 영향을 끼친다.

🌟 출력층 (Output Layer)

출력층은 분류되는 Class의 개수가 유닛의 개수가 된다.
(예를 들어 10개의 과일을 분류한다라고 가정하였을 때, 총 10개의 유닛이 필요할 것이다.)
이 또한 실습을 통해 하겠지만 사용자가 직접 결정할 수 있다.
출력층 또한 MLP에서 하나의 층으로 Count되게 되는데, Activation Function 즉, 활성함수가 통과되는 연산이 이루어진다.
미리 말하자면 이러한 출력을 하는데 있어 활성함수는 주로 이진분류에는 sigmoid를 다중 분류에는 softmax를 사용한다.

📈 입력층, 은닉층, 출력층 사이의 가중치 $w, v$의 학습

결국 학습이라는 것은 무엇일까?

선형회귀분석에서 logistic 회귀분석에서도 데이터를 가장 잘 표현할 수 있는 똑같이 최적의 $w$, $b$값을 구하는 것이였다.
다른점은 logistic은 이진분류를 위해서 사용했고, 선형회귀분석은 값을 예측하는데 사용하였다.

MLP에서도 동일하다. 결국 학습은 가중치를 어떻게(최적으로)할 것인가를 구하는 것이다.

이 때 w와 v 가중치를 업데이트 하는데 사용되는 식은 서로 다르다.
이 부분은 다음 part13. 오류역전파에서 상세히 다루도록 한다.

🗑 다층 퍼셉트론의 용량(capacity)

정확히 기억하지 않으나, 저번 part11. 에서는 수용력이라고 표현했던 거 같다. 비슷하다.
쉽게 말해 데이터를 얼마나 잘 표현할 수 있는 지를 나타내는 양이라고 생각하면 된다.

Hidden Layer에서의 유닛(퍼셉트론)의 개수는 직접 결정할 수 있는 파라미터라고 위에서 설명했다.
이러한 유닛의 개수에 따라서 얼마나 표현 가능한지를 알아보자.

• (a) 퍼셉트론 3개를 결합했다고 가정.
• (b) 2차원 입력 데이터 공간($x1,x2$)에 3개의 선을 그어 나눈다. 총 7개의 공간이 생성된다.
• (c) 이러한 7개의 부분 공간을 3차원 공간의 점으로 매핑한다.

이는 다음과 같이 수식적으로 계산이 가능하다.

다음 예제를 통해서 더 많은 유닛일 경우 어떻게 될지 계산해 보자.

• Q. 사용자가 지정한 유닛(퍼셉트론)이 10개라면?
  몇개의 공간으로 분리되고, 몇 차원 공간이 나오겠는가?

• A. 10차원 공간으로 변환되고, 56개의 공간영역으로 분리되어 나온다.
  

이 과정을 통해서 feature를 표현하기 위한 공간이 세분화되며, 더 정확하게 학습하고 분류할 수 있게 되는 것이다.
층을 깊게 쌓을수록 결정 영역이 더 자세하고 정확하게 지정되는것을 확인할 수 있다.

끝.
빨리..오류역전파까지 알아보도록 하자..