Programmers 인공지능 데브코스 - Week 7 Day 4 - 다층 퍼셉트론

donchanee·2021년 1월 21일
0
post-thumbnail

다층 퍼셉트론

선형 분류기의 한계

XOR 문제 같은 경우 선형분리가 불가능하고, 75% 정확도의 한계가 존재합니다.

이를 다층 퍼셉트론으로 구축시킨다면 이를 해결할 수 있을 것입니다.
하나의 퍼셉트론이 가진 한계를 서로 연결하면서 그 사이에서 새로운 의미를 찾아가는 과정을 수행하게 되었습니다.

복수개의 퍼셉트론을 새로운 은닉층이라는 개념을 통해 소개를 하게 되었습니다.

다층 퍼셉트론의 특징

  • 은닉층 - hidden layer
  • 시그모이드 활성함수
  • 오류 역전파 알고리즘

은닉층이라고 하는 레이어를 두어서, 필터같은 역할을 하며 새로운 의미를 찾아가는 특징 공간을 분류할 수 있게 합니다.

퍼셉트론이 1개인 경우, 선형적 요소(내적)와 비선형적 요소(활성함수=계단함수)를 수행하는데, 계단함수는 이진화하여 수행했지만 이런 하드한 의사결정 말고, S자 형태의 시그모이드 활성함수는 비선형적 활성함수입니다. 출력값 자체가 비연속적인 부분을 연속적인 부분으로 융통성있는 의사결정으로 바꿔줍니다.

오류 역전파 알고리즘을 사용하여 학습을 시키면서, 다층의 퍼셉트론이 여러개의 층이 있기 때문에 여러개의 층을 역으로 이용해서 역방향으로 각각 가중치 갱신(gradient descent) 각각의 층에 하나씩 입력까지 전달하는 방식을 사용합니다.

다층 퍼셉트론의 구조적인 특징

한개의 퍼셉트론이 아니고 여러개의 퍼셉트론을 사용하면 XOR 문제를 분류할 수 있겠구나 라는 개념입니다.

퍼셉트론 2개로 인해 공간을 3부분으로 분할함으로써 XOR 문제를 해결합니다.

2개의 퍼셉트론을 병렬 결합하면, 입력은 똑같지만 각각의 퍼셉트론에 의해서 출력의 양상이 2가지로 분해가 됩니다.

오류 역전파 알고리즘

은닉층이라고 하는 것에 의해 공간이 변형되고 이것은 순방향 전파를 하면서 일어나는 일이다. 각각의 은닉층에서 특징공간이 변환되는 것.
퍼셉트론에 의해 공간의 변환이 일어나고, 어떤 공간이든 새로운 주어진 문제에 대해 더 잘 풀수 있게끔 공간이 변환이 됩니다.

벡터의 내적이 아니고, 행렬의 곱

예측값과 실제값의 차이를 낮춰주기 위해서 각각의 W1, W2를 경사하강법을 사용해서(현재의 가중치들을 미분값을 이용해서 해당하는 위치에 값들을 새롭게 갱신하는 것) W2 오차에서 나온 것들이 해당하는 변수(가중치)에 의해 뭔가가 미분이 되고, 이 변수가 W1에도 영향을 주겠구나 하는 것이 오류역전파입니다.

기계학습의 목표 - 모든 샘플을 옳게 분류하는 함수 f를 찾는 일

역전파의 관계 forward -> backward

  • fanout -> sum
  • sum -> fanout
  • 곱셈 -> 서로 반대쪽
  • Max 시, 활성화 된 곳에만 gradient 전달

0개의 댓글