😃[7주차 - Day2]😃

확률론적 신경망 - 고유의 임의성을 가지고 매개변수와 조건이 같더라도 다른 출력을 가지는 신경망입니다.

우리가 보는 신경망은 대부분 결정론적 신경망입니다.

퍼셉트론

퍼셉트론을 어떻게 배치할지에 대해서 다양한 신경망의 구조가 존재합니다.

인간의 신경망을 모방한게 인공신경망이고, 뉴런을 모방한 것이 퍼셉트론인데, 퍼셉트론은 절-node, 가중치-weight, 층-layer과 같은 구조를 가지고 있습니다.

퍼셉트론은 입력과 출력을 가지고, 연산하는 구조를 가집니다. 각각의 입력노드와 출력노드를 연결하는 변-edge는 가중치 wi를 가지고 있습니다. 또한 입력은 편향-항상 1이 입력되는-bias 노드를 포함합니다.

출력은 +1 혹은 -1이 출력됩니다. discrete한 step function을 가졌기 때문
( 활성 함수를 바꾸면 다른 값이 나올 수 있음 )

일반적인 분류기의 학습 과정 :

• 과업 정의와 분류과정의 수학적 정의 (가설 설정)
• 해당 분류기의 목적함수 정의
• 목적함수를 최소화하는 세타를 찾기 위한 최적화 방법 수행!

이 과정을 퍼셉트론에 적용해보면,

가설을 퍼셉트론으로 정하고, 목적함수를 이제 정하면 됩니다.
퍼셉트론의 매개변수를 w라고 표현하고 손실함수를 낮춰주는 전략을 세워서 최적화를 시킬 것입니다.

1. 손실값은 0보다 크거나 같아야하고,
2. w가 최적이면 모든 샘플을 맞춘다면 목적함수는 0이어야 합니다. 퍼셉트론은 보통 주어진 데이터가 완전분할이 된다는 것이 전제입니다.
3. 틀리는 샘플이 많은 w일수록 목적함수가 큰 값을 가집니다.

목적함수를 x라고 하는 것에 가중치를 곱하며, xk는 y의 원소입니다. y의 집합은 w가 틀리는 샘플의 집합입니다.

목적함수가 주어졌을 때, 미분이 가능하다고 한다면 경사하강법을 사용해야 합니다.

델타 규칙은 퍼셉트론의 학습방법입니다. (편미분 후 경사하강법 적용)

학습률은 그래디언트를 최적화할 때 아주 중요한 요소입니다.

완전분할이 안되는 데이터의 경우에는 퍼셉트론만으로는 안된다는 걸 깨닫고, 다층 퍼셉트론이 도입되었습니다.

퍼셉트론의 역사에 대해 좀 알아봐서 유익한 시간이었습니다.