신경망

• 인간 두뇌에 대한 계산적 모델을 통해 인공지능을 구현하려는 분야
• 신경세포(neuron)의 인공적인 모델
  -> 퍼셉트론 : 학습가능한 신경망 모델 (함수의 역할을 한다고 볼수 있음)

퍼셉트론

• OR 연산을 수행하는 퍼셉트론
• 선형 분리가능 문제
• 선형 분리불가 문제
  • XOR 문제

다층 퍼셉트론(MLP)

여러 개의 퍼셉트론을 층 구조로 구성한 신경망 모델

• 다층 퍼셉트론의 학습
  • 입력-출력($x_i, y_i)$의 학습데이터에 대해 출력값과 $f(x_i)$의 차이, 오차가 최소가 되도록 가중치 w를 결정하는 것
• 학습가능한 다층 퍼셉트론
  • 학습알고리즘: 오차역전파 알고리즘
  • 계단모양 전달함수를 미분가능한 시그모이드(sigmoid) 함수로 대체
• 다층 퍼셉트론의 동작
• 학습목표
  • 기대출력과 MLP 출력이 최대한 비슷해 지도록 가중치를 변경하는 것
  • 최대경사법 또는 경사하강법
• 오차 역전파 알고리즘

소프트맥스 층

최종 출력을 분류 확률로 변환하는 층 -> 출력의 합 = 1

학습 데이터

학습 데이터($x_i, t_i$)의 조건부 확률

전체 데이터 D에 대한 가능도

최대 가능도 추정(MLE)

데이터의 가능도를 최대로 하는 파라미터를 추정하는 것
오차함수 E(w): 음의 로그 가능도로 정의

RBF 망

RBF 함수

기준 벡터 u와 입력 벡터 x의 유사도를 측정하는 함수

RBF 망

어떤 함수 $f_k(x)$를 다음과 같이 RBF 함수들의 선형 결합 형태로 근사시키는 모델

• RBF망의 학습
  • 오차 함수 E
  • 경사 하강법 사용: 가중치 결정
  • 부류 별 군집화 결과를 사용한 기준벡터와 파라미터 초기화
    군집 중심 : 기준 벡터
    분산의 역수: 파라미터
• 예시