> 이 글은 스탠퍼드대학교 Andrew Ng 교수님의 강의를 수강한 것을 토대로 작성한 글입니다

📌 Neural Networks

• 
  Dendrite(수상돌기)에 입력이 들어오면 Nucleus(핵)에서 처리한 후 Axon으로 결과가 다음 Neuron으로 전달

📌 Model representation

신경망 모델

• 단일 신경망 모델

  • 각 입력 x1, x2 x3에 대해 theta를 wieght가중치라고 함
    

• 다중 신경망 모델

  • Layer1 = Input layer
  • Layer2 = Hidden layer
  • Layer3 = Output layer
    

• 용어
  

• 계산식
  

1. 백터로 표현
   
2. 일반화
   
3. 1 ~ j의 layer가 존재하면, Hypothesis Function h는 다음과 같다
   

Simple Example 1 : AND Gate

입력 = x1, x2 각각 1 또는 0
출력 =

• x1, x2가 모두 1인 경우 -> 1
• 나머지 경우 -> 0

가중치 = bias부터 순서대로 -30, 20, 20
Output layer의 입력 = -30 + 20 x1 + 20 x2
출력 = Sigmoid function -> h(x) = g ( -30 + 20 x 1 + 20 x 2 )

Simple Example 2 : NOT Gate

입력 = x1
출력 = x1과 반대되는 값

Simple Example 3 : XNOR Gate

입력 = x1, x2 각각 1 또는 0
출력 =

• x1, x2가 모두 0 또는 1인 경우 -> 1
• 나머지 경우 -> 0

XNOR : Hidden Layer까지 총 3개의 layer가 사용되고 있음

• Hidden layer

  1. 빨간 색 AND 연산
  2. 각 unit의 입력 = 푸른 색 (NOT x 1) AND (NOT x 2) 연산
  3. 입력 = OR 연산

• 빨간색 노드 : AND연산 -> 하늘색 노드 : NOT을 취한 후 AND연산
  이 두 노드를 OR연산 -> XNOR

📌 Multiclass Classification

다중 클래스 분류 문제 해결 -> one vs all 의 확장 기법 이용

보행자, 자동차, 오토바이, 트럭
-> 4가지의 출력을 원한다면 출력레이어를 4차원 벡터 설정

각각을 다음과같이 셋팅한 후 계산
-> 보행자 = [1,0,0,0], 차 = [0,1,0,0], 오토바이 = [0,0,1,0], 트럭 = [0,0,0,1]