신경망

Perceptron

• 뉴런의 모양에서 영감을 받아 신호 처리를 구현한 모양

퍼셉트론의 연산

• 입력되는 각 값에 특정한 가중치 w를 곱하고 이들을 더한다.
• 기본적인 퍼셉트론은 최종 결과를 0, 1 로 처리 (활성화 / 비활성화)
  => 연산의 결과가 threshold 를 넘는가를 기준으로 처리
  => threshold 에 음수를 취한 후 이항 (bias)
• bias 가 너무 크다면 x 의 값이 조금만 커져도 1로 처리
  => bias 를 sensitivity 라고도 한다

Multi Layer Perceptron

SLP 와 MLP 비교

• AND, NAND, OR 등의 논리 게이트를 하나의 퍼셉트론으로 구현할 수 있다.
  
• 하나의 퍼셉트론으로 결과를 낼 수 있는 경우를 단층 퍼셉트론이라고 한다.
• 이와 달리, XOR 는 하나의 퍼셉트론으로 구현이 불가능하다.
  
• 단층 퍼셉트론을 쌓아 특정 일을 수행하는 구조를 MLP 라고 한다.

  MLP 는 선형적으로 해결하지 못하는 문제를 비선형적으로 해결

신경망 구조

• 신경망의 구조는 크게 세 부분으로 이루어진다

1. 데이터를 입력 받는 입력층
2. 입력된 데이터를 계산하는 은닉층
   => 해석 불가능
3. 계산 결과로 예측을 수행하는 출력층
   => 결과에 대한 해석 가능

• 사람이 볼 수 있는 건 입력값 x 와 출력값 y

• 입력이 N x M 행렬일 때, 첫 번째 은닉층은 M x K (K 는 node 갯수)
• 은닉충에서 각 feature 마다 가중치가 부여되어 가중합 연산 수행
• 출력층에는 분류하고자 하는 클래스 만큼의 뉴런이 있어야 한다.
  => 은닉층의 뉴런 갯수는 조절 가능 (hyperparameter)

Batch

• 데이터를 하나씩 신경망에 통과시키면 시간이 너무 오래 걸린다
• 이를 방지하기 위해, batch 라는 데이터 묶음을 전달한다.