[미래연구소] 딥러닝 스터디 17기 week 3

http://futurelab.creatorlink.net/

Neural Network에서 hidden layer node의 증가

2주차에서는 hidden layer의 node가 하나인 경우만을 다뤘다. 3주차에서는 hidden layer의 node가 여러개인 경우로 확장해 공부하기로 한다.

hidden layer의 node가 여러개인 경우는 다음과 같다.

• O : node
• O : layer
  O
  O
• -> : weight, bias (parameter)

parameter : weight, bias
hyper parameter : step-size, hidden layer 노드의 개수, hidden layer 자체의 개수

hidden layer의 개수나 hidden layer 노드의 개수는 조정 가능하며, 이러한 하이퍼 파라미터를 조정함으로써 모델의 성능을 높일 수 있다.
그러나, input layer의 노드의 개수는 데이터의 피처의 개수로, output layer의 노드의 개수는 label값이 binary, multi classification, regression에 따라 노드의 개수를 맞추며, 이미 정해져 있는 것이다.

hidden layer node의 개수가 늘어남에 따라 vector였던 weight값들은 matrix가 된다.

• $W[k]$.shape = ( # of k번째 node,$\quad$k-1번째 layer의 node의 개수 )
• $b[k]$.shape = ( # of k번째 node, 1)
• $Z[k]$.shape = $W[k]$ x $Z[k-1]$ + $b[k]$ = (# of k layer node, m)