-NN: 뉴런들과 뉴런들을 연결하는 링크 구조
-Unit: 입력 함수(각각의 입력 * 가중치) -> 활성 함수(입력 함수) -> output
Activation function g
-hard threshold: Trehshold Unit(Perceptron)
-logistic function: Sigmoid Unit
-뉴런 하나는 곧 하나의 직선함수, 여러 개를 연결하면 신경망이 됨
Network structure
-Feed Forward Network: 입력에서 출력까지 앞으로 전달되는 방식 / 완전 연결(하나의 입력이 다음 계층의 모든 뉴런에 연결되어 있음, fully connected)
-Recurrent Network: 순환 구조, 출력이 앞으로만 전달되는 것이 아니라 앞으로 갈 수 있는 경우, 이전에 있던 정보를 기반하는 성질을 가짐
Multilayer feed-forward neural networks (다 계층 신경망)
-비선형 결정 경계를 찾을 수 있음
-layer가 깊어질수록 데이터는 더 비선형적으로 복잡하게 만들어짐
Backpropagation Algorithm(역-전파 알고리즘)
-간단하게 말해 입력 순-전파와 오류 역-전파의 반복
-난수로 가중치 초기화
-입력 계층에 신호 입력 -> 입력 신호 순-전파 -> 출력 계층(출력 예측치)에서 오류 계산
-오류 역-전파: 5,6에서 나온 오류를 통해 3,4의 오류가 얼마인지를 계산하는 방법 / 5에서 발생하는 오차는 3,4에게도 책임이 있음 -> 5에서 오류를 나누어줄때도 가중치를 나눠서 줌(3: w3,5 , 4: w4,5)
-각각의 오차만 있으면 공식에서 각 뉴런들은 독자적으로 weight를 고치는 공식을 적용할 수 있음 -> 가중치 갱신