- Non-linear classification -> Polynomial로 풀지 못함
-> feature 수가 너무 많아짐
- Neurons and the brain
- One learning algorithm
: 뇌가 하나의 일반적인 학습 알고리즘을 사용해 다양한 종류의 학습을 수행한다는 아이디어를 제안함
-> 인간이 감각, 운동, 언어 등 여러 분야에서 다양한 학습을 할 수 있는 것은 서로 다른 메커니즘이 아닌, 하나의 공통된 학습 알고리즘이 다양한 입력과 상황에 적용되기 때문
< Sensor representations in the brain>
- seeing with your tongue
- Human echolocation (sonar)
- Haptic belt: Direction sense
- Implanting a 3rd eye
- Model representation 1
- Neuron in the brain
- Neuron model: Logistic unit
< 비선형 함수인 Sigmoid activation function을 사용하는 이유>
: 여러 층의 신경망이 간단한 선형 문제뿐만 아니라 복잡한 비선형 문제도 해결할 수 있음
: 은닉층에 비선형 함수를 사용하지 않으면, 여러 층을 쌓더라도 신경망 전체는 여전히 하나의 선형 함수처럼 작동하기 때문에, 각 레이어마다 비선형 함수를 사용해야 각 은닉층이 새로운 표현을 학습할 수 있음
: 선형 모델은 데이터의 구분을 직선으로만 수행할 수 있지만, 비선형성을 통해 곡선 또는 복잡한 형태의 Decision boundary를 학습할 수 있음
-> 위쪽에는 layer 번호를 표기
-> theta 아래에는 도착 노드, 출발 노드 번호를 차례대로 표기
-> R: 출력층 노드 수 x 입력층 노드 수(bias term 포함해야 함 + 1! 주의)
- Model representation 2
- Forward propagation: Vectorized implementation
- Neural Network learning its own features
- Other network architectures
-> Multi-class의 경우 class 개수만큼 output layer의 node 개수 증가시킴
- Examples and intuitions 1
- Non-linear classification : XOR/XNOR
-> 두 값이 같아야 true이거나 두 값이 달라야 true임
- Simple example: AND
- OR function
- Examples and intuitions 2
- Not function
- XNOR
-> AND + (NOT)AND(NOT) + OR 세 가지를 합침
- Multi-class classification
- One-Hot vector
: 주어진 범주 집합에 대해, 하나의 범주만을 1로 표시하고 나머지는 모두 0으로 표시하는 벡터
