Hands-on Machine Learning with Keras

Scikit-learn 에서 제공하는 MNIST 데이터셋은 이미 train set 가 잘 섞여있어서 fold 를 나누기 용이함. SGD classifier 를 이용하여 5인 숫자와 5가 아닌 숫자를 구별하는 binary classification 문제를 먼저 풀어보자.

곱연산, 합연산을 수행하는 articial neuron 의 등장입력과 출력이 어떤 숫자이고, 각각의 입력 연결은 가중치와 연관되어 있음.가중치의 합을 계산하고 이에 step function 을 적용하여 결과를 출력. $$h_w(x) = step(z), z = X^Tw$

신경망의 위쪽으로 갈수록 층을 지날 때마다 분산이 계속 커져 가장 높은 층에서는 활성화 함수가 0이나 1로 수렴함.예시: logistic regression 에서 입력이 커지면 0이나 1로 수렴해서 기울기가 거의 0에 가까워지기 때문에 이 거의 없는 gradient 가

시각 피질 안의 각 뉴런들은 일부 범위 안에 있는 시각 자극에만 반응한다 !각 뉴런들의 receptive field 가 합쳐져서 우리 눈에 보이는 전체 시야를 감싸게 된다.어떤 뉴런은 수평선에 반응하고 어떤 뉴런은 다른 각도의 라인에 반응한다.