
[Linear Classifiers] 10 numbers giving class scores 이기에 f(x,W) 크기는 (10,) 이다. > - Weight x image + b(10, ) size: (10, 3072) x (3072, ) + (10, ) 모델이 b

f (x, W) = Wx + b x는 이미지이기 때문에 불변한다. 따라서 최적의 W를 찾는 것이 중요하다. [Cross-entropy Loss] 모델이 좋은 지 나쁜 지의 기준점 model이 안 좋다 -> loss가 크다. model이 좋다. -> loss가 작다.

[Overfitting] 앞의 게시물에서 hidden layer의 크기가 너무 커서 말의 머리가 두개인 문제가 발생했다. hidden layer의 크기가 크다 = model이 크다. 관련된 예제그림을 살펴본다. 3) over-fitting: loss가 엄청 적기 때

Pooling and batch normalization EX1) 1 X 1 Convolution 이전에는 지역적 특성(locality)를 보기 위해 주변 3개의 pixel, 5개의 pixel 이렇게 살펴보았다. 1 X 1 Conv는 한 pixel만 본다는 뜻으로