
์ ์ถ๋ ฅ ์์ ๊ธฐ๋ฐ์ผ๋ก input์ output์ ๋งคํ์ํค๋ ๊ธฐ๊ณํ์ตlabel๋ training data์์ ํจ์๋ฅผ ์ถ๋ก ํจregression : numerical value๋ฅผ ์์ธก (real number, continuous number)classification :

์ต์๊ฐ(minimum)์ ๋ฟ์ ๋๊น์ง J(์ธํ) (== ๋น์ฉํจ์)๊ฐ ์์์ง๋ ๋ฐฉํฅ์ผ๋ก ํ๋ผ๋ฏธํฐ๋ฅผ ๊ณ์ํด์ ๋ฐ๊ฟ๋๊ฐ๋ ๊ฒ๐จ ์ฃผ์: ๋ฐ๋์ global minimum point๋ก ๊ฐ๋ ๊ฒ์ด ์๋๋ผ local min์ผ๋ก ๋น ์ง ์๋ ์์ => strating point ์ค์

์ ํ ํ๊ท 2๊ฐ ์ด์์(multivariate) ๋ ๋ฆฝ๋ณ์๋ฅผ ๊ฒฝ์ฌํ๊ฐ๋ฒ์ ์ต์ ์ ๊ณฑ ๋ฐฉ๋ฒ์ ํ์ฉํด ์ต์ ํํ๋ ๊ฒ > - ์ต์ ํ๋ฅผ ์ํด cost function์ ๊ฐ individual weight(parameter)๋ก ๋ฏธ๋ถํจ > - Learning algor

traget ๋ณ์๊ฐ category(๋ฒ์ฃผํ) ์ผ๋ ์ฌ์ฉ๋๋ classification(๋ถ๋ฅ) ์๊ณ ๋ฆฌ์ฆbinary output์ผ ๋ ์ฌ์ฉ => 0 or 1๋ง์ฝ threshold๊ฐ 0.5๋ณด๋ค ๋ด๋ ค๊ฐ๋ฉด? -> class 1๋ก ์์ธก๋๋ ๊ฒฝ์ฐ ๅค=> Conservative de

bias : ๊ฐ ๋ด๋ฐ์ ์ถ๊ฐ๋๋ ๊ฐ (ex. ์ฌ์ง์์๋ 1)neural network๊ฐ ํ์ตํ๋ ๋์ weight์ ํจ๊ป ํ์ต๋๋ฉฐ, activation function์ด ์ ์ฉ๋๊ธฐ ์ ์ ์ ๋ ฅ์ ์กฐ์ ํ๋ ์ญํ ์ ํจDendrite: ๋ค๋ฅธ ๋ด๋ฐ์ผ๋ก๋ถํฐ ์ ํธ ์์ (input

Activation functions ๊ธฐ๋ณธ ํน์ง (must) Non-Linear -> ๋น์ ํ์ฑ (must) differentiable -> ๋ฏธ๋ถ ๊ฐ๋ฅํด์ผํจ zero-centered bounded bounded x์ด๋ฉด, positi

input x๋ u(h(x))์ ์ฐ๊ฒฐ, u๋ g(u)์ ์ฐ๊ฒฐ, g(u)๋ output y์ ์ฐ๊ฒฐ๋์ด ์์ Chain Rule: ํฉ์ฑํจ์์ ๋ฏธ๋ถ == ํฉ์ฑํจ์๋ฅผ ๊ตฌ์ฑํ๋ ๊ฐ ํจ์์ ๋ฏธ๋ถ(partial derivative==ํธ๋ฏธ๋ถ)์ ๊ณฑ=> Backpropagation์

MNIST dataset == Mixed National Institute of Standards and Technology์ datasetMNIST์ ์ซ์ ๋ถ๋ฅ๋ ๋จธ์ ๋ฌ๋์ ๊ธฐ์ด!Yann LeCun์ด ๊ด๋ฆฌํจ0-9์ ์๊ธ์จ ์ซ์(handwritten digit) ์ธ์์ด