[TIL] ๋ฏธ๋ถ„

ํ‚คํ‚คยท2021๋…„ 9์›” 14์ผ
0

TIL

๋ชฉ๋ก ๋ณด๊ธฐ
3/19
post-thumbnail

๐Ÿ’—์˜ค๋Š˜ ๋ฐฐ์šด๊ฒƒ๋“ค

scipy๋ฅผ ํ™œ์šฉํ•œ ๋ฏธ๋ถ„

from scipy.misc import derivative
def f(x):
    return x**3 + x**2
derivative(f, 1.0, dx=1e-6)

๐Ÿ“Ždocs.scipy

sigmoid ํ•จ์ˆ˜

๐Ÿ“ŽSigmoid ํ•จ์ˆ˜ ๋ฏธ๋ถ„ ์ •๋ฆฌ: ์ˆ˜ํ•™์  ์ •๋ฆฌ
๐Ÿ“ŽDerivative of Sigmoid - ์‹œ๊ทธ๋ชจ์ด๋“œ ๋ฏธ๋ถ„ ํ•จ์ˆ˜: numpy ๊ตฌํ˜„

๊ฒฝ์‚ฌํ•˜๊ฐ•๋ฒ• ์šฉ์–ด

iteration: ๊ณ„์‚ฐ, ์ปดํ“จํ„ฐ ์ ˆ์ฐจ์˜ ๋ฐ˜๋ณต
์ „์ฒด ๋ฐ์ดํ„ฐ๋ฅผ ๋ชจ๋ธ์— ํ•œ ๋ฒˆ ํ•™์Šต์‹œํ‚ค๋Š”๋ฐ ํ•„์š”ํ•œ ๋ฐฐ์น˜์˜ ์ˆ˜
๊ฐ ๋ฐฐ์น˜๋งˆ๋‹ค ํŒŒ๋ผ๋ฏธํ„ฐ ์—…๋ฐ์ดํŠธ๊ฐ€ ์ด๋ค„์ง€๋ฏ€๋กœ, ๋ฐฐ์น˜์˜ ์ˆ˜ = ํŒŒ๋ผ๋ฏธํ„ฐ ์—…๋ฐ์ดํŠธ ํšŸ์ˆ˜

epoch: ๋ชจ๋“  ๋ฐ์ดํ„ฐ๋“ค์ด ๋ชจ๋ธ์„ ํ†ต๊ณผํ•œ ํšŸ์ˆ˜
1 epoch๋Š” ์ „์ฒด ํ•™์Šต ๋ฐ์ดํ„ฐ์…‹์ด ํ•œ ์‹ ๊ฒฝ๋ง์„ ํ•œ ๋ฒˆ ํ†ต๊ณผํ–ˆ๋‹ค๋Š” ์˜๋ฏธ
์ง€๋‚˜์น˜๊ฒŒ epoch๋ฅผ ๋†’์ผ ๊ฒฝ์šฐ, ๊ณผ์ ํ•ฉ ์œ„ํ—˜

๐Ÿ“Ž๊ฒฝ์‚ฌํ•˜๊ฐ•๋ฒ• ์ •๋ฆฌ ์ž๋ฃŒ

๋ชจ๋ธ ๋Œ๋ฆด ๋•Œ ๊ฒฐ๊ณผ ๊ฐ’์ด ๋‹ฌ๋ผ์งˆ ๋•Œ

-> seed๋กœ ์‹œ์ž‘์  ๊ฒฐ์ •
random.randn() ์„ค์ • ์‹œ ์‹œ์ž‘์„ ๋ฌด์ž‘์œ„๋กœ ํ•จ
๋ฐ์ดํ„ฐ ๋ถ„์„ํ•  ๋•Œ์—๋„ ๋ฌด์ž‘์œ„๋กœ ๋ฐ์ดํ„ฐ๋ฅผ ์ถ”์ถœํ•˜๊ธฐ ๋•Œ๋ฌธ์— seed๋ฅผ ์ง€์ •ํ•ด์ฃผ์–ด์•ผ ํ•จ

๐Ÿคทโ€โ™€๏ธ๋ชจ๋ฅด๋Š” ๊ฒƒ๋“ค

scipy derivative๋ฅผ ์‚ฌ์šฉํ•œ ํŽธ๋ฏธ๋ถ„

โ“scipy.misc.derivative for multiple argument function - ์Šคํƒ์˜ค๋ฒ„ํ”Œ๋กœ์šฐ

def f(p1, p2):
  return (np.exp(1)*p1 - p2)**2 + 50*p2

๋ณ€์ˆ˜๊ฐ€ 2๊ฐœ์ธ ํ•จ์ˆ˜ ์„ ์–ธํ•˜๊ณ ,

์ด๊ฑธ๋กœ derivative(f,?,dx=1e-5) ๊ตฌํ• ๋ ค๋Š”๋ฐ ๋ณ€์ˆ˜๊ฐ€ 2๊ฐœ๋ผ ?์— ๋ญ๊ฐ€ ๋“ค์–ด๊ฐˆ์ง€ ๋ชจ๋ฅด๊ฒ ๋‹ค.

0๊ฐœ์˜ ๋Œ“๊ธ€