Section 1/ Wrap-up+1์ฃผ ํšŒ๊ณ 

dot_triggerยท2021๋…„ 9์›” 15์ผ
1

๐Ÿš€:์ถ”๊ฐ€๋กœ ๊ณต๋ถ€ํ•ด์„œ ์ฑ„์›Œ ๋†“์„ ๊ฒƒ๋“ค.

๐Ÿ”” EDA

-์ผ๋‹จ ๋ฐ์ดํ„ฐ๋ฅผ ๊นจ๋—ํ•˜๊ฒŒ ํ•œ๋‹ค. :์ฒซ๋‹จ๊ณ„

  • pandas

    ๋ฐ์ดํ„ฐ ํ”„๋ ˆ์ž„์—๋Š” ํ•ญ์ƒ ์ธ๋ฑ์Šค๊ฐ€ ์žˆ์–ด์•ผ ํ•œ๋‹ค.
    ๐Ÿ’›๊ณต๋ถ€ํ•  ๋•Œ ๊ณต์‹ documentation ํ™•์ธํ•˜๊ธฐ
    Tip: Toy data๋ฅผ ๋ฌธ์„œ์—์„œ ๊ฐ€์ ธ์™€์„œ ๋”ฐ๋ผ ์“ฐ๋ฉด์„œ ๊ณต๋ถ€ํ•˜๊ธฐ

ํŠœํ”Œ

ํ–‰x๋ ฌ / df.shape #[4,25]-> ๋ฆฌ์ŠคํŠธ
(4,25)-> ํŠœํ”Œ ํ˜•ํƒœ

๐Ÿš€ํŠœํ”Œ๊ณผ ๋ฆฌ์ŠคํŠธ์˜ ์ฐจ์ด์ ์€?

ํŠœํ”Œ: ๋ณ€๊ฒฝ ๋ถˆ๊ฐ€ :์žฅ์ - ์•ˆ์ •์„ฑ, ๊ณ ์ •๋˜์–ด์žˆ๋‹ค.

?(๋‚œ ์ž˜๋ชจ๋ฅด๊ฒ ๋‹ค.)

์ธ๋ฑ์Šค๊ฐ€ ์—†์œผ๋ฉด ์ธ๋ฑ์Šค๋ฅผ ์ˆจ๊ธด๊ฑฐ๋‹ค.

Q-Q Plot

์šฐ๋ฆฌ๊ฐ€ ๊ฐ€์ง€๊ณ  ์žˆ๋Š” ๋ฐ์ดํ„ฐ์˜ ๋ถ„ํฌ๊ฐ€ ์–ด๋–ป๊ฒŒ ์ƒ๊ฒผ๋Š”์ง€ ์•Œ ์ˆ˜ ์žˆ๋‹ค. (๋‹ค์–‘ํ•œ ์‹œ๊ฐํ™” ์ค‘ ํ•˜๋‚˜)

Feature Engineering

object: str
int:์ •์ˆ˜
float:์‹ค์ˆ˜ / (floating point,๋ถ€๋™์†Œ์ˆ˜์ ์ด๋ผ๊ณ  ๋ฐฐ์›Œ์„œ ํ—ท๊ฐˆ๋ ธ๋‹ค.)

replace(',','') : ,๋ฅผ ์—†์• ๋ผ

Q:์ €๋„ ์‹œ๊ฐํ™” ์งˆ๋ฌธ์žˆ์Šต๋‹ˆ๋‹ค! ์‹œ๊ฐํ™” document ์˜ˆ์ œ๋ฅผ ๋ณด๋˜ ์ค‘ fig์™€ ax๋ฅผ ๋‚˜๋ˆ ์„œ ์“ฐ๋Š”๋ฐ ๊ทธ ์ด์œ ๊ฐ€ ์žˆ์„๊นŒ์š”

๐Ÿš€๋‚œ ์ด๊ฒŒ ๋ญ”์ง€ ๋ชจ๋ฅด๊ฒ ๋‹ค...(๋ณ„)

axis=1 ๊ณผ axis=0 ์˜†์œผ๋กœ ํ•ฉ์น˜๋ƒ ๋ฐ‘์œผ๋กœ ํ•ฉ์น˜๋ƒ

๐Ÿš€Q:์˜ค๋Š˜ ์Šคํ”„๋ฆฐํŠธ ํ•˜๋ฉด์„œ ๋Š๊ผˆ๋Š”๋ฐ ๊ณต์‹ ๋ฌธ์„œ์—์„œ๋Š” ์ง์ ‘ ๋ฐ์ดํ„ฐํ”„๋ ˆ์ž„์„ ํƒ€์ž…ํ•œ๊ฑฐ๋ผ์„œ url์„ ๋ถˆ๋Ÿฌ์™€์„œ ๋ฐ์ดํ„ฐ๋ฅผ ์ž…๋ ฅํ•œ๊ฑฐ๋ž‘ ์ฐจ์ด๊ฐ€ ์žˆ์–ด์„œ ๊ทธ๋Œ€๋กœ ๋”ฐ๋ผํ•˜๋Š”๋ฐ ์—๋Ÿฌ๊ฐ€ ์žˆ์—ˆ๋‹ค. ์ด๋ถ€๋ถ„ ํ•ด๊ฒฐํ•˜๊ธฐ.


Thanks to ๋™๊ธฐ๋‹˜ ๐Ÿ‘

Gradient descent

Cost function์€ ์˜ค์ฐจ๋ฅผ ์ตœ์†Œํ™”ํ•˜๊ธฐ์œ„ํ•ด์„œ ์‚ฌ์šฉ, ๊ทธ๊ฑธ ๋ฏธ๋ถ„์œผ๋กœ ํ•จ.
๊ทธ๊ฒŒ gradient descent. cost function์€ ๊ทธ๋žœ๋“œ์บ๋‹ˆ์€์˜ ์‚ฐ์ด๋ผ๊ณ  ์ƒ๊ฐํ•˜๋ฉด ์ข‹์Œ. ์šฐ๋ฆฌ๋Š” gm์„ ์ฐพ๊ธฐ ์œ„ํ•ด ๋ฏธ๋ถ„.

Q:๊ฒฝ์‚ฌํ•˜๊ฐ•๋ฒ•์—์„œ 0๊ฐ€ ๋˜๋Š” ์ง€์ ์ด ์•„๋ž˜๋กœ ๋ณผ๋กํ•œ ์ตœ์†Œ์ ์ด๋ž‘ ์œ„๋กœ ๋ณผ๋กํ•œ ์ตœ๋Œ€์ ์ด ๋˜๋Š” 0์ง€์ ์ด ์žˆ๋Š”๋ฐ ์ด๊ฒƒ๋„ ๊ตฌ๋ถ„์ด ๊ฐ€๋Šฅํ•œ๊ฐ€์š”?

+1์ฃผ ํšŒ๊ณ 

์‚ฌ์‹ค ๊ณผ์ • ์•ˆ์—์„œ ๊ฐ™์ด ํ”„๋กœ์ ํŠธ๋„ ํ•ด์•ผํ•˜๊ณ , ์•ฝ 50๋ช…์˜ ๋ชจ๋ฅด๋Š” ์‚ฌ๋žŒ๋“ค ์•ž์—์„œ ๋‚˜์˜ ์กฐ๊ทธ๋งฃ๊ณ  ์†Œ์ค‘ํ•œ ์ง€์‹๊ณผ ๋ฐฉ๋Œ€ํ•œ ๋ฌด์ง€๋ฅผ ๋“œ๋Ÿฌ๋‚ด๋Š”๊ฑด ๋งŽ์ด ๋ถ€๋„๋Ÿฌ์› ๋‹ค. ๊ทธ๋ž˜์„œ ์•„๋ฌด๋ฆฌ ๊ตฌ๊ธ€๋งํ•ด๋„ ๋‚˜์˜ค์ง€ ์•Š๋Š” EX) ์˜คํƒ€๋‚˜ ์‚ฌ์†Œํ•œ ๋ฌธ์ œ ๋“ฑ์„ 3์‹œ๊ฐ„ ๋™์•ˆ ๋“ค๊ณ  ํ˜ผ์ž ๋™๋™ ์•“๊ณ ๋งŒ ์žˆ์—ˆ๋‹ค.

๋‚˜๋Š” ์ด์ œ ์‹œ์ž‘์ด๊ณ , ๋ชจ๋ฅด๋Š”๊ฒŒ ๋งŽ๋‹ค๋Š” ๊ฒƒ์€ ๊ทธ๋งŒํผ ์„ฑ์žฅํ•  ํญ์ด ๋‚จ๋ณด๋‹ค ํฌ๋‹ค๋Š” ๊ฑด๋ฐ, ์™œ ์ด๋ ‡๊ฒŒ ๋ถ€๋„๋Ÿฌ์šด์ง€ ๋ชจ๋ฅด๊ฒ ๋‹ค.

'๋„˜์–ด์ง€๋Š” ๊ฑด ๋ถ€๋„๋Ÿฝ์ง€๋งŒ ๋„์›€์ด ๋œ๋‹ค.'
(๋ฐ”์Šคํ‚ค์•„์˜ ์ผํ™”์—์„œ ๋”ฐ์˜จ ํ•œ ๊ต๋ณด๋ฌธ๊ณ  ์ „์‹œ ์ด๋ฆ„)

ๅญๆ›ฐ, ็”ฑ, ่ชจๆฑ็Ÿฅไน‹ไนŽ. ็Ÿฅไน‹็ˆฒ็Ÿฅไน‹ ไธ็Ÿฅ็ˆฒไธ็Ÿฅ ๆ˜ฏ็ŸฅไนŸ.
๊ณต์ž ์™ˆ, "์ž๋กœ์•ผ, ๋„ค๊ฒŒ ์•ˆ๋‹ค๋Š” ๊ฒƒ์ด ๋ฌด์—‡์ธ์ง€ ๊ฐ€๋ฅด์ณ์ฃผ๋งˆ.
์•„๋Š” ๊ฒƒ์„ ์•ˆ๋‹ค๊ณ  ํ•˜๊ณ  ๋ชจ๋ฅด๋Š” ๊ฒƒ์„ ๋ชจ๋ฅธ๋‹ค๊ณ  ํ•˜๋Š” ๊ฒƒ์ด ์ง„์ • ์•„๋Š” ๊ฒƒ์ด๋‹ค."

๋„ˆ๋ฌด ๊ธฐ์ดˆ์ ์ธ ๊ฒƒ ๊ฐ™์•„ ๋ชฐ๋ผ๋„ ์•ˆ๋‹ค๊ณ  ํ•˜๊ณ  ์‹ถ์€ ์ˆœ๊ฐ„๋“ค์ด ์ •๋ง ๋งŽ๋‹ค.
ํ•˜์ง€๋งŒ ๋ชจ๋ฅด๋Š” ๊ฑด ํŒฉํŠธ๋‹ˆ๊นŒ, ๊ทธ๋Ÿผ ๋‹ค์Œ์— ๊ทธ ์•„๋Š”์ฒด๊ฐ€ ํŠ€์–ด๋‚˜์™€์„œ ๋„ค ๋ฐœ๋ชฉ์„ ๋ถ™์žก์„ ๊ฑฐ๋ผ๋Š” ๊ฑธ ์žŠ์ง€๋ง๊ณ  ๋ชจ๋ฅด๋ฉด ๋ชจ๋ฅธ๋‹ค๊ณ  ํ•˜๊ณ  ๋ฐฐ์šฐ์ž!

์‚ฌ์‹ค ์ด ๋ถ€ํŠธ์บ ํ”„์— ๋‚˜๋ฅผ ๋ฝ๋‚ด๋Ÿฌ ์˜จ ๊ฒƒ์ด ์•„๋‹ˆ๋ผ, ์–ด๋–ป๊ฒŒ๋“  ๋ฐฐ์šฐ๋ ค๊ณ  ์˜จ ๊ฒƒ์ด๋‹ˆ๊นŒ. ์–ด๋–ป๊ฒŒ๋“  ์•…์ฐฉ๊ฐ™์ด ์ฐพ์•„๋ณด๊ณ  ๋ฌผ์–ด๋ณด๊ณ  ํ•ด์„œ ๋‚˜์˜ ์—ญ๋Ÿ‰์„ ์ฆ์ง„ ์‹œํ‚ค๋„๋ก ํ•ด์•ผ๊ฒ ๋‹ค. ๋‚˜๋Š” ์ „์— ํ•ด์˜จ ๋‹ค๋ฅธ ๋ฒ ์ด์Šค๊ฐ€ ์žˆ์œผ๋‹ˆ๊นŒ, ์‹œ๋„ˆ์ง€๊ฐ€ ์žˆ์„๊ฑฐ์•ผ. ๐ŸŒŸ

profile
๊ฐœ(๋ฐœ)๋ฆฐ์ด

0๊ฐœ์˜ ๋Œ“๊ธ€