๐Ÿ–จ '์›น ํฌ๋กค๋Ÿฌ' ์ข€ ๊ทธ๋งŒ ๋งŒ๋“ค์–ด๋ผ

๋ชจ๋นˆ์ผˆยท2020๋…„ 5์›” 1์ผ
506
post-thumbnail

๐Ÿšจ ์ฃผ์˜: ์ด ํฌ์ŠคํŠธ๋Š” ๋ฏผ๊ฐํ•œ ๋‚ด์šฉ์„ ํฌํ•จํ•˜๊ณ  ์žˆ์Šต๋‹ˆ๋‹ค. ์š•์„ค์ด ๋“ฑ์žฅํ•˜๋ฏ€๋กœ ์ฃผ์˜ ํ•ด ์ฃผ์„ธ์š”.

๐Ÿคฌ ์ฃผ์˜ : ์š•์„ค ๋ ˆ๋ฒจ 2์— ํ•ด๋‹นํ•˜๋Š” ๋ฌธ์„œ์ž…๋‹ˆ๋‹ค. ๋‹ค์†Œ ๋ถˆ์พŒ ํ•  ์ˆ˜ ์žˆ์Šต๋‹ˆ๋‹ค.

๐Ÿ˜  ๋ฌด์Šจ ๋ง ํ• ๊ฑฐ๋ƒ?

๊ฑฐ์ฐฝํ•œ ์ด์•ผ๊ธฐ๋Š” ์•„๋‹ˆ๋‹ค. ์ธํ„ฐ๋„ท์— ์กด์žฌํ•˜๋Š” ์›น ํฌ๋กค๋Ÿฌ ๋˜๋Š” ์›น ํ”„๋ก ํ‹ฐ์–ด๋ผ๊ณ  ๋ถˆ๋ฆฌ์šฐ๋Š” ๊ฒƒ๋“ค์„ ๋งŒ๋“œ๋Š” ๋ฐฉ๋ฒ•๋“ค์„ ์ฝ๊ณ  ์ƒ๊ธด ๋‹ต๋‹ตํ•จ์„ ์ด๊ณณ์— ์กฐ๊ธˆ ํ„ธ์–ด ๋†“์œผ๋ ค๊ณ  ํ•œ๋‹ค.

์ธํ„ฐ๋„ท์— 'ํฌ๋กค๋Ÿฌ ๋งŒ๋“ค๊ธฐ'๋ฅผ ์ณค๋‹คํ•˜๋ฉด 90% ํ™•๋ฅ ๋กœ ํŒŒ์ด์ฌ์œผ๋กœ ํฌ๋กค๋Ÿฌ๋Š” ๋งŒ๋“œ๋Š” ๋ฐฉ๋ฒ•์— ๋Œ€ํ•ด ์ž˜ ์“ฐ์—ฌ์ง„ ๋ธ”๋กœ๊ทธ๊ฐ€ ์ˆ˜์‹ญ๊ฐœ์”ฉ ๊ฒ€์ƒ‰ ๊ฒฐ๊ณผ๋กœ ์šฐ์ˆ˜์ˆ˜ ๋–จ์–ด์ง€๊ณ  ๊ทธ ๋Œ€๋ถ€๋ถ„์ด Scrapy๋˜๋Š” ์…€๋ ˆ๋‹ˆ์›€, BeautifulSoup4 ๋“ฑ ์„ ์‚ฌ์šฉํ•ด์„œ ํŠน์ • ์›น ์‚ฌ์ดํŠธ์˜ ํŽ˜์ด์ง€๋ฅผ ๊ธ์–ด๋‚ด๋Š” ์ฝ”๋“œ๋ฅผ ์†Œ๊ฐœํ•˜๊ณ  ์žˆ๋‹ค.

๋Œ€๊ฒŒ '์–ด๋”” ์–ด๋”” ํŽ˜์ด์ง€๋ฅผ ๊ธ์–ด์„œ ๋ณ€๊ฒฝ ์‚ฌํ•ญ์„ ๊ฐ์ง€ํ•˜๊ณ  Telegram ์•Œ๋ฆผ๊นŒ์ง€ ์—ฐ๋™ ํ•ด ๋ด…์‹œ๋‹ค!' ์ •๋„์ด๋‹ค. ๊ทธ๋Ÿฌ๋‚˜ ์ด๊ฒƒ๋“ค์€ ํฌ๋กค๋Ÿฌ๋ผ๊ณ  ๋ณด๊ธฐ์—” ์–ด๋ ต๋‹ค. ๋Œ€๋ถ€๋ถ„์˜ ๋ธ”๋กœ๊ทธ๋“ค์ด '๋‚˜๋งŒ์˜ ์›น ํฌ๋กค๋Ÿฌ ๋งŒ๋“ค๊ธฐ' ๋”ฐ์œ„์˜ ์ œ๋ชฉ์œผ๋กœ ์‹œ์ž‘ํ•ด์„œ ์‹ฌ์ง€์–ด ์ฝ”๋“œ๋“ค์€ ์ฃ„๋‹ค ์„œ๋กœ ๋นผ๋‹ค ๋‹ฎ์•˜๊ณ  ํ‹€๋ฆฐ ์ฝ”๋“œ๋„ ์„œ๋กœ ๋ถ™์—ฌ ๋„ฃ์œผ๋ฉด์„œ ํฌ๋กค๋Ÿฌ๋ฅผ ๋งŒ๋“ค์–ด ๋ณด๋ผ๊ณ  ๋…๋ คํ•˜๊ณ  ์žˆ๋‹ค. ๊ฐ€์žฅ ํฐ ๋ฌธ์ œ์  ๋‘ ๊ฐ€์ง€๋งŒ ๊ผฝ์•„ ๋ณด๊ฒ ๋‹ค.

๐Ÿค” ์›น ํŽ˜์ด์ง€ ๋ช‡ ๊ฐœ ๊ธ๋Š” ๊ฑธ 'ํฌ๋กค๋Ÿฌ'๋ผ๊ณ  ํ•  ์ˆ˜ ์—†๋‹ค.

์›น ํฌ๋กค๋Ÿฌ๋ฅผ ๋‹จ์ˆœํ•œ ์ธํ„ฐ๋„ท ์žฅ๋‚œ๊ฐ ์ •๋„๋กœ ์ƒ๊ฐํ•˜๋Š” ์‚ฌ๋žŒ๋“ค์ด ๋งŽ๋‹ค. ๋‚˜๋งŒ์˜ ์ฝ”๋“œ๋กœ ๋‚˜๋งŒ์˜ ์•Œ๋ฆผ ๋กœ๋ด‡์„ ์ œ์ž‘ํ•˜๊ณ  ์†Œ๊ฐœํ•˜๋Š” ์ •๋„์— ๊ทธ์น˜๋Š” ๋ธ”๋กœ๊ทธ ๊ธ€๋“ค์ด ๋„ˆ๋ฌด๋‚˜๋„ ๋งŽ๊ธฐ ๋•Œ๋ฌธ์ด๋‹ค. 'ํฌ๋กค๋Ÿฌ' ๋˜๋Š” '์›น ํ”„๋ก ํ‹ฐ์–ด'๋ผ๊ณ  ๋ถˆ๋ฆฌ๋Š” ๊ฒƒ์€ ์˜ค๋žซ๋™์•ˆ ์—ฐ๊ตฌ๋œ ์ฃผ์ œ๊ณ  ์–ด๋–ป๊ฒŒ ํ•˜๋ฉด www์˜ ์ˆ˜์ฒœ ์ˆ˜๋ฐฑ๋งŒ๊ฐœ์˜ ์›น ํŽ˜์ด์ง€๋“ค์„ ์ž˜ ์ˆ˜์ง‘ ํ•  ์ˆ˜ ์žˆ์„๊นŒ์— ๋Œ€ํ•œ ๊ณ ๋ฏผ์ด๋‹ค.

๋‚ด๊ฐ€ ์›น ์ปจํ…์ธ  ํฌ๋กค๋ง์œผ๋กœ ๋ฐ•์‚ฌ ํ•™์œ„๋ผ๋„ ๋ฐ›์€ ๊ฒƒ๋„ ์•„๋‹ˆ๋ผ ๊ฐํžˆ ๋งํ•˜๋Š” ๊ฐœ์ธ์— ๋ถˆ๊ณผํ•˜์ง€๋งŒ ๋ฌด๋ถ„๋ณ„ํ•˜๊ฒŒ ๊ทธ์ € ๊ทธ๋Ÿฐ ์ฝ”๋“œ๋ฅผ ์ ๋‹นํžˆ ๋ธ”๋กœ๊ทธ์— ์˜ฌ๋ ค๋‘๊ณ  ํฌ๋กค๋Ÿฌ๋ผ๊ณ  ์†Œ๊ฐœํ•˜๋Š” ํ–‰์œ„๋Š” ์ฐธ์„ ์ˆ˜ ์—†์—ˆ๋‹ค. ์•„๋ž˜๋Š” ๊ตฌ๊ธ€์—์„œ ํฌ๋กค๋ง์„ ๊ฒ€์ƒ‰ ํ–ˆ์„ ๋•Œ ๋‚˜์˜ค๋Š” ํฌ๋กค๋Ÿฌ์˜ ๊ธฐ๋ณธ๊ณผ ๊ฐœ๋…์— ๋Œ€ํ•œ ์„ค๋ช…์ด๋‹ค. ๊ฐ€์žฅ ์‹ฌ๊ฐํ•˜๊ฒŒ ์ž˜๋ชป๋œ ๊ฐœ๋…์„ ์ „ํŒŒํ•˜๋Š” ๊ฒŒ์‹œ๊ธ€๋“ค์„ ๋ชจ์•˜๋‹ค.

ํฌ๋กค๋ง(crawling) ์ดํ•ด ๋ฐ ๊ธฐ๋ณธ, ํฌ๋กค๋ง(crawling) ์ด๋ž€?

- Web์ƒ์— ์กด์žฌํ•˜๋Š” Contents๋ฅผ ์ˆ˜์ง‘ํ•˜๋Š” ์ž‘์—… (ํ”„๋กœ๊ทธ๋ž˜๋ฐ์œผ๋กœ ์ž๋™ํ™” ๊ฐ€๋Šฅ)
- HTML ํŽ˜์ด์ง€๋ฅผ ๊ฐ€์ ธ์™€์„œ, HTML/CSS๋“ฑ์„ ํŒŒ์‹ฑํ•˜๊ณ , ํ•„์š”ํ•œ ๋ฐ์ดํ„ฐ๋งŒ ์ถ”์ถœํ•˜๋Š” ๊ธฐ๋ฒ•
- Open API(Rest API)๋ฅผ ์ œ๊ณตํ•˜๋Š” ์„œ๋น„์Šค์— Open API๋ฅผ ํ˜ธ์ถœํ•ด์„œ, ๋ฐ›์€ ๋ฐ์ดํ„ฐ ์ค‘ ํ•„์š”ํ•œ ๋ฐ์ดํ„ฐ๋งŒ ์ถ”์ถœํ•˜๋Š” ๊ธฐ๋ฒ•
- Selenium๋“ฑ ๋ธŒ๋ผ์šฐ์ €๋ฅผ ํ”„๋กœ๊ทธ๋ž˜๋ฐ์œผ๋กœ ์กฐ์ž‘ํ•ด์„œ, ํ•„์š”ํ•œ ๋ฐ์ดํ„ฐ๋งŒ ์ถ”์ถœํ•˜๋Š” ๊ธฐ๋ฒ•
Web crawling ?

- web crawling : ์ž๋™์ ์œผ๋กœ ํ™”๋ฉด์— ์žˆ๋Š” data๋ฅผ ๊ฐ€์ ธ์˜ค๋Š” ๊ฒƒ (์‹ค์‹œ๊ฐ„ ์—ฐ๋™, ์ž๋™์œผ๋กœ ์—…๋ฐ์ดํŠธ ๋จ)
- web scrapping : ์ž๋™ํ™” X / scrapping ํ•˜๋Š” ์‹œ์ ์—์„œ์˜ ๋ฐ์ดํ„ฐ๋งŒ ๊ฐ–๊ณ ์˜ค๊ธฐ!

 => ๋‘ ๊ฐ€์ง€ ๋ชจ๋‘ ์›น ์‚ฌ์ดํŠธ๋ฅผ ๋ถ„์„ํ•ด ์›ํ•˜๋Š” ๋ฐ์ดํ„ฐ๋ฅผ ์ถ”์ถœํ•˜๋Š” ๊ณผ์ •์ด๋‹ค.

ํฌ๋กค๋Ÿฌ์˜ ๊ฐœ๋…์— ๋Œ€ํ•ด์„œ ์ œ๋Œ€๋กœ ์„ค๋ช…ํ•˜์ง€ ๋ชปํ–ˆ๊ณ  ์™„์ „ํžˆ ํ‹€๋ฆฐ ์ˆ˜์ค€์˜ ๋ฌธ์žฅ๋„ ๋ณด์ธ๋‹ค. ํฌ๋กค๋ง์€ ๊ฒฐ์ฝ” Open API๋ฅผ ์ œ๊ณตํ•˜๋Š” ์„œ๋น„์Šค๋ฅผ ์‚ฌ์šฉํ•ด์„œ ๋งŒ๋“œ๋Š” ๊ฒƒ์ด ์•„๋‹ˆ๋‹ค. API๊ฐ€ ์—†์–ด์„œ ํฌ๋กค๋Ÿฌ๋ฅผ ๋ชป ๋งŒ๋“ ๋‹ค๋ฉด ๊ณผ์—ฐ SW ์—”์ง€๋‹ˆ์–ด๋ผ๊ณ  ํ•  ์ˆ˜ ์žˆ๋Š”๊ฐ€? ์ •๋ง ํฌ๋กค๋Ÿฌ๋ž€ ์…€๋ ˆ๋‹ˆ์›€์ด๋ž‘ Open API๋ฅผ ์‚ฌ์šฉํ•ด์„œ ๋งŒ๋“œ๋Š” ๊ฒƒ์ด๋ผ๊ณ ? ํฌ๋กค๋Ÿฌ๋Š” ์›น ์‚ฌ์ดํŠธ๋ฅผ ๋ถ„์„ํ•ด ์›ํ•˜๋Š” ๋ฐ์ดํ„ฐ๋ฅผ ์ถ”์ถœํ•˜๋Š” ๊ณผ์ •๋„ ์•„๋‹ˆ๋‹ค.

๋˜ ํฌ๋กค๋Ÿฌ๋Š” '์…€๋ ˆ๋‹ˆ์›€์„ ์จ์„œ ๋ฐ์ดํ„ฐ๋ฅผ ์ถ”์ถœ ํ•˜๋Š” ๊ฒƒ'์ด๋ผ๊ณ  ๋ณด๊ธฐ์—๋„ ์–ด๋ ต๋‹ค.์…€๋ ˆ๋‹ˆ์›€์ด ์—†์œผ๋ฉด ์–ด์ฉ” ๊ฑด๊ฐ€? API๊ฐ€ ์—†์œผ๋ฉด ์–ด์ฉ” ๊ฑด๊ฐ€? ๊ณง ๋ฐ”๋กœ BeautifulSoup4๋ฅผ ์‚ฌ์šฉํ•ด์„œ CSS ์…€๋ ‰ํŒ…์„ ํ•˜๋Š” ์ฝ”๋“œ๋ฅผ ์˜ฌ๋ ค ๋†“์•„์„œ ์‹ค๋งํ–ˆ๋‹ค.

๊ฐ์ข… ๋ธ”๋กœ๊ทธ์— ์†Œ๊ฐœ๋œ ํฌ๋กค๋Ÿฌ๋“ค์€ ๊ทธ๋ƒฅ ํ•œ ๋ฒˆ ์‹คํ–‰ํ•˜๋ฉด ๋๋‚˜๋Š” http request ์ •๋„์— ๋ถˆ๊ณผํ•˜๋‹ค. ๊ทธ ๋•Œ ๊ทธ ์ˆœ๊ฐ„์—๋งŒ ๋™์ž‘ํ•˜๊ณ  target ์›น ํŽ˜์ด์ง€์˜ DOM์ด ์กฐ๊ธˆ๋งŒ ๋ณ€๊ฒฝ๋˜์–ด๋„ ํž˜์„ ๋ชป ์“ฐ๋Š” ๋ณ‘์‹  ์ฝ”๋“œ๋กœ ์ „๋ฝํ•˜๊ณ  ๋งˆ๋Š” ๊ฒƒ์ด๋‹ค. ๊ทธ๋„ ๊ทธ๋Ÿด๊ฒƒ์ด ๋Œ€๋ถ€๋ถ„ ๊ฐœ๋ฐœ์ž ๋„๊ตฌ๋ฅผ ์—ด๊ณ  CSS selector๋ฅผ ๋ณต์‚ฌํ•˜๋ผ๊ณ  ์จ ๋†“๊ธฐ ๋•Œ๋ฌธ์ด๋‹ค.

ํŠนํžˆ '๋„ค์ด๋ฒ„ ๋‰ด์Šค ํฌ๋กค๋ง' ๋˜๋Š” '๋‹ค์Œ ๋‰ด์Šค ํฌ๋กค๋ง' ๋“ฑ์œผ๋กœ ๊ฒ€์ƒ‰ํ•ด์„œ ๋‚˜์˜ค๋Š” ๊ฒฐ๊ณผ๋“ค์€ ๊ทธ ์ค‘ ์ตœ์•…์ด๋ฉฐ ๋„ค์ด๋ฒ„๋‚˜ ๋‹ค์Œ์˜ ํŽ˜์ด์ง€ ๊ตฌ์กฐ๋Š” ์ฃผ๊ธฐ์ ์œผ๋กœ ๋ฐ”๋€Œ๋ฏ€๋กœ '์›น ํฌ๋กค๋Ÿฌ ๋งŒ๋“ค๊ธฐ 2020๋…„ ์ตœ์‹ ' ๋”ฐ์œ„์˜ ๋ธ”๋กœ๊ทธ ๊ธ€์ด ์„ค์น˜๋Š” ์ด์œ ๊ฐ€ ๋ฐ”๋กœ ์ด๊ฒƒ์ด๋‹ค.

๐Ÿค” ๊ทธ๋Ÿผ CSS selector๋ฅผ ์•ˆ ์“ฐ๊ณ  ๋Œ€์ฒด ์˜ค๋˜์ผ€ ๋ณธ๋ฌธ ๋ฐ์ดํ„ฐ๋ฅผ ๊ธ์ฃ ?!!

๋ผ๊ณ  ์ƒ๊ฐ ํ•˜๋Š” ๊ฐœ๋ฐœ์ž๊ฐ€ ์žˆ๋‹ค๋ฉด ์ง€๊ธˆ ๋‹น์žฅ ๋Œ€๊ฐ€๋ฆฌ ๋ฐ•๊ณ  ๋Œ€ํ•™๊ต๋กœ๊ฐ€์„œ ์•Œ๊ณ ๋ฆฌ์ฆ˜ ์ˆ˜์—…์„ ๋‹ค์‹œ ๋“ฃ๊ณ  ์˜ค๊ธธ ๋ฐ”๋ž€๋‹ค. CSS selector๋Š” ๋Œ€์ถฉ ์ƒ๊ฐํ•ด๋„ ์ „ํ˜€ ์šฐ์•„ํ•œ ๋ฐฉ๋ฒ•์ด ์•„๋‹ˆ๋‹ค. ๐Ÿ“Ž DOM based content extraction via text density ์—์„œ๋Š” ์–ด๋–ป๊ฒŒ ์›นํŽ˜์ด์ง€์˜ ๋ณธ๋ฌธ DOM์„ ์ฐพ์„ ์ˆ˜ ์žˆ๋Š”์ง€ ์†Œ๊ฐœํ•ด ์ฃผ๊ณ  ์žˆ๋‹ค.

๐Ÿ— ์›น ํฌ๋กค๋Ÿฌ ์•„ํ‚คํ…์ณ

๋‹ค์Œ์€ ๊ฐ„๋‹จํ•œ '์›น ํฌ๋กค๋Ÿฌ'์˜ ๊ตฌ์กฐ๋ฅผ ๋ณด์—ฌ์ฃผ๊ณ  ์žˆ๋‹ค.

๐Ÿงญ Fetcher, Parser, Frontier

์ผ๋‹จ Fetcher์™€ Parser, Frontier ์„ธ๊ฐ€์ง€๊ฐ€ ๋ณด์ธ๋‹ค. ๊ณผ์ •์„ ์ดํ•ดํ•˜๊ธฐ ์œ„ํ•ด์„œ๋Š” ๋จผ์ € Frontier๋ถ€ํ„ฐ ์‹œ์ž‘ํ•˜๋ฉด ์ข‹๋‹ค. ์ด ๋””์ง€๋ชฌ Frontier๊ฐ€ ๋จผ์ € ํƒ์ƒ‰ํ•  URL์„ Fetcher์—๊ฒŒ ๋„˜๊ฒจ ์ฃผ๋ฉด Fetcher๋Š” ํ•ด๋‹น ํŽ˜์ด์ง€์˜ html ๋‚ด์šฉ์„ ๊ฐ€์ ธ์™€์„œ Parser์—๊ฒŒ ๋„˜๊ฒจ ์ค€๋‹ค. Parser์—์„œ๋Š” ๋‹ค๋ฅธ ํ•˜์ดํผ๋งํฌ๋ฅผ ์ฐพ๋Š”๋‹ค. ๋ณดํ†ต html์˜ aํƒœ๊ทธ๋‚˜ url๋กœ ๋ณด์ž„์ง ํ•˜๋Š” ๊ฒƒ๋“ค์ด๋‹ค. ์—ฌ๊ธฐ์„œ ์ฐพ์€ ์ด URL๋“ค์„ ๋‹ค์‹œ ๋˜ Fetcher๊ฐ€ ๋ฐฉ๋ฌธํ•˜๊ฒŒ ๋˜๋Š”๋ฐ ์ด ๋•Œ ๋ฐฉ๋ฌธ ํ–ˆ๋˜ ๊ณณ์„ ๋˜ ๋ฐฉ๋ฌธ ํ•˜๋ฉด ๋ฌดํ•œ loop๊ฐ€ ๋˜๋ฏ€๋กœ Dup URL Elim์—์„œ ์ด๋ฏธ ๋ฐฉ๋ฌธํ•œ URL๊ณผ ์ค‘๋ณต URL๋“ค์„ ์ œ๊ฑฐํ•œ ์ฑ„๋กœ ๋””์ง€๋ชฌ Frontier์—๊ฒŒ ์ „๋‹ฌ ํ•ด ์ค€๋‹ค.

์ž ๊น๋งŒ! ๊ตฌ๊ตฌ์ ˆ์ ˆํ•˜๊ฒŒ ์จ ๋†“๊ธด ํ–ˆ์ง€๋งŒ ์ด ๋ชจ๋“  ๊ณผ์ •์€ ์‚ฌ์‹ค ์šฐ๋ฆฌ๊ฐ€ ์•Œ๊ณ ๋ฆฌ์ฆ˜์—์„œ ๋ฐฐ์› ๋˜ DFS๋‚˜ BFS์™€ ์™„๋ฒฝํ•˜๊ฒŒ ๊ฐ™์€ ๊ณผ์ •์ด ์•„๋‹Œ๊ฐ€?. ๋” ์ด์ƒ ๋ฐฉ๋ฌธ ํŽ˜์ด์ง€๊ฐ€ ์—†์„ ๋•Œ ๊นŒ์ง€ URL์„ ๊ณ„์†ํ•ด์„œ ํƒ์ƒ‰ํ•˜๋Š” ๊ฒƒ์ด๋‹ค. ๊ทน๋‹จ์ ์œผ๋กœ ๋งํ•ด์„œ ํฌ๋กค๋Ÿฌ๋Š” ์›”๋“œ ์™€์ผ๋“œ ์›น, www์„ ๋Œ€์ƒ์œผ๋กœ DFS๋˜๋Š” BFS๋ฅผ ํ•˜๋Š” ๊ฒƒ ๋ฟ์ด๋‹ค. ๊ทธ๋ ‡์ง€๋งŒ ์›น ์„ธ์ƒ์€ ์›Œ๋‚™ ๋„“์–ด์„œ ํƒ์ƒ‰์„ ํ•˜๋Š” ๋„์ค‘์—๋„ ์ƒˆ๋กœ์šด URL์ด ์ƒ๊ธฐ๊ณ  ๋˜ ํŽ˜์ด์ง€ ๋‚ด์šฉ์ด ์ˆ˜์ • ๋œ๋‹ค. ์ด๋Ÿฐ ๊ณผ์ •์„ ์–ด๋–ป๊ฒŒํ•˜๋ฉด ์ตœ์ ํ™” ํ•  ์ˆ˜ ์žˆ์„๊นŒ?๋ผ๋Š” ๊ณ ๋ฏผ ์—ญ์‹œ ํฌ๋กค๋Ÿฌ ์—ฐ๊ตฌ์˜ ํ•œ ๋ถ€๋ถ„์ด๋‹ค.

๐Ÿ‘ Content Seen

๋ฐฉ๋ฌธํ•œ ํŽ˜์ด์ง€์˜ '๋ณธ๋ฌธ ๋‚ด์šฉ'์ด ์ด๋ฏธ ์ „์— ๋‹ค๋ฅธ ๊ณณ์—์„œ ๋ณธ ๋‚ด์šฉ์ธ์ง€ ์•„๋‹Œ์ง€ ํŒ๋‹จํ•˜๋Š” ๋ถ€๋ถ„์ด๋‹ค. Doc FP's๋ผ๊ณ  ์ ํžŒ๊ฒƒ์€ Document Finger Prints๋ฅผ ์ค„์ธ ๊ฒƒ์ธ๋ฐ FP๋ž€ ์–ด๋–ค Document์˜ ๋‚ด์šฉ์„ ๊ตฌ๋ถ„ ํ•  ์ˆ˜ ์žˆ๋Š” ๊ณ ์œ ํ•œ Hash ๊ฐ’์ด๋ผ๊ณ  ์ƒ๊ฐํ•˜๋ฉด ์ข‹๋‹ค. ์ด ๋ถ€๋ถ„ ํ•˜๋‚˜๋งŒ ํ•˜๋”๋ผ๋„ ๊ณต๋ถ€ํ•  ๋‚ด์šฉ์ด ์ •๋ง ๋งŽ๊ณ  ๋ฐฉ๋Œ€ํ•ด์„œ ์—ฌ๊ธฐ์„œ๋Š” ์„ค๋ช…ํ•˜์ง€ ์•Š๊ณ  ๋„˜์–ด๊ฐ€๋ ค๊ณ  ํ•œ๋‹ค. FP๋ฅผ ๋งŒ๋“œ๋Š” ๋ฐฉ๋ฒ• ์—ญ์‹œ ์—ฌ๋Ÿฌ๊ฐ€์ง€๊ณ  FP๋กœ ์–ด๋–ป๊ฒŒ '์ค‘๋ณต ๋ฌธ์„œ'๋ฅผ ๊ฑธ๋Ÿฌ ๋‚ผ๊นŒ? ๊ณ ๋ฏผํ•˜๋Š” ๊ฒƒ๋„ ํ•˜๋‚˜์˜ ๋ถ„์•ผ๋‹ค. ํ•œ๊ตญ์–ด๋กœ ์ •๋ฆฌ๊ฐ€ ๋˜์–ด ์žˆ๋Š” ๋งํฌ๋ฅผ ์•„๋ž˜์— ์ ์–ด ๋‘”๋‹ค. ์˜์–ด๋กœ ์•Œ์•„๋ณด๊ณ  ์‹ถ๋‹ค๋ฉด 'Near Duplicated Document Detection'๋ผ๋Š” ํ‚ค์›Œ๋“œ๋กœ ๊ฒ€์ƒ‰ ํ•ด ๋ณด์ž.

๐Ÿ“Ž ๋ฌธ์„œ ๋‹จ์œ„๋กœ ์œ ์‚ฌ ์ค‘๋ณต์„ ํŒ๋ณ„ํ•˜๋Š” ๋ฐฉ๋ฒ•

๋˜ ์‹ค์ œ ์šด์˜ ๋˜๋Š” ํฌ๋กค๋Ÿฌ๋Š” DNS ์„œ๋ฒ„๊นŒ์ง€ ๋”ฐ๋กœ ๋‘๊ธฐ๋„ ํ•˜๊ธฐ์— ๊ทธ๋ฆผ ์ƒ DNS๋ผ๋Š” ๊ฒƒ๋„ ๋ณด์ด์ง€๋งŒ DNS๋Š” ๋˜ ํ•˜๋‚˜์˜ ํฐ ์ฃผ์ œ์ด๋ฏ€๋กœ ์ด ๊ธ€์—์„œ ๋‹ค๋ฃจ์ง€๋Š” ์•Š๊ฒ ๋‹ค.

โŒ›๏ธ History

๋‚ด๊ฐ€ ํ˜ผ์ž ๋ง์ƒ์— ์‚ฌ๋กœ์žกํ˜€์„œ "์ด๊ฑด ์˜ˆ์ˆ ์ ์ด์ง€ ์•Š์•„! ์ด๊ฑด ํฌ๋กค๋Ÿฌ๊ฐ€ ์•„๋ƒ!"๋ผ๊ณ  ์™ธ์น˜๋Š”๊ฒŒ ์•„๋‹ˆ๋ผ 1999๋…„์— ์šฐ๋ฆฌ ๋ฉ‹์Ÿ์ด Marc Najork๋ผ๋Š” ์‚ฌ๋žŒ์ด ์–ด๋–ป๊ฒŒ ํ™•์žฅ์„ฑ ์žˆ๋Š” ์›น ํฌ๋กค๋Ÿฌ๋ฅผ ๋งŒ๋“ค ์ˆ˜ ์žˆ๋Š”์ง€ ์œ ๋ช…ํ•œ ๋…ผ๋ฌธ์„ ์ถœ๊ฐ„ ํ–ˆ๋‹ค. ์ด ๋…ผ๋ฌธ์˜ ์„œ๋ก ์„ ๋ณด๋ฉด ์žฌ๋ฐŒ๋Š” ๋ง์ด ๋“ฑ์žฅ ํ•œ๋‹ค.

"'ํ™•์žฅ์„ฑ ์žˆ๋Š” ์›น ํฌ๋กค๋Ÿฌ'๋Š” ์›น ์„œ๋น„์Šค์—์„œ ๋งค์šฐ ์ค‘์š”ํ•œ ์ปดํฌ๋„ŒํŠธ์ธ๋ฐ ๊ทธ ํฌ๋กค๋Ÿฌ ๋””์ž์ธ์— ๋Œ€ํ•ด์„  ์ž˜ ์ •๋ฆฝ ๋˜์–ด ์žˆ์ง€ ์•Š๋‹ค."
Scalable Web crawlers are an important component of many Web services, but their design is not wellโ€documented in the literature

๐Ÿ“Ž Mercator: A scalable, extensible Web crawler, 1999

๊ทธ๋กœ๋ถ€ํ„ฐ 10๋…„ ๋’ค, Marc Najork๋Š” MS ์—ฐ๊ตฌ์†Œ์— ๋“ค์–ด๊ฐ€์„œ ์•„๋ž˜์™€ ๊ฐ™์€ ๋…ผ๋ฌธ์„ ๋˜ ์ผ๋‹ค. ์„œ๋ก ์— ์ด๋Ÿฐ ๊ธ€์ด ์จ ์ ธ ์žˆ๋‹ค.

"์›น ํฌ๋กค๋Ÿฌ๋ž€? seed URL์„ ์ฃผ๋ฉด ๊ด€๋ จ๋œ URL์„ ์ฐพ์•„ ๋‚ด๊ณ , ๊ทธ URL๋“ค์—์„œ ๋˜ ๋‹ค๋ฅธ ํ•˜์ดํผ ๋งํฌ๋ฅผ ์ฐพ์•„๋‚ด๊ณ  ๊ณ„์†ํ•ด์„œ ์ด ๊ณผ์ •์„ ๋ฐ˜๋ณตํ•˜๋ฉฐ ํ•˜์ดํผ ๋งํฌ๋“ค์„ ๋‹ค์šด๋กœ๋“œํ•˜๋Š” ํ”„๋กœ๊ทธ๋žจ์ด๋‹ค."
A web crawler is a program that, given one or more seed URLs, downloads the web pages associated with these URLs, extracts any hyperlinks contained in them, and recursively continues to download the web pages identified by these hyperlinks.

๐Ÿ“Ž Web Crawler Architecture, MARC NAJORK
Microsoft Research, 2009

๐Ÿคฎ ๋…ผ๋ฌธ? ์š”์ฆ˜์€ Youtube๊ฐ€ ๋Œ€์„ธ์ง€ ๋ˆ„๊ฐ€ '๊ธ€'์„ ์‹œ๊ฐ„ ๋“ค์—ฌ์„œ ์ฝ๋‚˜? ๊ทธ๋ ‡๋‹ค๋ฉด Marc Najork๊ฐ€ MS ์ธํ„ด์œผ๋กœ ๋‚˜๋ฌด ํ•˜๋ฉด์„œ ํ–ˆ๋˜ ๋ฐœํ‘œ ์˜์ƒ์„ ๋ณด์ž. ๋ฐœํ‘œ๋ฅผ ๋“ฃ๋Š” ์‚ฌ๋žŒ์ด 5๋ช… ์ •๋„ ๋ฐ–์— ์—†์–ด ๋งค์šฐ ์กฐ์ด ํ•ด ๋ณด์ธ๋‹ค. ์–ด๋–ป๊ฒŒ ์ˆ˜๋ฐฑ๋งŒ๊ฐœ์˜ ํŽ˜์ด์ง€๋ฅผ ํฌ๋กค๋ง ํ•˜๋„๋ก ์ตœ์ ํ™” ํ•  ์ˆ˜ ์žˆ๋Š”์ง€ ๊ธฐ์ดˆ ์ปจ์…‰์„ ์•Œ ์ˆ˜ ์žˆ๋‹ค.

๐Ÿ“Ž Atrax, a distributed web crawler

์›น ํฌ๋กค๋ง์€ ํƒœ์ดˆ์— www๊ฐ€ ์ƒ๊ฒผ์„ ๋•Œ ๋ถ€ํ„ฐ ์•„์ฃผ ์˜ค๋žซ๋™์•ˆ ๊ณ ๋ฏผ๋˜๊ณ  ์—ฐ๊ตฌ ํ•ด ์˜จ ์ฃผ์ œ์ด๋‹ค.๐Ÿ“Ž Web Crawler: A Review๋ผ๋Š” ๋…ผ๋ฌธ์˜ 2.1์— ์žˆ๋Š” The History of Web Crawler๋ฅผ ์ฝ์–ด ๋ณด๋Š” ๊ฒƒ์„ ์ถ”์ฒœํ•œ๋‹ค. ์žฌ๋ฐŒ๋Š” ๋‚ด์šฉ๋“ค์ด ๋งŽ๋‹ค.

"์•ž์œผ๋กœ ๋ธ”๋กœ๊ทธ์— ํฌ๋กค๋Ÿฌ ๋งŒ๋“œ๋Š” ๋ฒ•์„ ์“ธ๊ฑฐ ๊ฐ™์œผ๋ฉด ์ ์–ด๋„ ์ด ์ •๋„๋Š” ์•Œ๊ณ  ์จ๋ผ ์ด ๋จธ์ €๋ฆฌ๋“ค์•„"๋ผ๊ณ  ๋งํ•˜๊ณ  ์‹ถ์€๊ฑด ์ ˆ๋Œ€ ์•„๋‹ˆ๋‹ค. ๋‚ด๊ฐ€ ํ•˜๊ณ  ์‹ถ์€ ๋ง์˜ ์š”์ ์€ ์–ด์ค‘์ด ๋– ์ค‘์ด ์ฝ”๋“œ ๋ช‡ ์ค„ ์จ๋†“๊ณ  'ํฌ๋กค๋Ÿฌ'๋“ฑ์œผ๋กœ ์†Œ๊ฐœํ•˜๋Š” ๊ผด์„ ๋ณด๋‹ˆ ์•„์ฃผ ์‹ ๋ฌผ์ด ๋‚œ๋‹ค๋Š” ๊ฒƒ์ด๋‹ค.

"๋งˆ์ผ€ํ„ฐ๋„ ์ฝ”๋”ฉ ๋ฐฐ์šฐ๋Š” ์‹œ๋Œ€!", "์‹œ์ž‘ํ•˜์ž! ๋‹ˆ๋„ ์ฝ”๋”ฉ ํ•ด์•ผํ•œ๋‹ค!" ๋”ฐ์œ„์˜ ์ข†๊ฐ™์€ ๋ฌธ๊ตฌ๊ฐ€ ํŒ์„ ์น˜๋ฉด์„œ ๊ฐœ๋ฐœ์ž๋กœ ๋ณ€์‹ ํ•˜๋ผ๊ณ  ๊ด‘๊ณ ๋ฅผ ํ•ด ๋Œ€๊ณ  1ํšŒ์šฉ ์ฝ”๋“œ ๊ฐ–๋‹ค ๋ฐ•์•„ ๋†“๊ณ  'ํฌ๋กค๋Ÿฌ ๋งŒ๋“ค๊ธฐ', '๋ฐ์ดํ„ฐ ์ˆ˜์ง‘ ๊ฐ•์˜'๋กœ ๋ˆ์„ ๋ฐ›์•„ ๋จน๋Š”๊ฒŒ ํ˜„์‹ค์ด๋‹ค.

๐Ÿค– robots.txt ์œค๋ฆฌ์— ๋Œ€ํ•œ ์„ค๋ช…์ด ์—†์Œ.

๋„ˆ๋„ ๋‚˜๋„ ๋‹ค ๊ฐ™์ด ์›น ํŽ˜์ด์ง€๋ฅผ ๊ธ์–ด์„œ ์Šฌ๋ž™, ํ…”๋ ˆ๊ทธ๋žจ ์•Œ๋ฆผ ์—ฐ๋™๊นŒ์ง€ ํ•ด์„œ ์žฌ๋ฐŒ๊ฒŒ ๋†€์•„๋ณด์ž๋Š” ๋ง์€ ์‹ ๋‚˜๊ฒŒ ํ•˜๋Š”๋ฐ robots.txt ๋ฃฐ์— ๋Œ€ํ•ด์„œ ์„ค๋ช…ํ•˜๋Š” ๋ธ”๋กœ๊ทธ๋Š” ์—ฌ์ง€๊ป ๊ฑฐ์˜ ๋ณธ์ ์ด ์—†๋‹ค. ์›น ํŽ˜์ด์ง€๋ผ๊ณ  ํ•ด์„œ ์•„๋ฌด๋ ‡๊ฒŒ๋‚˜ ๊ธ์–ด์„œ๋Š” ์•ˆ๋˜๊ณ  robot.txt์— ์ž‘์„ฑ๋œ ๋ฃฐ์— ๋”ฐ๋ผ ์ˆ˜์ง‘์„ ํ•ด๋„ ๋˜๋Š” ํŽ˜์ด์ง€๊ฐ€ ์žˆ๊ณ  ์ˆ˜์ง‘์„ ํ•ด์„  ์•ˆ๋˜๋Š” ํŽ˜์ด์ง€๊ฐ€ ์žˆ๋‹ค. ๊ถ๊ธˆํ•˜๋ฉด ๊ธ์œผ๋ ค๋Š” ํŽ˜์ด์ง€ ๋ฃจํŠธ ๋„๋ฉ”์ธ์—์„œ /robots.txt์— ๋“ค์–ด๊ฐ€ ๋ณด๋„๋ก ํ•˜์ž. ๋ญ” ์ง“๊ฑฐ๋ฆด ํ•ด๋„ ๋˜๊ณ  ๋ญ” ์ง“๊ฑฐ๋ฆด ํ•ด์„  ์•ˆ๋˜๋Š”์ง€ ๊ฐ„๊ณกํžˆ ๋ถ€ํƒํ•˜๋Š” ๋‚ด์šฉ์ด ์“ฐ์—ฌ์ ธ ์žˆ๋‹ค.

https://www.google.com/robots.txt

๊ฐ ์‚ฌ์ดํŠธ ๋ณ„๋กœ ๋ฃจํŠธ ๊ฒฝ๋กœ์˜ robots.txt์— ๋กœ๋ด‡๋ฃฐ์ด ์ ํ˜€ ์žˆ์œผ๋ฉฐ 'ํฌ๋กค๋Ÿฌ'๋ฅผ ๋งŒ๋“ ๋‹ค๋ฉด ์ด ๋ฃฐ์„ ๋”ฐ๋ผ ์ฃผ๋Š” ๊ฒƒ์ด ์œค๋ฆฌ์ ์ด๋ผ ํ•  ์ˆ˜ ์žˆ๋‹ค. ํฌ๋กค๋Ÿฌ๋ฅผ ๋งŒ๋“œ๋Š” ๋ฐฉ๋ฒ•์— ๋Œ€ํ•ด์„œ ์†Œ๊ฐœํ•œ๋‹ค๋ฉด ์ ์–ด๋„ ์ด ๋กœ๋ด‡๋ฃฐ์— ๋Œ€ํ•ด์„  ์„ค๋ช… ํ•ด ์ค˜์•ผ ํ•œ๋‹ค.

๊ตฌ๊ธ€์€ robots.txt๋ฅผ ๊ฒ€์ƒ‰์—”์ง„ ํฌ๋กค๋Ÿฌ์—์„œ ์‚ฌ์ดํŠธ์— ์š”์ฒญํ•  ์ˆ˜ ์žˆ๊ฑฐ๋‚˜ ์š”์ฒญํ•  ์ˆ˜ ์—†๋Š” ํŽ˜์ด์ง€ ๋˜๋Š” ํŒŒ์ผ์„ ํฌ๋กค๋Ÿฌ์— ์ง€์‹œํ•˜๋Š” ํŒŒ์ผ์ด๋ผ๊ณ  ์ •์˜ํ•˜๊ณ  ์žˆ๋‹ค. ๋ฒˆ์—ญ ๊ณผ์ •์„ ๊ฑฐ์น˜๋ฉด์„œ ์ž์—ฐ์Šค๋Ÿฌ์šด ํ•œ๊ตญ์–ด๊ฐ€ ์•„๋‹ˆ๋ผ ๋‹ค์†Œ ์ดํ•ดํ•˜๊ธฐ ์–ด๋ ค์šด๋ฐ ๋‚˜๋ฆ„ ์‰ฝ๊ฒŒ ๋ฒˆ์—ญ ํ•ด ๋ณด๋ฉด ํฌ๋กค๋Ÿฌ๊ฐ€ ์š”์ฒญ์„ ํ•ด๋„ ๋˜๊ฑฐ๋‚˜, ํ•ด์„  ์•ˆ๋˜๋Š” ๊ฒฝ๋กœ๋ฅผ ์ ์–ด ๋‘” ๊ณณ ์ •๋„๊ฐ€ ๋  ๊ฒƒ ๊ฐ™๋‹ค. ๊ทธ ์™ธ์—๋„ robots.txt์—๋Š” ๋ช‡ ์ดˆ ๊ฐ„๊ฒฉ์œผ๋กœ ์š”์ฒญ์„ ๋ณด๋‚ด๋„ ๋˜๋Š”์ง€ ๋“ฑ ๋‹ค์–‘ํ•œ ๋‚ด์šฉ์„ ์ ์„ ์ˆ˜ ์žˆ๋‹ค.

โš ๏ธ ๋ถˆ๋ฒ• ํฌ๋กค๋ง

ํฌ๋กค๋ง์œผ๋กœ ์ˆ˜์ง‘ํ•œ ๋ฐ์ดํ„ฐ๋กœ ์ด์ต์„ ์ทจํ•˜๋ฉด ๋ฌธ์ œ๊ฐ€ ๋  ์ˆ˜ ์žˆ๋‹ค. ๊ฒฝ์Ÿ ์—…์ฒด ๋ฐ์ดํ„ฐ๋ฅผ ํฌ๋กค๋งํ•ด์„œ ์‹คํ˜• ๋–จ์–ด์ง„ ๊ฐœ๋ฐœ์ž๋„ ์žˆ๋‹ค. ์ข†๋˜์ง€ ์•Š๊ฒŒ ์กฐ์‹ฌํ•ด๋ผ. ์•„๋ž˜ ์‚ฌ๋ก€๋Š” ๋‹จ์ˆœํžˆ DOM ํŒŒ์‹ฑํ•ด์„œ ๊ฐ€์ ธ๊ฐ€๋Š” ์ •๋„๊ฐ€ ์•„๋‹ˆ๋ผ ์•„์˜ˆ API endpoint๋ฅผ ์กฐ์ง„๊ฒŒ ๋ฌธ์ œ๊ธด ํ•˜๋‹ค.

๐Ÿ“ฐ ๆณ• โ€œ์—ฌ๊ธฐ์–ด๋•Œ, ์•ผ๋†€์ž ์ •๋ณด ๋ฌด๋‹จ์ˆ˜์ง‘ ๋งž๋‹คโ€...ๅ‰ ๋Œ€ํ‘œ โ€˜์œ ์ฃ„โ€™

๊ทธ๋Ÿฌ๋‚˜ ์ง€๊ธˆ๊นŒ์ง€๋„ ๋‚ด๊ฐ€ ๊ตฌ๊ธ€์— 'ํฌ๋กค๋Ÿฌ ๋งŒ๋“ค๊ธฐ'๋กœ ๊ฒ€์ƒ‰ํ–ˆ์„ ๋•Œ robots.txt์— ๋Œ€ํ•ด ์„ค๋ช…ํ•˜๋Š” ๊ธ€์€ ์ƒ์œ„์—์„œ ๋‹จ ํ•˜๋‚˜๋„ ์ฐพ์•„ ๋ณผ ์ˆ˜ ์—†๋‹ค. 19๋…„๋„์— ์ธํ„ฐ๋„ท ํ‘œ์ค€ํ™” ๊ธฐ๊ตฌ์˜ ๋ฉ”๋ชจ์— robots.txt๊ฐ€ ์‚ฌ์‹ค์ƒ ์›น ํฌ๋กค๋ง์˜ ํ‘œ์ค€์ด ๋˜์–ด๊ฐ€๊ณ  ์žˆ๋‹ค๊ณ  ์“ฐ์—ฌ์ ธ ์žˆ๋‹ค. ์ด๊ฒƒ๋„ ๊ตฌ๊ธ€์ด ์ œ์ถœํ•œ ๋ฌธ์„œ๊ธด ํ•œ๋ฐ ์žฌ๋ฐŒ๊ฒŒ ์ฝ์–ด ๋ณผ๋งŒ ํ•˜๋‹ค. ๐Ÿ“Ž Robots Exclusion Protocol

์›น ํฌ๋กค๋Ÿฌ๋ฅผ ๋งŒ๋“ค ์ˆ˜ ์žˆ๋Š” ์˜คํ”ˆ ์†Œ์Šค๋“ค์€ ์ž๊ธฐ๋„ค ํ”„๋ ˆ์ž„์›Œํฌ์˜ ๊ธฐ๋Šฅ ์ค‘ ํ•˜๋‚˜๋กœ 'robot.txt๋ฅผ ์ค€์ˆ˜ํ•ฉ๋‹ˆ๋‹ค.'๋ผ๊ณ  ์†Œ๊ฐœํ•˜๊ณ  ์žˆ๋‹ค. ์ด ์˜คํ”ˆ ์†Œ์Šค ํฌ๋กค๋Ÿฌ๋ฅผ ์‚ฌ์šฉํ•˜๋ฉด robot.txt๋ฅผ ์ค€์ˆ˜ํ•  ์ˆ˜ ์žˆ๊ฒŒ ๋œ๋‹ค๊ณ  ๊ด‘๊ณ ํ•˜๋Š” ์…ˆ์ด๋‹ค. ์ด ๋ถ€๋ถ„์— ๋Œ€ํ•ด์„œ ์šฐ๋ฆฌ๋„ ํ•œ ๋ฒˆ ์ƒ๊ฐ ํ•ด ๋ณผ ํ•„์š”๊ฐ€ ์žˆ๋‹ค. ๐Ÿ“Ž gocolly๋ผ๋Š” ์›น ํฌ๋กค๋Ÿฌ ์˜คํ”ˆ์†Œ์Šค์˜ ๊ธฐ๋Šฅ ์†Œ๊ฐœ์—๋Š” robots.txt support๋ผ๊ณ  ์ ์–ด ๋‘” ๋ถ€๋ถ„์„ ์ฃผ๋ชฉํ•˜์ž

๋˜ Pinterest์˜ ๊ฒฝ์šฐ ์ž์‚ฌ์˜ ํฌ๋กค๋Ÿฌ๊ฐ€ ์–ด๋–ป๊ฒŒ ๋™์ž‘ํ•˜๋Š”์ง€, ์–ด๋–ค User Agent๋ฅผ ๊ฐ–๊ณ ์žˆ๊ณ  ์–ด๋–ค IP ๋Œ€์—ญ์„ ์‚ฌ์šฉํ•˜๋Š”์ง€ ๊ณต๊ฐœํ•˜๊ณ  ์žˆ๋‹ค. ์ด ์™€์ค‘์— ๊ตญ๋‚ด ๋ธ”๋กœ๊ทธ, ์ปค๋ฎค๋‹ˆํ‹ฐ์˜ ์–ด๋–ค ๊ธ€๋„ ํฌ๋กค๋Ÿฌ์˜ robots.txt์— ๋Œ€ํ•ด ์„ค๋ช…ํ•˜์ง€ ์•Š๊ณ  ์žˆ๋‹ค๋Š” ์ ์€ ๋ฐ˜๋“œ์‹œ ์งš๊ณ  ๋„˜์–ด ๊ฐ€์•ผ ํ•  ๋ฌธ์ œ๋‹ค.

๐Ÿ“Ž Pinterest crawler

๐Ÿ‘บ "๊ทธ๋ž˜์„œ ์–ด์ฉŒ์ž๊ณ "

ํฌ๋กค๋Ÿฌ๊ฐ€ ์•„๋‹ˆ๋ผ ๋ญ ๋‹ค๋ฅธ ์ด๋ฆ„์„ ๊ฐ–๋‹ค ๋ถ™์ด๊ธฐ๋ผ๋„ ํ•˜์ž” ๋ง์ด๋ƒ? ๊ทธ๋Ÿฐ ๋Œ€์•ˆ ์—†๋‹ค. ๊ฐœ๋ฐœ์ž๋“ค์˜ ์ „ํ˜•์ ์ธ ๋ง ์ค‘ ํ•˜๋‚˜์ธ๋ฐ "๋ฌธ์ œ๋ฅผ ์ง€์ ํ•˜๋ ค๋ฉด ๋Œ€์•ˆ์„ ๊ฐ–๊ณ  ์˜ค์„ธ์š”"๋‹ค. ํšŒ์‚ฌ ์ƒํ™œ์„ ํ•˜๋ฉด '์ง„์งœ ๋‹ค๋ฐฉ๋ฉด์œผ๋กœ ํ›Œ๋ฅญํ•œ ํ•ด๊ฒฐ์ฑ…'์„ ๋งˆ๋ จํ•˜์ง€ ์•Š์œผ๋ฉด ํšŒ์˜์—์„œ ์ฐ์†Œ๋ฆฌ๋„ ํ•˜์ง€ ์•Š๋Š” ๊ฒƒ์ด ๊ทœ๋ฒ”์ด๋‹ค.

๋‚ด๊ฐ€ ๋ฌด์Šจ ํฌ๋กค๋ง ํ•™๊ณ„์—์„œ ์ €๋ช…ํ•œ ๋ฐ•์‚ฌ๋‚˜ ๊ต์ˆ˜๋„ ์•„๋‹ˆ๊ณ  ์šฉ์–ด ๊ฐ€์ง€๊ณ  ๊ฑฐ๋“ค๋จน ๊ฑฐ๋ฆด ์ˆœ ์—†๋‹ค. ๋‚ด๊ฐ€ ํ•˜๊ณ ํ”ˆ ๋ง์€ ๋‹จ์ง€ 'ํฌ๋กค๋Ÿฌ'๋Š” ์ƒ๋‹นํžˆ ์˜ค๋žซ๋™์•ˆ ์—ฐ๊ตฌ๋œ ์ฃผ์ œ๊ณ  ์–ธ์ œ๊นŒ์ง€๊ณ  scrapy๋‚˜ ์“ฐ๋ฉด์„œ '2019 ๋‹ค์Œ ๋‰ด์Šค ํฌ๋กค๋ง', '2020 ๋‹ค์Œ ๋‰ด์Šค ํฌ๋กค๋ง'... ๊ฐ™์€ ๊ธ€์— ํ‰์ƒ ์˜์กด ํ•  ์ˆ˜๋Š” ์—†๋‹ค๋Š” ๊ฒƒ๊ณผ ์ž˜๋ชป๋œ ํฌ๋กค๋Ÿฌ์˜ ๊ฐœ๋…์ด ์ธํ„ฐ๋„ท ๊ณณ๊ณณ์— ํผ์ง€๋Š” ๊ฑธ ๋ง‰์ž๋Š” ๊ฒƒ์ด๋‹ค.

'ํฌ๋กค๋Ÿฌ๋ž€ ์…€๋ ˆ๋‹ˆ์›€์œผ๋กœ ํŽ˜์ด์ง€ ๊ธ๋Š”๊ฒƒ'์œผ๋กœ ์ž˜๋ชป๋œ ๊ฐœ๋…์ด ์ธํ„ฐ๋„ท์— ๋– ๋Œ์•„ ๋‹ค๋‹ˆ๋Š”๊ฑธ SW ๊ฐœ๋ฐœ์ž๋กœ์„œ ์ž… ๋‹ซ๊ณ  ์ง€์ผœ๋ณด๊ธฐ์—” ๋‚˜๋Š” ๋„ˆ๋ฌด๋‚˜๋„ ์ง€๋…ํ•œ ๊ณต๋Œ€์ƒ์ด๋‹ค.

A crawlerโ€™s purpose is to follow links to reach numerous pages and analyze their meta data and content.

Scraping is possible out of the web. For example you can retrieve some information from a database. Scraping is pulling data from the web or a database.

๐Ÿ“˜ ๋” ์ฝ์–ด ๋ณผ ๊ฑฐ๋ฆฌ

๐Ÿ“Ž ์›น ํฌ๋กค๋Ÿฌ
๊ทธ๋ ‡๋‹ค๊ณ  ํฌ๋กค๋Ÿฌ ๊ด€๋ จํ•ด์„œ ์„ค๋ช…ํ•œ ๊ธ€์ด ์ „ํ˜€ ์—†๋Š” ๊ฑด ์•„๋‹ˆ๋‹ค. ์ž˜ ์„ค๋ช… ํ–ˆ๋‹ค๊ณ  ์ƒ๊ฐํ•˜๋Š” ๊ธ€์ด๋‹ค.

๐Ÿ“Ž ๋กœ๋ด‡ ๋ฉ”ํƒ€ ํƒœ๊ทธ, data-nosnippet ๋ฐ X-Robots-Tag ์‚ฌ์–‘
๊ตฌ๊ธ€์˜ ์›น ํฌ๋กค๋Ÿฌ๊ฐ€ ๋‚˜์˜ ๋ธ”๋กœ๊ทธ๋‚˜ ์ฝ˜ํ…์ธ ๋ฅผ ์ˆ˜์ง‘ํ•˜์ง€ ๋ชปํ•˜๋„๋ก ์ œํ•œ ํ•˜๋Š” ๋ฐฉ๋ฒ•์— ๋Œ€ํ•ด์„œ ์„ค๋ช… ํ•˜๊ณ  ์žˆ๋‹ค. robots.txt์˜ ์—ฐ์žฅ์„ ์ด๋‹ค.

๐Ÿ“Ž Marc Najork, Research Engineering Director in Google Research
๊ธ€ ์ค‘๊ฐ„์— ์†Œ๊ฐœ ํ–ˆ๋˜ ๋ฉ‹์Ÿ์ด Marc Najork๋Š” ์ด์ œ ๊ตฌ๊ธ€ ๋ฆฌ์„œ์น˜์—์„œ ๊ทผ๋ฌดํ•˜๊ณ  ์žˆ๋‹ค. ๊ฒ€์ƒ‰๊ณผ ํฌ๋กค๋ง์— ๊ด€์‹ฌ์ด ์žˆ๋‹ค๋ฉด ์•„์ฃผ ์žฌ๋ฏธ์žˆ๊ฒŒ ์ฝ์„ ์ˆ˜ ์žˆ๋Š” ๋…ผ๋ฌธ๋“ค์ด ๋งŽ๋‹ค. ๋‚ด ๋ณ‘์‹  ๊ฐ™์€ ๊ธ€ ๋ณด๋‹ค ์ด ๋ฐ•์‚ฌ์˜ Abstraction ํ•œ ๋ฌธ๋‹จ์ด ์—ฌ๋Ÿฌ๋ถ„์—๊ฒŒ ํ›จ์”ฌ ๊ฐ’์ง€๊ณ  ์ธ์ƒ์— ๋„์›€์ด ๋˜๋‹ˆ๊นŒ ๊ผญ ๋ด๋ผ. ์š”์ฆ˜์€ ๋žญํ‚น์„ ์—ฐ๊ตฌํ•˜๋Š” ๋ชจ์–‘์ด๋‹ค.

๐Ÿ“Ž Google ๊ฒ€์ƒ‰์˜ ์›๋ฆฌ | ํฌ๋กค๋ง ๋ฐ ์ƒ‰์ธ ์ƒ์„ฑ
์‹œ๊ฐ„ ์—†๊ณ  ๋นจ๋ฆฌ IR๊ณผ ํฌ๋กค๋Ÿฌ์˜ ๊ฐœ๋… ๋‘˜ ๋‹ค ์ดํ•ดํ•˜๊ณ  ์‹ถ์€ ์‚ฌ๋žŒ์—๊ฒŒ ๊ฐ•๋ ฅ ์ถ”์ฒœํ•˜๋Š” ๊ธ€์ด๋‹ค. ๊ตฌ๊ธ€์—์„œ ์„ค๋ช…ํ•ด์ฃผ๋Š” ๊ฒ€์ƒ‰์˜ ์›๋ฆฌ์ด๋‹ค. ๊ฒ€์ƒ‰ ํ”„๋กœ์„ธ์Šค ์ „์ฒด๋ฅผ ์ญ‰ ๋‘˜๋Ÿฌ ๋ณด๊ธฐ์— ์‹œ์•ผ๊ฐ€ ํ™• ๋„“์–ด ์งˆ ๊ฒƒ์ด๋‹ค.

๐Ÿ˜ก "๋ญ ์ œ๋Œ€๋กœ ์„ค๋ช… ํ•œ ๊ฒƒ๋„ ์—†๋Š”๋ฐ ๋…ผ๋ฌธ ๋งํฌ๋งŒ ๋ƒ…๋‹ค ๋ฐ•์•„ ๋†“์œผ๋ฉด ๋•ก์ด๋ƒ?"

๋ฏธ์•ˆํ•˜๊ฒŒ ์ƒ๊ฐํ•ฉ๋‹ˆ๋‹ค. ๋‚˜๋„ ์—ฌ๊น„๋Š”๊ฑฐ ๋‹ค ๋ณด์ง„ ์•Š์•˜๊ณ  ์š”์ฆ˜๋„ ์ฝ์–ด๊ฐ€๋Š” ์ค‘์ด๋ผ ๊ธฐํšŒ๊ฐ€ ๋˜๋ฉด ์ •๋ฆฌ๋ฅผ ํ•ด ๋ณด๋ ค๊ณ  ํ•ฉ๋‹ˆ๋‹ค... ์ง„์งœ ๊ด€์‹ฌ ์žˆ๋Š” ์‚ฌ๋žŒ ์žˆ์œผ๋ฉด ๋Œ“๊ธ€๋กœ ๋ญ๋ผ๋„ ๋‚จ๊ธฐ๋ฉด ์ˆ˜์š”๋ฅผ ๋ด์„œ ๊ธ€์„ ์“ฐ๊ฒ ์Šต๋‹ˆ๋‹ค.

๐Ÿ’ฐ toss๋กœ ์„œํฌํŠธํ•˜๊ธฐ

๋‹ค์Œ ๊ธ€ ์—ฐ์žฌ๋ฅผ ์œ„ํ•ด ์ง€์›ํ•˜๊ณ  ์‹ถ์€ ๋ถ„๋“ค์€ ์ž์œ ๋กญ๊ฒŒ ๋„๋„ค์ด์…˜ ํ•ด ์ฃผ์„ธ์š”. ๊ธฐ๋ถ€ํ•˜์‹  ๋ˆ์€ ๋ชจ๋นˆ์ผˆ์˜ ์‚ฌ๋ฆฌ์‚ฌ์š•์„ ์ฑ„์šฐ๊ธฐ ์œ„ํ•ด ์‚ฌ์šฉ๋ฉ๋‹ˆ๋‹ค.

์†ก๊ธˆํ•˜์‹ค ๋•Œ ๋ฉ”์„ธ์ง€์— ์–ด๋–ค ๊ธ€์„ ๋ณด์•˜๋Š”์ง€ ๋‚จ๊ฒจ์ฃผ์‹œ๋ฉด ๊ฒŒ์‹œ๊ธ€์— ๋ฐ˜์˜ ๋ฉ๋‹ˆ๋‹ค. ๊ธฐ๋ถ€ํ•˜์‹  ๋ˆ์€ ์‚ฌ๋ฆฌ์‚ฌ์š•์„ ์œ„ํ•ด ์‚ฌ์šฉ๋ฉ๋‹ˆ๋‹ค.
profile
๐ŸŒš ๋ฐฉ๋ž‘ ๊ฐœ๋ฐœ์ž, https://duge.space/DOZYHExYNz

186๊ฐœ์˜ ๋Œ“๊ธ€

comment-user-thumbnail
2020๋…„ 5์›” 9์ผ

ํ”„๋ก ํŠธ์—”๋“œ ๊ฐœ๋ฐœ๋งŒ ํ•˜๋‹ค๋ณด๋‹ˆ๊นŒ ํฌ๋กค๋ง์ด ๋งค๋ ฅ์ ์ด์–ด์„œ ์ด๊ฒƒ ์ €๊ฒƒ ์ฐพ์•„๋ณด๊ณ  ์žˆ์—ˆ๋Š”๋ฐ ๋ง์”€ํ•˜์‹  ๊ฒƒ์ฒ˜๋Ÿผ ์ „๋ถ€ selenium, scrapy, bs4๋ฅผ ์ด์šฉํ•ด์„œ ์ง์ ‘ ํƒœ๊ทธ๋“ค์„ ์ผ์ผ์ด inspect๋กœ ์ฐพ์•„๋ณธ ๋‹ค์Œ์— ๊ทธ์— ๋งž๊ฒŒ ์ฝ”๋“œ๋ฅผ ์ž…๋ ฅํ•˜๊ณ  ์žˆ๋”๋ผ๊ตฌ์š”. ์ €ํฌ ํšŒ์‚ฌ์—์„œ๋„ ์ดˆ๊ธฐ์— ํ”„๋ฆฌ๋žœ์„œ๋ถ„์ด ๋งŒ๋“  ํฌ๋กค๋Ÿฌ๊ฐ€ ๊ทธ ํƒ€๊ฒŸ ์‚ฌ์ดํŠธ์˜ ์นดํ…Œ๊ณ ๋ฆฌ ํ•˜๋‚˜๋งŒ ์ˆ˜์ • ๋ผ๋„ ๋ฐ”๋กœ ์—๋Ÿฌ๊ฐ€ ๋‚˜๊ณ  ์ผ์ผ์ด ์ˆ˜์ •ํ•ด์ฃผ๊ณ  ์žˆ๋‹ค๋Š” ๋ง์„ ๋“ฃ๊ณ  ์–ด๋–ป๊ฒŒ ๊ทธ๋ ‡๊ฒŒ ๋น„ํšจ์œจ์ ์ผ ์ˆ˜๊ฐ€ ์žˆ๋Š”์ง€ ๋†€๋žฌ์—ˆ๋Š”๋ฐ ์ด๋ ‡๊ฒŒ ๋”ฑ ์งš์–ด์ฃผ์‹œ๋„ค์š”!

1๊ฐœ์˜ ๋‹ต๊ธ€
comment-user-thumbnail
2020๋…„ 5์›” 11์ผ

๊ธ€ ์ž˜ ์ฝ์—ˆ์Šต๋‹ˆ๋‹ค! ๋‚˜๋ฆ„ ํฌ๋กค๋Ÿฌ๋ฅผ ํ™œ์šฉํ•˜์—ฌ ํŽธ๋ฆฌํ•˜๊ฒŒ ์ด์šฉํ•˜๊ณ  ์žˆ์—ˆ๋Š”๋ฐ, ๊ทธ ๊ทผ๊ฐ„๋ถ€ํ„ฐ ํŒฉํŠธ ํญํ–‰๋‹นํ•œ ๋Š๋‚Œ์ด๋„ค์š”. ์ฐจ๊ทผ์ฐจ๊ทผ ์˜ฌ๋ ค์ค€ ๋งํฌ๋“ค ์ฝ์–ด๋ด์•ผ๊ฒ ์Šต๋‹ˆ๋‹ค!
๊ฐ์‚ฌํ•ฉ๋‹ˆ๋‹ค.

1๊ฐœ์˜ ๋‹ต๊ธ€
comment-user-thumbnail
2020๋…„ 5์›” 11์ผ

์ด๋ฒˆ์—๋„ ํ•˜ํŠธ ์•ˆ๋ˆ„๋ฅด๊ณ  ๊ฐˆ ์ˆ˜๊ฐ€ ์—†๋„ค์š”. ๋งค๋ฒˆ ์ข‹์€ ๊ธ€ ๊ฐ์‚ฌํ•ฉ๋‹ˆ๋‹ค :)

1๊ฐœ์˜ ๋‹ต๊ธ€
comment-user-thumbnail
2020๋…„ 5์›” 11์ผ

์–ผ๋งˆ์ „์— ๊ธฐ๋ถ„์ „ํ™˜ ํ•  ๊ฒธ ํฌ๋กค๋ง์„ ํ•ด๋ดค๋Š”๋ฐ ์ƒ๊ฐ๋ณด๋‹ค ๋ณ„๊ฑฐ ์—†์–ด์„œ ์˜ค์ž‰ ํ–ˆ๋Š”๋ฐ ์ฐ ํฌ๋กค๋ง์€ ์ „ํ˜€ ๊ทธ๋ ‡์ง€ ์•Š๊ตฐ์š” ใ…‹ใ…‹ ๊ทธ๋ž˜๋„ ์žฅ๋‚œ๊ฐ ๊ฐ€์ง€๊ณ  ๋†€๋“ฏ์ด ํ•˜๊ธฐ์—๋Š” ์žฌ๋ฐŒ์—ˆ์–ด์š”! ์–ธ์  ๊ฐ€ ํฌ๋กค๋ง์„ ๋” ํŒŒ๋ณด๊ณ ์‹ถ๊ฒŒ ๋œ๋‹ค๋ฉด ๊ณต์œ ํ•ด์ฃผ์‹  ๋งํฌ ์ฐพ์•„๊ฐ€๋ณด๊ฒ ์Šต๋‹ˆ๋‹ค. ์žฌ๋ฐŒ๋Š” ๊ธ€ ๊ฐ์‚ฌํ•ด์š”

1๊ฐœ์˜ ๋‹ต๊ธ€
comment-user-thumbnail
2020๋…„ 5์›” 12์ผ

์„ ์ƒ๋‹˜ ๋‹ค์Œ ์‹ ๋ฌธ๊ธฐ์‚ฌ JSON ๋ฐ›์•„์˜ค๋Š”๊ฑฐ (์ง€๊ธˆ์€ ์•ˆ๋ณด์ด๋Š”๊ฑฐ ๊ฐ™์€๋ฐ) ๊ฐ™์ด ์„œ๋ฒ„์ธก์—์„œ ๋ฟŒ๋ฆฌ๋Š” JSON ๋ฐ์ดํ„ฐ๋ฅผ ๋ฐ›์•„์˜ค๋Š”๊ฒƒ๋„ ํฌ๋กค๋ง์ด๋ผ๊ณ  ํ•  ์ˆ˜ ์žˆ๋‚˜์š”? ๋‹จ์–ด๊ฐ€ ๋ชจํ˜ธํ•œ๊ฒƒ ๊ฐ™์•„ ํ—ท๊ฐˆ๋ฆฝ๋‹ˆ๋‹ค ใ… 

1๊ฐœ์˜ ๋‹ต๊ธ€
comment-user-thumbnail
2020๋…„ 5์›” 12์ผ

์˜ค ์ฒ˜์Œ ๊ธ€์—์„œ ๊ณ„์† ์—…๋ฐ์ดํŠธ ๋˜๋„ค์š”

1๊ฐœ์˜ ๋‹ต๊ธ€
comment-user-thumbnail
2020๋…„ 5์›” 12์ผ

์ข‹์€ ๊ธ€ ์ž˜ ์ฝ์—ˆ์Šต๋‹ˆ๋‹ค.

1๊ฐœ์˜ ๋‹ต๊ธ€
comment-user-thumbnail
2020๋…„ 5์›” 13์ผ

ํ—‰... ํฌ๋กค๋ง ๊ด€๋ จ ๊ธ€ ์ž‘์„ฑํ•˜๊ธฐ ์ „์ธ๋ฐ, ๊นŠ์€๋‚ด์šฉ ๋ฐฐ์›Œ๊ฐ‘๋‹ˆ๋‹ค... ( _ _)

1๊ฐœ์˜ ๋‹ต๊ธ€
comment-user-thumbnail
2020๋…„ 5์›” 14์ผ

ํŒŒ์‹ฑํ•ด์„œ ๊ฐ€์ ธ๊ฐ€๋Š” ์ •๋„๊ฐ€ ์•„๋‹ˆ๋ผ ์•„์˜ˆ API ednpoint๋ฅผ ์กฐ์ง„๊ฒŒ ๋ฌธ์ œ๊ธด ํ•˜๋‹ค.

endpoint ์˜คํƒ€์ธ๊ฒƒ ๊ฐ™์•„์š”!

์ข‹์€ ๊ธ€ ๊ฐ์‚ฌํ•ฉ๋‹ˆ๋‹ค ๐Ÿ‘

1๊ฐœ์˜ ๋‹ต๊ธ€
comment-user-thumbnail
2020๋…„ 5์›” 15์ผ

์ด ๊ธ€์„ ๋ณด๊ณ  Beautiful Soup์œผ๋กœ ๋„ค์ด๋ฒ„ ๊ฒ€์ƒ‰์–ด "ํฌ๋กค๋ง" ํ•˜๋Ÿฌ ๊ฐ‘๋‹ˆ๋‹ค. HTML ๋‹ค๋’ค์กŒ๋‹ค ^_^

1๊ฐœ์˜ ๋‹ต๊ธ€
comment-user-thumbnail
2020๋…„ 5์›” 19์ผ

๊ทธ ๊ธ€๋“ค์˜ ๋ชฉํ‘œ๋Š” 'ํฌ๋กค๋Ÿฌ ์ž…๋ฌธ' ์ •๋„์˜ ๋‰˜์•™์Šค๊ฐ€ ์•„๋‹Œ๊ฐ€ ์ƒ๊ฐํ•ฉ๋‹ˆ๋‹ค. ๋ฌผ๋ก  ๊ฒ€์ƒ‰ ๊ฒฐ๊ณผ์—์„œ ๋ช‡ ๋ฒˆ ๋ฐ์ธ ํ›„๋กœ ๋”๋Š” ํ•œ๊ธ€ ๋ธ”๋กœ๊ทธ์— ๋“ค์–ด๊ฐ€ ๋ณธ ์ ์ด ์—†๋„ค์š”ใ…‹ใ…‹ใ…‹ใ…‹.. ์ €๋„ ์…€๋ ˆ๋Š„๊ณผ bs4๋กœ ๋งŒ๋“  ๋ฌด์–ธ๊ฐ€์— 'ํฌ๋กค๋Ÿฌ' ๋ผ๊ณ  ์ด๋ฆ„์„ ๋ถ™์—ฌ๋ณธ ์ ์ด ์—†์–ด์„œ ๋”์šฑ๋” ๊ณต๊ฐ์ด ๋ฉ๋‹ˆ๋‹ค. ๋Œ€๋‹ค์ˆ˜ ํฌ๋กค๋Ÿฌ์˜ ์ด๋ฆ„์„ ๋‹ฌ๊ณ  ์žˆ๋Š” ์Šคํฌ๋ฆฝํŠธ ๋“ค์€ ์‚ฌ์‹ค ๋ณ€๋™ํƒ์ƒ‰๊ธฐ๋‚˜ ์ž๋™ํ™” ์ •๋„์˜ ์ด๋ฆ„์ด ์ ๋‹นํ•˜์ง€์š”.

1๊ฐœ์˜ ๋‹ต๊ธ€
comment-user-thumbnail
2020๋…„ 5์›” 22์ผ

์•ˆ๋…•ํ•˜์„ธ์š”! ๊ธ€์„ ๋„ˆ๋ฌด ์žฌ๋ฐŒ๊ฒŒ ์“ฐ์…”์„œ ์—ญ์ฃผํ–‰ ํ•˜๋‹ค๊ฐ€ ์ด ํฌ์ŠคํŠธ๊นŒ์ง€ ์ฝ๊ฒŒ ๋๋„ค์š”:)
์ €๋Š” ๋ฐ์ดํ„ฐ ๊ธฐ๋ฐ˜์˜ ๊ธฐํš์„ ์ž์ฃผ ํ•ด์„œ bs์™€ selenium์„ ํ™œ์šฉํ•œ ์Šคํฌ๋ž˜ํผ(์ €๋Š” ์ด๋ ‡๊ฒŒ ์นญํ•˜๊ณ  ์žˆ์Šต๋‹ˆ๋‹ค!)๋ฅผ ๋งŽ์ด ์งœ๋Š”๋ฐ, ์ตœ๊ทผ์— ์Šคํฌ๋ž˜ํผ์˜ ํ•œ๊ณ„๋ฅผ ๋Š๋ผ๋˜ ์ฐจ์— ์ด ๊ธ€์„ ์ฝ์–ด๋ณด๋‹ˆ ๊ดœํžˆ ํฌ๋กค๋ง์— ๋Œ€ํ•œ ์š•์‹ฌ๊นŒ์ง€ ์ƒ๊ฒผ์Šต๋‹ˆ๋‹ค.๐Ÿ˜ ํฌ๋กค๋Ÿฌ์™€ ๊ด€๋ จ๋œ ์ •๋ณด๋ฅผ ๊ฒ€์ƒ‰ํ•˜๋ฉด ๋Œ€๋ถ€๋ถ„ http request์™€ ๊ด€๋ จ๋œ ๋‚ด์šฉ๋งŒ ๋‚˜์˜ค๋Š”๋ฐ(์‹ฌ์ง€์–ด ์ฑ…์—์„œ๋„!), ํ˜น์‹œ ํฌ๋กค๋ง์„ ๊ณต๋ถ€ํ•˜๋Š”๋ฐ ๊ดœ์ฐฎ์€ ์‚ฌ์ดํŠธ๋‚˜ ์ปค๋ฎค๋‹ˆํ‹ฐ๋ฅผ ์ถ”์ฒœํ•ด์ฃผ์‹ค ์ˆ˜ ์žˆ์„๊นŒ์š”?

1๊ฐœ์˜ ๋‹ต๊ธ€
comment-user-thumbnail
2020๋…„ 5์›” 22์ผ

์ตœ๊ทผ์— ๋น„์Šทํ•œ ๋ง์„ ๋“ค์—ˆ๋Š”๋ฐ ๊ทธ๋•Œ ๊ทธ๋ƒฅ ํ•„์š”ํ•œ ๋ฐ์ดํ„ฐ๋งŒ ์–ป์–ด์˜ค๋ฉด ๋˜์ง€ ์•Š๋ƒ๋Š” ์‹์œผ๋กœ ๋ฐ›์•„์ณค๋Š”๋ฐ ๋ฐ˜์„ฑํ•˜๊ฒŒ ๋˜๋„ค์š”

1๊ฐœ์˜ ๋‹ต๊ธ€
comment-user-thumbnail
2020๋…„ 5์›” 23์ผ

์™€.. ํฌ๋กค๋Ÿฌ๋ž์‹œ๊ณ  selenium์œผ๋กœ automationํ•ด์„œ ์ •๋ณด ๊ธ์–ด์˜ค๋Š” ์ฝ”๋“œ ์ž‘์„ฑ์ค‘์ธ๋ฐ ํฌ๋กค๋Ÿฌ๋ผ๊ณ  ๋ถ€๋ฅด๋ฉด ์•ˆ๋˜๊ฒ ๋‚ด์š”

1๊ฐœ์˜ ๋‹ต๊ธ€
comment-user-thumbnail
2020๋…„ 6์›” 5์ผ

์ด ๊ธ€์„ ์ฝ๊ณ  ๋ฒจ๋กœ๊ทธ ๊ฐ€์ž…ํ–ˆ์Šต๋‹ˆ๋‹ค. ๋ชจ๋นˆ์ผˆ๋‹˜ ์‚ฌ๋ž‘ํ•ด์š”โ™ฅ ์•ž์œผ๋กœ๋„ ๊ธ€ ๋งŽ์ด ์˜ฌ๋ ค์ฃผ์„ธ์š”~

1๊ฐœ์˜ ๋‹ต๊ธ€
comment-user-thumbnail
2020๋…„ 7์›” 1์ผ

๊ธ€ ์ž˜ ์ฝ์—ˆ์Šต๋‹ˆ๋‹ค. ๊ทธ๋Ÿผ ์›นํŽ˜์ด์ง€ ํŠน์ • ์นผ๋Ÿผ์€( ์˜ˆ๋กœ๋“ค์–ด ์ƒํ’ˆ์˜ ๋ช…๊ณผ ๊ฐ€๊ฒฉ๋งŒ ๊ฐ€์ ธ์˜ค๊ณ  ์‹ถ์„๋•Œ)
DOM based content extraction via text density ์— ๋…ผ๋ฌธ์— ์˜ํ•˜๋ฉด ์–ด๋–ค ๋ฐฉ์‹์œผ๋กœ ๊ฐ€์ ธ์˜ค๋Š” ๊ฑด๊ฐ€์š”? ์›นํŽ˜์ด์ง€์—์„œ ๊ธ์–ด์˜ฌ๋งŒํ•œ ๊ฒƒ๋“ค์„ ๋‹ค ๊ฐ€์ ธ์˜ค๋Š” ๊ฐœ๋…์€ ์–ด๋Š์ •๋„ ์ดํ•ด๊ฐ€๋Š”๋ฐ ํŠน์ • ์ฃผ์ œ ๊ด€๋ จ๋œ ๋‚ด์šฉ์€ ์–ด๋–ป๊ฒŒ ๊ฐ€์ ธ์˜ค๋Š”์ง€ ๊ถ๊ธˆํ•˜๋„ค์š” ๊ธ€๋งŒ ๋ด์„œ๋Š” ์ดํ•ด๊ฐ€ ์•ˆ๊ฐ€์„œ ์งˆ๋ฌธ๋“œ๋ฆฝ๋‹ˆ๋‹ค!

1๊ฐœ์˜ ๋‹ต๊ธ€
comment-user-thumbnail
2020๋…„ 7์›” 7์ผ

์›นํฌ๋กค๋ง์— ๋Œ€ํ•ด ์ตœ๊ทผ์— ๊ด€์‹ฌ์ด ์ƒ๊ธด 1์ธ์ž…๋‹ˆ๋‹ค. ์ข‹์€ ๊ธ€ ์ž˜ ์ฝ์—ˆ์Šต๋‹ˆ๋‹ค. :-) ์ถ”ํ›„์— ๊ถ๊ธˆํ•œ์ ์„ ์—ฌ์ญค๋ด๋„ ์‹ค๋ก€๊ฐ€ ์•ˆ๋ ์ง€...๋ชจ๋ฅด๊ฒ ๋„ค์š”.

1๊ฐœ์˜ ๋‹ต๊ธ€
comment-user-thumbnail
2020๋…„ 7์›” 15์ผ

์ข‹์€ ๊ธ€ ์ž˜ ์ฝ์—ˆ์Šต๋‹ˆ๋‹ค!!

1๊ฐœ์˜ ๋‹ต๊ธ€
comment-user-thumbnail
2020๋…„ 7์›” 16์ผ

ํฌ๋กค๋ง์— ๋Œ€ํ•ด์„œ ์ž˜ ์ฝ๊ณ  ๊ฐ‘๋‹ˆ๋‹ค. ์ •๋ง ๊ธ€์„ ์žฌ๋ฏธ์žˆ๊ฒŒ ์“ฐ์‹œ๊ณ  ์œ ์ตํ•œ๊ฒƒ ๊ฐ™์Šต๋‹ˆ๋‹ค. ๊ฐ์‚ฌํ•ฉ๋‹ˆ๋‹ค.

1๊ฐœ์˜ ๋‹ต๊ธ€
comment-user-thumbnail
2020๋…„ 7์›” 21์ผ

์ด๊ธ€์ด ์ฐ์ด๋„ค์š”. ์ž˜๋ณด๊ณ  ๊ฐ‘๋‹ˆ๋‹ค ^^

1๊ฐœ์˜ ๋‹ต๊ธ€
comment-user-thumbnail
2020๋…„ 7์›” 27์ผ

์ •๋ง ์ข‹์€ ๊ธ€์ด๋„ค์š”! ๊ฐ์‚ฌํ•ฉ๋‹ˆ๋‹ค^^

1๊ฐœ์˜ ๋‹ต๊ธ€
comment-user-thumbnail
2020๋…„ 7์›” 27์ผ

ํฌ๋กค๋Ÿฌ๋กœ ๋จน๊ณ  ์‚ฌ๋Š”๋ฐ์š”. ๋ณธ๋ฌธ์ด ๋ฌด์—‡์„ ๋งํ•˜๊ณ ์ž ํ•˜๋Š”๊ฑด์ง€ ์•Œ๊ฒ ๋Š”๋ฐ..ํ ...

๋ณธ๋ฌธ์— ์žˆ๋Š” ์›นํฌ๋กค๋Ÿฌ๋Š” ๊ฒ€์ƒ‰์„ ์œ„ํ•œ ํฌ๋กค๋Ÿฌ์— ๊ฐ€๊น๊ณ  ์‚ฌ์‹ค ๊ฒ€์ƒ‰์— ์“ฐ๋ ค๊ณ  ์ผ๋ฐ˜์ธ ๋ˆ„๊ฐ€ ํฌ๋กค๋ง์„ ํ•˜๊ฒ ์–ด์š”. ๊ทธ๋ž˜์„œ ๋‰ด์Šค ๋Œ“๊ธ€ ๊ธ๊ธฐ ์ด๋Ÿฐ๋ฅ˜์˜ ๋ธ”๋กœ๊ทธ์— ๋Œ์•„๋‹ค๋‹ˆ๋Š” ํƒ€๊ฒŸํŒ…๋„ ์ €๋Š” ๋„“์€ ์˜๋ฏธ๋กœ ํฌ๋กค๋Ÿฌ๋ผ๊ณ  ์ƒ๊ฐํ•˜๋Š” ํŽธ์ด์—ฌ์„œ์š”. ์ด์ œ ์Šคํฌ๋ž˜ํ•‘์ด๋ž‘ ํฌ๋กค๋ง ๊ฐœ๋…์€ ๋ชจํ˜ธํ•œ ์ถ”์„ธ๋ผ..

์ฐธ๊ณ ๋กœ ์›น ๊ฒ€์ƒ‰ ๊ด€๋ จํ•ด์„œ ์“ฐ์‹œ๋ ค๊ณ  ํ•˜์…จ๋‹ค๋ฉด, ๋งˆ์ง€๋ง‰์— ํฌ๋กค๋ง ๊ฐ€๋Šฅ ์—ฌ๋ถ€์— ๋Œ€ํ•œ ๊ฒƒ์€ robots.txt ๋ฟ๋งŒ ์•„๋‹ˆ๋ผ meta ํƒœ๊ทธ์˜ nofollow ๋„ ๋ด์•ผ ํ•ฉ๋‹ˆ๋‹ค.

1๊ฐœ์˜ ๋‹ต๊ธ€
comment-user-thumbnail
2020๋…„ 7์›” 27์ผ

์ž˜ ๋ณด๊ณ  ๊ฐ‘๋‹ˆ๋‹ค. ํ•˜ํŠธ ๋ˆ„๋ฅด๋ ค๊ณ  ๊ฐ€์ž…ํ•˜๊ณ  ์ง€๋‚˜๊ฐ€๋„ค์š” ใ…Žใ…Ž

1๊ฐœ์˜ ๋‹ต๊ธ€
comment-user-thumbnail
2020๋…„ 8์›” 7์ผ

์ €๋„ ํฌ๋กค๋ง์ด๋ผ๊ณ  ํ•˜๋ฉด ๋‹จ์ˆœํžˆ ์›น๋ฌธ์„œ๋ฅผ ํŒŒ์‹ฑํ•ด์„œ ์›ํ•˜๋Š” ๋ฐ์ดํ„ฐ๋ฅผ ๊ธ์–ด์˜ค๋Š” ์ •๋„๋กœ ์•Œ๊ณ  ์žˆ์—ˆ๋Š”๋ฐ ์ƒ๊ฐ๋ณด๋‹ค ๊นŠ๊ณ  ๋ฐฉ๋Œ€ํ•œ ๊ฐœ๋…์ด์—ˆ๊ตฐ์š”. robots.txt์— ๋Œ€ํ•ด์„œ๋„ ์ฒ˜์Œ ์•Œ๊ฒŒ ๋˜์—ˆ๋Š”๋ฐ ๋„ค์ด๋ฒ„์—์„œ๋„ ์ œ๊ณต์„ ํ•˜๊ณ  ์žˆ์—ˆ๋„ค์š”. ๋ชฐ๋ž๋˜ ๊ฑธ ๋งŽ์ด ์•Œ์•„๊ฐ‘๋‹ˆ๋‹ค.

1๊ฐœ์˜ ๋‹ต๊ธ€
comment-user-thumbnail
2020๋…„ 8์›” 16์ผ

๊ทธ๋ ‡๋‹ค๋ฉด ํ”ํžˆ ํฌ๋กค๋Ÿฌ์™€ ์ฐฉ๊ฐํ•˜๋Š” ๋„๊ตฌ๊ฐ€ ์Šคํฌ๋ž˜ํผ์ธ๊ฑด๊ฐ€์š”??

3๊ฐœ์˜ ๋‹ต๊ธ€
comment-user-thumbnail
2020๋…„ 9์›” 12์ผ

๋ธ”๋กœ๊ทธ์— ์˜ฌ๋ฆฌ์‹  ๋ถ„๋“ค์ด ๋‹ค ํ† ๋ฅด๋ฐœ์ฆˆ๊ธ‰ ํ”„๋กœ๊ทธ๋ž˜๋จธ๋ผ์„œ ๊ธ€์„ ์˜ฌ๋ฆฌ๋Š”๊ฒŒ ์•„๋‹ˆ๋ผ ๋ฏธ์ˆ™ํ•œ๋Œ€๋กœ ๋ฐฐ์šด ๊ฑธ ์ž๊ธฐ ๋ธ”๋กœ๊ทธ์— ์˜ฌ๋ฆฌ๋Š”๊ฑฐ ์•„๋‹๊นŒ์š”? ๋ถ„๋ช…ํžˆ ํฌ๋กค๋ง์˜ ์‹œ์ž‘์ด๋ผ๊ณ  ํ•  ์ˆ˜ ์žˆ๋‹ค๊ณ  ๋ด…๋‹ˆ๋‹ค.

๋ง์”€ํ•˜์‹ ๋Œ€๋กœ ๋ธ”๋กœ๊ทธ ํฌ๋กค๋Ÿฌ ๋”ฐ๋ผํ•˜๋‹ค ํŽ˜์ด์ง€๊ฐ€ ์กฐ๊ธˆ๋งŒ ๋ฐ”๋€Œ์–ด๋„ ์•ˆ๋˜๋„ค? ๊ทธ๋Ÿผ ์–ด๋–ป๊ฒŒํ•˜์ง€? ํ•˜๋ฉด์„œ ๋ฐœ์ „ํ•  ์ˆ˜ ์žˆ๊ณ ์š”.

๊ธ€์“ด๋ถ„์˜ ๋ง์€ ๊ต‰์žฅํžˆ ์˜ค๋งŒํ•˜๊ฒŒ ๋“ค๋ฆฝ๋‹ˆ๋‹ค. ๊ธ€์“ฐ๊ธฐ์˜ ๋Œ€๊ฐ€๊ฐ€ ์ด ๊ธ€์„ ๋ณด๊ณ  ๋ฌธ๋ฒ•, ์–ด๋ฒ•๋„ ์•ˆ ๋งž๋Š” ๋น„๋ฌธํˆฌ์„ฑ์ด๋ฅผ ๋ธ”๋กœ๊ทธ์— ์˜ฌ๋ฆฌ๋ƒ๊ณ  ์ฐธ๊ฒฌํ•˜๋Š” ๊ฒƒ์ฒ˜๋Ÿผ์š”.

์‹œ์ž‘์€ ๋ˆ„๊ตฌ๋‚˜ ๋ฏธ์•ฝํ•˜๊ณ  ๋ฏธ์ˆ™ํ•ฉ๋‹ˆ๋‹ค. ๊ธ€ ๋‚ด์šฉ์—๋Š” ๊ณต๊ฐํ•˜์ง€๋งŒ ์ƒ๊ธฐํ•˜์‹ ๋Œ€๋กœ ๋ถˆ์พŒํ•˜๋„ค์š”. ์š•์„ค์ด ์•„๋‹ˆ๋ผ ๊ธ€์“ด๋ถ„์˜ ์ƒ๊ฐ์ด์š”.

4๊ฐœ์˜ ๋‹ต๊ธ€
comment-user-thumbnail
2020๋…„ 10์›” 14์ผ

๊ทธ๋ž˜์„œ ์ €๋Š” ๊ฐœ๋นก์ณ์„œ ์ˆ˜๋งŒ๊ฑด ์ˆ˜์‹ญ๋งŒ๊ฑด ์Šคํฌ๋ž˜ํ•‘ํ• ๋•Œ sns๋‚˜ ๋„ค์ด๋ฒ„ ์‡ผํ•‘๋ชฐ ๋ชฉ๋ก์ฒ˜๋Ÿผ ๋ฐ˜์‘ํ˜• ์›นํฌ๋กค๋งํ• ๋•Œ api๋‚˜ request ์•ˆ๋ถ€๋ฅด๊ณ  driver๋กœ ๊ณ ์† ํƒ์ƒ‰ํ›„ ๋ณ‘๋ ฌ์ฒ˜๋ฆฌ๋กœ ๋น ๋ฅด๊ฒŒ ์—ฐ์‚ฐ์ฒ˜๋ฆฌ์‹œํ‚ต๋‹ˆ๋‹ค.. ์ƒ๊ฐ๋ณด๋‹ค ํฌ๋กค๋ง์€ ๊ธฐ์ดˆ๋งŒ ํ›“์€๊ฑฐ์ง€ ์‚ฌ๋žŒ๋“ค์ด ๊นŠ์ด์žˆ๊ฒŒ ์Šคํฌ๋ž˜ํ•‘ํ•˜๋Š” ์ฝ”๋“œ๋Š” ์—†๋Š”๊ฑฐ ๊ฐ™๋„ค์˜.. ํฌ๋กค๋งํ•˜๊ณ  ์Šคํฌ๋ž˜ํ•‘์ด ๊ฒฐ์ฝ” ์‰ฌ์šด ๋ถ„์•ผ๊ฐ€ ์•„๋‹Œ๋Ž….. ์ฐฉ๊ฐ๋“ค ๋งŽ์ดํ•˜์‹œ๋Š”๋“ฏ ใ… ใ… ใ… ใ… 

1๊ฐœ์˜ ๋‹ต๊ธ€
comment-user-thumbnail
2020๋…„ 10์›” 28์ผ

์•ˆ๋…•ํ•˜์„ธ์š”! ๊ธ€ ์ž˜ ์ฝ์—ˆ์Šต๋‹ˆ๋‹ค. ์ด๋ฒˆ์— ๋ง‰ ํฌ๋กค๋ง์— ์ž…๋ฌธํ•ด์„œ ๋„์ „ํ•ด ๋ณด๋ ค๊ณ  ํ–ˆ๋Š”๋ฐ, ๋”ฑ ์ด ๊ธ€์„ ๋ฐœ๊ฒฌํ–ˆ๋„ค์š”. ์Šคํฌ๋ž˜ํ•‘์ด ์•„๋‹Œ ํฌ๋กค๋ง์„ ์—ฐ๊ตฌํ•ด ๋ณด๊ณ  ์‹ถ์€๋ฐ, ํ˜น์‹œ ๊ดœ์ฐฎ์€ ํŠœํ† ๋ฆฌ์–ผ์„ ์•Œ ์ˆ˜ ์žˆ์„๊นŒ์š”? ์›ฌ๋งŒํ•œ ํฌ์ŠคํŠธ๋“ค์€ ๋‹ค ์…€๋ฆฌ๋‹ˆ์›€ ํ˜น์€ BS๋ฅผ ์‚ฌ์šฉํ•˜๊ณ  ์žˆ์–ด์„œ์š”!

1๊ฐœ์˜ ๋‹ต๊ธ€
comment-user-thumbnail
2020๋…„ 10์›” 31์ผ

์ง„์ง€ํ•˜๊ฒŒ ์ฝ๊ณ  ์žˆ๋‹ค๊ฐ€ ๋””์ง€๋ชฌ ํ”„๋ก ํ‹ฐ์–ด ๋‚˜์˜ค๋Š” ์ˆœ๊ฐ„ ์ง‘์ค‘ ๊นจ์ ธ 10๋ถ„ ์‰ฌ์—ˆ์Šต๋‹ˆ๋‹ค.

1๊ฐœ์˜ ๋‹ต๊ธ€
comment-user-thumbnail
2020๋…„ 11์›” 3์ผ

๋ง‰์—ฐํ•˜๊ฒŒ ์ธํ„ฐ๋„ท์œผ๋กœ "์Šคํฌ๋ž˜ํ•‘"์„ ๋ฐฐ์šด ์ž…์žฅ์—์„œ ์ด๋Ÿฐ ๋ฐฉ๋Œ€ํ•œ ์ •๋ณด๊ฐ€ ์กด์žฌํ•˜๋Š”์ง€ ๋ชฐ๋ž์—ˆ๋„ค์š”..! ๊ทธ๋™์•ˆ ๋”ฐ๋ผํ•˜๋ฉด์„œ ๋ธ”๋กœ๊ทธ์— ํฌ์ŠคํŒ…ํ•œ๊ฒƒ๋„ ์ˆ˜์ •ํ•ด์•ผ๊ฒ ์–ด์š”!
๋‹จ๋ฐœ์„ฑ์œผ๋กœ ๋ฐ์ดํ„ฐ๋ฅผ ์ˆ˜์ง‘ํ•˜๋Š” ๊ด€์ ์ด๋ผ๋ฉด "์Šคํฌ๋ž˜ํ•‘"์ด ์ข‹์„์ง€ ๋ชจ๋ฅด๊ฒ ์œผ๋‚˜ ์žฅ๊ธฐ์ ์ธ ๊ด€์ ์—์„œ๋Š” ๊นŠ์ด์žˆ๋Š” ํƒ๊ตฌ๊ฐ€ ํ•„์š”ํ•˜๋‹จ ์ƒ๊ฐ์ด ๋“œ๋„ค์š”.
์ข‹์€ ๊ธ€ ๊ฐ์‚ฌํ•ฉ๋‹ˆ๋‹ค.

1๊ฐœ์˜ ๋‹ต๊ธ€
comment-user-thumbnail
2020๋…„ 11์›” 23์ผ

์ €๋„ ๊ทธ๋Ÿฐ ๊ธ€์„ ์ž‘์„ฑํ•œ ์‚ฌ๋žŒ ์ค‘ ํ•œ๋ช…์ด์–ด์„œ ๋ถ€๋„๋Ÿฝ๋„ค์š”. ๋ฌผ๋ก  ๊ณต๋ถ€ํ–ˆ๋˜๊ฑธ ๊ธฐ๋กํ•˜๊ธฐ ์œ„ํ•œ ๋ธ”๋กœ๊ทธ์˜€๋‹ค๊ณคํ•˜์ง€๋งŒ ์ด๋Ÿฐ ๋ฐฐ๊ฒฝ๋“ค์„ ์•Œ๊ณ  ์“ฐ๋Š”๊ฒƒ๊ณผ ๋ชจ๋ฅด๊ณ  ์“ฐ๋Š”๊ฒƒ์€ ๋ถ„๋ช… ๋‹ค๋ฅธ ๊ฒƒ ๊ฐ™์Šต๋‹ˆ๋‹ค. ์ง€๊ธˆ ๋‹ค์‹œ pypi์˜ bs4๋ฅผ ๊ฐ€๋ณด๋‹ˆ ๋ถ„๋ช… 'makes it easy to scrape information from web pages.' ๋ผ๊ณ  ์„ค๋ช…์ด ๋˜์–ด์žˆ๋„ค์š”. ์ข‹์€ ๊ธ€ ์ฝ๊ณ  ๋ธ”๋กœ๊ทธ ๊ธ€ ์กฐ๊ธˆ์ด๋งˆ ์ˆ˜์ •ํ•˜๋Ÿฌ ๊ฐ€๋ด…๋‹ˆ๋‹ค. ๊ฐ์‚ฌํ•ฉ๋‹ˆ๋‹ค!

1๊ฐœ์˜ ๋‹ต๊ธ€
comment-user-thumbnail
2020๋…„ 11์›” 26์ผ

์ƒˆ๋ฒฝ์— ์ž ์ด ์•ˆ ์™€ velog๋ฅผ ์ฝ๊ณ ์žˆ๋˜ ์ค‘ ๋ณด์„๊ฐ™์€ ํฌ์ŠคํŒ…์„ ์ฐพ์•˜๋„ค์š”! ์ €๋„ ๊ทธ ์ˆ˜๋งŽ์€ ๋ธ”๋กœ๊ทธ ํฌ์ŠคํŒ… ์ค‘ ํ•˜๋‚˜๋ฅผ ๋”ฐ๋ผํ•˜์—ฌ ํฌ๋กค๋Ÿฌ๋ฅผ ๋งŒ๋“ค๊นŒ ์ƒ๊ฐํ•˜๋˜ ์ค‘ ๊ทธ๊ฒƒ๋“ค์ด (์ง„์ •ํ•œ) ํฌ๋กค๋Ÿฌ๊ฐ€ ์•„๋‹ˆ์—ˆ์Œ์„ ๊นจ๋‹ซ๊ณ  ๊ฐ‘๋‹ˆ๋‹ค!

1๊ฐœ์˜ ๋‹ต๊ธ€
comment-user-thumbnail
2020๋…„ 12์›” 9์ผ

๋„ˆ๋ฌด ์ข‹์€ ๊ธ€ ์ž˜ ์ฝ๊ณ  ๊ฐ‘๋‹ˆ๋‹ค.
์ €๋„ bs4๋กœ ์Šคํฌ๋ž˜ํ•‘ํ•˜๋Š” ํ”„๋กœ๊ทธ๋žจ์„ ๋งŒ๋“  ์ ์ด ์žˆ๋Š”๋ฐ์š”.
์ด๋ฏธ ๋ถˆ๋ฒ•์œผ๋กœ ๋งŒํ™” ๋”ฐ์œ„์˜ ์ด๋ฏธ์ง€๋ฅผ ๊ณต์œ ํ•˜๋Š” ์‚ฌ์ดํŠธ๊ฐ€ ์žˆ๊ณ , ๊ทธ ์‚ฌ์ดํŠธ๋ฅผ ์Šคํฌ๋ž˜ํ•‘ํ•˜๋Š” ํ”„๋กœ๊ทธ๋žจ์„ ๋งŒ๋“ค์–ด์„œ ๊ณต์œ ํ•˜๋Š” ๊ฒƒ์€ ์œ„๋ฒ•์ผ๊นŒ์š”?
์ œ ๊ฐœ์ธ ์ทจ๋ฏธ๋กœ ๋งŒ๋“  ๊ฒƒ ์ธ๋ฐ, ํ˜น์‹œ๋‚˜ ํ•ด์„œ ์™ธ๋ถ€์— ๊ณต์œ ๋Š” ์•ˆํ•˜๊ณ  ์žˆ์Šต๋‹ˆ๋‹ค.
์ƒ๊ด€์ด ์—†๋‹ค๋ฉด github์ •๋„์— ์˜ฌ๋ฆฌ๋ ค๊ณ  ์ƒ๊ฐํ•˜๊ณ  ์žˆ๋Š”๋ฐ, ์˜๊ฒฌ ์ฃผ์‹ค ์ˆ˜ ์žˆ์„๊นŒ์š”?

1๊ฐœ์˜ ๋‹ต๊ธ€
comment-user-thumbnail
2020๋…„ 12์›” 13์ผ

์ง„์งœ ์›ƒ๊ธด ๋ถ„... ํ† ์ด ํ”„๋กœ์ ํŠธ์— ๋ฐ์ดํ„ฐ ์ˆ˜์ง‘ ํ•„์š”ํ•ด์„œ ์ด๊ฒƒ์ €๊ฒƒ ์ฐพ๋Š” ์ค‘์ด์—ˆ๋Š”๋ฐ ์ข‹์€ ๊ธ€ ๊ฐ์‚ฌํ•ฉ๋‹ˆ๋‹ค :)

1๊ฐœ์˜ ๋‹ต๊ธ€
comment-user-thumbnail
2020๋…„ 12์›” 24์ผ

ํฌ๋กค๋ง์—๋Œ€ํ•ด์„œ ๊ณต๋ถ€ํ•˜๋ ค๊ณ  ๊ฒ€์ƒ‰ํ•˜๋‹ค ๋ณด๊ฒŒ ๋˜์—ˆ์Šต๋‹ˆ๋‹ค. ์ •๋ง ์ข‹์€ ๊ธ€ ์ด๋„ค์š”. ๋งํฌ ๊ฑธ์–ด์ฃผ์‹  ๊ฒƒ๋“ค๋„ ์‹œ๊ฐ„ ๋ ๋•Œ ์ฝ์–ด๋ณด๋„๋ก ํ•˜๊ฒ ์Šต๋‹ˆ๋‹ค. ๋•๋ถ„์— ์ œ ์›น ์‚ฌ์ดํŠธ์—์„œ ํฌ๋กค๋ง๋ถ€๋ถ„์ด ์‹œ๊ฐ„์ด ์ง€๋‚˜ ์™œ ๋จนํ†ต์ด ๋๋Š”์ง€ ์•Œ๊ฒŒ ๋˜์—ˆ์Šต๋‹ˆ๋‹ค. ๊ธ€ ์ž‘์„ฑ์ž๋‹˜๊ป˜์„œ ๋ง์”€ํ•˜์‹  ๋Œ€์ถฉ ๋ธ”๋กœ๊ทธ ์ฝ”๋“œ ์ฐธ๊ณ ํ•ด์„œ ๊ธ์–ด์™€์„œ ๊ทธ๋Ÿฐ๊ฒƒ ๊ฐ™๋„ค์š”. ๊ฐ์‚ฌํ•ฉ๋‹ˆ๋‹ค.

1๊ฐœ์˜ ๋‹ต๊ธ€
comment-user-thumbnail
2020๋…„ 12์›” 25์ผ

์ข‹์€๊ธ€ ๊ฐ์‚ฌํ•ฉ๋‹ˆ๋‹ค ๐Ÿ˜
ํฌ๋กค๋ง์— ๊ด€ํ•ด์„œ "ํฌ๋กค๋ง์€ ์ด๋Ÿฐ๊ฑฐ๋‹ค"๋ผ๋Š” ๊ธ€์€ ๋งŽ์ด ์ฝ์–ด๋ดค์ง€๋งŒ,
์ด๋ ‡๊ฒŒ ํŒฉํŠธ๋กœ ๋งํ•ด์ฃผ์‹œ๋Š” ๋ถ„์˜ ๊ธ€์€ ์ฒ˜์Œ๋ดค์Šต๋‹ˆ๋‹ค

1๊ฐœ์˜ ๋‹ต๊ธ€
comment-user-thumbnail
2021๋…„ 1์›” 6์ผ

์›น ํฌ๋กค๋Ÿฌ ๋งŒ๋“ค์–ด๋ณด๋Š” ์ค‘์ธ ํ•™๋ถ€์ƒ์ž…๋‹ˆ๋‹ค. ์ €๋Š” ํ˜„์žฌ OpenSSL๊ณผ Winsock2๋งŒ ์ด์šฉํ•ด์„œ ํฌ๋กค๋Ÿฌ๋ฅผ ๋งŒ๋“ค์–ด๋ณด๋ ค ํ•˜๊ณ  ์žˆ์Šต๋‹ˆ๋‹ค. ์ด ๊ธ€์„ ์ง„์ž‘ ๋ดค์œผ๋ฉด ์ข€ ๋” ์‰ฝ๊ฒŒ ์„ค๊ณ„ํ–ˆ์„ ๋“ฏ ์‹ถ๋„ค์š”...ใ… ใ…  ํ™•์‹คํžˆ ์˜จ๋ผ์ธ ์ƒ์— ์ž๋ฃŒ๋ผ๊ณ ๋Š” ๋Œ€๋ถ€๋ถ„ ๋ผ์ด๋ธŒ๋Ÿฌ๋ฆฌ์™€ API, Bs4 ์ด์šฉํ•ด์„œ ์‰ฝ๊ฒŒ ์‰ฝ๊ฒŒ ๋งŒ๋“œ๋Š” ๋ฒ•์„ ์„ค๋ช…ํ•œ๊ฒŒ ์ „๋ถ€๋”๊ตฐ์š”... ๊ธ€์“ด๋ถ„ ๋ง์”€๋Œ€๋กœ ์˜จ๋ผ์ธ์— ์žˆ๋Š” ์ž๋ฃŒ๊ฐ€ ํฌ๋กค๋Ÿฌ๋ผ ๋ถˆ๋ฆด ๊ฐ€์น˜๊ฐ€ ์—†๋Š” ํ”„๋กœ๊ทธ๋žจ๋“ค์ธ ๊ฒƒ ๊ฐ™๊ธด ํ•ฉ๋‹ˆ๋‹ค. ํ•˜์ง€๋งŒ! ๊ณต๋ถ€ํ•˜๋Š” ํ•™๋ถ€์ƒ์œผ๋กœ์จ ๊ทธ๋Ÿฐ ํฌ์ŠคํŒ…๋“ค ์กฐ์ฐจ ๋งŽ์€ ๋„์›€์ด ๋์Šต๋‹ˆ๋‹ค. ์•„๋งˆ ์ € ์ˆ˜๋งŽ์€ ๊ธ€์„ ํฌ์ŠคํŒ…ํ•˜๊ณ  ๊ฐ•์˜ ์˜์ƒ์„ ์ฐ์€ ๋ถ„๋“ค๋„ ์ œ๋Œ€๋กœ ๋œ ํฌ๋กค๋Ÿฌ๋ฅผ ๋งŒ๋“ค์–ด ๋ณด๊ธฐ ์ „์— ๋‹ค์†Œ ์‰ฌ์šด ๋ฐฉ๋ฒ•์œผ๋กœ ์‹ค์Šตํ•ด๋ณด๋ผ๋Š” ๋ชฉ์ ์ด ์•„๋‹ˆ์—ˆ์„๊นŒ์š”?

1๊ฐœ์˜ ๋‹ต๊ธ€
comment-user-thumbnail
2021๋…„ 1์›” 8์ผ

Cloud market research ํ•˜๋‹ค๊ฐ€
ํฌ๋กค๋Ÿฌ๊ฐ€ ๋ญ์ง€? ํ•œ์ฐธ์„ ๋จธ๋ฌผ๋ €๋„ค์š” ใ…‹ ์ƒˆํ•ด ๋ณต ๋งŽ์ด ๋ฐ›์œผ์‹œ๊ณ  ์ข‹์€ ์ผ ๋งŽ๊ธฐ๋ฅผ ๊ธฐ๋Œ€ํ•ฉ๋‹ˆ๋‹ค. ํ›„์›์šฉ ํ•˜ํŠธ ์˜๋ ค๊ณ  ๊ฐ€์ž…๋„ ์™„๋ฃŒ : )

1๊ฐœ์˜ ๋‹ต๊ธ€

์•ˆ๋…•ํ•˜์„ธ์š”, ๊ธ€ ์ž˜ ์ฝ์—ˆ์Šต๋‹ˆ๋‹ค.
์ €๋Š” ์ •๋ง ์•„๋ฌด๊ฒƒ๋„ ๋ชจ๋ฅด๋Š” ์‚ฌ๋žŒ์ด๊ธดํ•œ๋ฐ ํ•œ๊ฐ€์ง€ ๊ถ๊ธˆํ•œ๊ฒŒ ์žˆ์–ด ๋Œ“๊ธ€ ๋‚จ๊น๋‹ˆ๋‹ค.
๊ทธ๋ƒฅ ํŠน์ • ํŽ˜์ด์ง€(์ปค๋ฎค๋‹ˆํ‹ฐ๊ฐ™์€)์—์„œ ์–ด๋–ค ํ‚ค์›Œ๋“œ๋“ค์ด ์žˆ๋Š”์ง€, ์–ด๋–ค ๋™ํ–ฅ์ธ์ง€ ์ •๋„์˜ ์ผํšŒ์ ์ธ ๋ฐ์ดํ„ฐ๋งŒ ์–ป์–ด๋„ ๋˜๋Š” ๊ฒฝ์šฐ๋ผ๋ฉด ์ธํ„ฐ๋„ท์— ๋‚˜์™€์žˆ๋Š” ๊ทธ๋Ÿฌํ•œ ๋ฐฉ๋ฒ•๋“ค๋กœ ์ž‘์—…์„ ํ•ด๋„ ๋ฌธ์ œ๊ฐ€ ์—†๋Š” ๊ฒƒ์ธ๊ฐ€์š”?

3๊ฐœ์˜ ๋‹ต๊ธ€
comment-user-thumbnail
2021๋…„ 2์›” 17์ผ

ํฌ๋กค๋ง์ด ๋ญ์ง€ํ•˜๊ณ  ์ฐพ์•„๋ณด๋˜ ์ค‘์— ์œ ์ตํ•œ ๊ธ€ ๋„ˆ๋ฌด ๊ฐ์‚ฌ๋“œ๋ฆฝ๋‹ˆ๋‹ค. ํฌ๋กค๋ง ์ฐพ์•„๋ณด๋ฉด ์ฃ„๋‹ค API๋กœ ์ง์ ‘ ๊ฐ€์„œ ๊ธ์–ด์˜ค๋˜๋ฐ ์ด๊ฒŒ ๊ทธ ์ด์œ ์˜€๊ตฐ์š”???
์ง์ ‘ ๊ตฌํ˜„ํ•˜๊ธฐ ์–ด๋ ค์šด ๋ถ„์•ผ๋ผ๋Š”๊ฒƒ์„ ๋‹ค์‹œ ์•Œ๊ฒŒ๋˜์—ˆ์Šต๋‹ˆ๋‹ค ^0^...
๊ทธ๋ฆฌ๊ณ  ๋งํฌ ํ•˜๋‚˜ํ•˜๋‚˜ ๋‹ฌ์•„์ฃผ์‹ ๊ฑฐ ๊ฐ์‚ฌ๋“œ๋ฆฝ๋‹ˆ๋‹ค~~~!

1๊ฐœ์˜ ๋‹ต๊ธ€
comment-user-thumbnail
2021๋…„ 2์›” 17์ผ

์ข‹์€ ๊ธ€ ์ž˜ ์ฝ์—ˆ์Šต๋‹ˆ๋‹ค. ์ €๋„ ๋‹ค๋ฅธ ๋ถ„์•ผ์—์„œ ์ผํ•˜๋‹ค๊ฐ€ ๊ฐœ๋ฐœ์— ๊ด€์‹ฌ์ด ์ƒ๊ฒจ์„œ ๊ธฐ์›ƒ๊ธฐ์›ƒ๋Œ€๋Š” ์ค‘์ธ๋ฐ, ๋งˆ์น˜ ์šฐ๋ฌผ๋ฐ–์˜ ํ’๊ฒฝ์„ ๋ณธ ๋Š๋‚Œ์ž…๋‹ˆ๋‹ค. ๋‰ด๋น„์ž…์žฅ์—์„  ์ œ๋Œ€๋กœ ๋œ ์ •๋ณด๋ฅผ ํŒ๋‹จํ•  ๋Šฅ๋ ฅ์ด ์—†๋Š”๋ฐ ๊ต์œก์—์„œ ์…€๋ ˆ๋Š„, bs4 ๋ฅผ ํฌ๋กค๋ง์ด๋ผ๊ณ  ์•Œ๋ ค์ฃผ๋‹ค๋ณด๋‹ˆ ๊ทธ๊ฑธ ๊ทธ๋Œ€๋กœ ๋ฐ›์•„๋“ค์ด๊ฒŒ ๋˜๋Š” ๊ฒƒ ๊ฐ™๋„ค์š”. ์‚ฌ์‹ค ์ €๋„ ์…€๋ ˆ๋Š„ ์“ฐ๋ฉด์„œ ์–ด์ฐจํ”ผ ๋ชจ๋“  ํŽ˜์ด์ง€์˜ ํŠน์ • ์…€๋ ‰ํ„ฐ๋ฅผ ์ผ์ผ์ด ์ฐพ์•„์„œ ์ž…๋ ฅํ•ด์•ผํ•˜๋ฉด ์ƒ๊ฐ๋ณด๋‹ค ์šฉ๋„๊ฐ€ ์ œํ•œ์ ์ด๋„ค?? ๋ผ๋Š” ์ƒ๊ฐ์„ ํ•˜๊ธด ํ–ˆ์—ˆ์Šต๋‹ˆ๋‹ค๋งŒ.... ํฌ๋กค๋ง์ชฝ์œผ๋กœ ๊นŠ๊ฒŒ ๊ณต๋ถ€ํ•  ๊ณ„ํš์€ ์—†์ง€๋งŒ ์ ์–ด๋„ ๋ˆˆ์•ž์— ๋ณด์ด๋Š”๊ฒŒ ๋‹ค๊ฐ€ ์•„๋‹ˆ๊ณ  ๊ทธ ๋„ˆ๋จธ์— ์ง„์งœ๊ฐ€ ์žˆ๋‹ค๋Š” ๊ฒƒ์„ ์•Œ๊ฒŒ ๋˜์–ด์„œ ๊ธฐ๋ถ„์ด ์ข‹์Šต๋‹ˆ๋‹ค. ์กฐ๊ธˆ ๋Šฆ์—ˆ์ง€๋งŒ ์ƒˆํ•ด ๋ณต ๋งŽ์ด ๋ฐ›์œผ์„ธ์š”.

1๊ฐœ์˜ ๋‹ต๊ธ€
comment-user-thumbnail
2021๋…„ 3์›” 1์ผ

์ด๊ฑด ๋งˆ์น˜ ์‹œ์ค‘์— ๋– ๋Œ์•„๋‹ค๋‹ˆ๋Š” ๊ฒŒ์ž„ ๋งคํฌ๋กœ๋“ค์€ ๋งคํฌ๋กœ๋„ ์•„๋‹ˆ๋‹ค ๋ผ๊ณ  ๋งํ•˜๋Š” ๊ฑฐ๋ž‘ ๋งˆ์ฐฌ๊ฐ€์ง€๋„ค. ๋‹น์—ฐํžˆ ํ•ด๋‹น ๋ถ„์•ผ๋ฅผ ์กฐ๊ธˆ ๋” ๊นŠ๊ฒŒ ๊ณต๋ถ€ํ•ด๋ด๋„ ๋ณธ๋ฌธ ๋‚ด์šฉ์€ ์•„๋Š” ๊ฑฐ๊ณ  ์˜คํžˆ๋ ค ๋ง์”€ํ•˜์‹  ๋ธ”๋กœ๊ทธ๋“ค์ด ํฌ๋กค๋Ÿฌ๋ผ๋Š” ์šฉ์–ด๋ฅผ ์ผ๋ฐ˜์‚ฌ๋žŒ๋“ค์—๊ฒŒ๋„ ์ „ํŒŒํ•ด์ฃผ๋Š” ์ข‹์€ ์˜ํ–ฅ์„ ์ฃผ๊ณ  ์žˆ๋Š” ๊ฑด๋ฐ. ๋ชจ๋“  ํ•™๋ฌธ์€ ์žฅ๋‚œ๊ฐ์ฒ˜๋Ÿผ ๊ฐ€์ง€๊ณ ๋†€๋ฉด์„œ ์‹œ์ž‘ํ•˜๋Š” ๊ฑฐ์ง€ ๋ฌธ๋ฒ• ํ‹€๋ ธ๋‹ค๊ณ  ์˜์–ด ๋งํ•˜์ง€ ๋ง๋ผ๋Š” ๊ฑฐ๋ž‘์€ ๊ฑฐ๋ฆฌ๊ฐ€ ๋ฉ€๋‹ค๊ณ  ์ƒ๊ฐํ•ฉ๋‹ˆ๋‹ค๋งŒ.

2๊ฐœ์˜ ๋‹ต๊ธ€
comment-user-thumbnail
2021๋…„ 3์›” 3์ผ

๊ฐœ๋ฐœ ๋‰ด๋น„ ๋Œ€ํ•™์ƒ์ž…๋‹ˆ๋‹ค. ๊ฐœ์ธ ํ”„๋กœ์ ํŠธ๋กœ ์ฃผ์‹ ๊ด€๋ จ ๋‰ด์Šค ์›นํฌ๋กค๋ง์ด๋‚˜ ํ•ด๋ณผ๊นŒ ํ•ด์„œ ๊ฒ€์ƒ‰ํ•˜๋‹ค๊ฐ€ ์ƒ๊ฐ๋ณด๋‹ค ๋ผˆ ๋•Œ๋ฆฌ๋Š”(?) ๊ฒŒ์‹œ๋ฌผ์„ ๋ณด๊ฒŒ๋๋„ค์š” ใ…‹ใ…‹ใ…‹ใ…‹ ์—ญ์‹œ ์•„๋ฌด๋ ‡๊ฒŒ๋‚˜ css selector์–ป์–ด์„œ ํ…์ŠคํŠธ ๊ธ์–ด์˜ค๋Š”๊ฑด ๋ฉ์ฒญํ•œ ๋ฐฉ์‹์ด๋ผ๋Š”๊ฑธ ๋ฐฐ์› ์Šต๋‹ˆ๋‹ค. ์ž˜ ๋ชจ๋ฅด๊ณ  ์›นํฌ๋กค๋งํ•˜๊ธฐ๋ณด๋‹ค ๊ทธ๋ƒฅ ๋„ค์ด๋ฒ„์˜ ์˜คํ”ˆ API๋ฅผ ์“ฐ๋Š”๊ฒŒ ๋‚˜์„ ๊ฒƒ ๊ฐ™์Šต๋‹ˆ๋‹ค :) ๊ฐ์‚ฌํ•ฉ๋‹ˆ๋‹ค!

1๊ฐœ์˜ ๋‹ต๊ธ€
comment-user-thumbnail
2021๋…„ 3์›” 5์ผ

๊ฐ์‚ฌํ•ฉ๋‹ˆ๋‹ค.
๋ธ”๋กœ๊ทธ์— ํฌ๋กค๋ง์ด๋ผ ์ ์€ ๋‹จ์–ด๋“ค์„ scrap์ด๋ผ๊ณ  ๋ฐ”๊ฟ”์•ผ๊ฒ ๋„ค์š”.
๋•๋ถ„์— ํฌ๋กค๋ง์ด๋ผ๋Š” ์ƒˆ๋กœ์šด ๋ถ„์•ผ๋ฅผ ์•Œ๊ฒŒ๋ฌ์Šต๋‹ˆ๋‹ค.
์™œ scrapy์ด๋ฆ„์ด scrap์ธ์ง€ ์ด์ œ ๋Š๋‚๋‹ˆ๋‹คใ…‹ใ…‹

1๊ฐœ์˜ ๋‹ต๊ธ€
comment-user-thumbnail
2021๋…„ 3์›” 24์ผ

' ๊ธฐ๋ถ€ํ•˜์‹  ๋ˆ์€ ์‚ฌ๋ฆฌ์‚ฌ์š•์„ ์œ„ํ•ด ์‚ฌ์šฉ๋ฉ๋‹ˆ๋‹ค. ' ์ •๋ง ๋งˆ์Œ์— ๋“œ๋Š” ๋ฌธ๊ตฌ๋„ค์š”
์ข‹์€๊ธ€ ์ž˜๋ณด๊ณ  ๊ฐ‘๋‹ˆ๋‹ค :-)

1๊ฐœ์˜ ๋‹ต๊ธ€
comment-user-thumbnail
2021๋…„ 4์›” 3์ผ

ํฌ๋กค๋ง์„ ์™„์ „ํžˆ ์˜คํ•ดํ•˜๊ณ  ์žˆ์—ˆ๋„ค์š”.. ์ด ๋‹จ์–ด๊ฐ€ ์ด๋ ‡๊ฒŒ ์ž˜๋ชป ์ „ํŒŒ๋˜๊ณ  ์žˆ์—ˆ๋‹ค๋‹ˆ.. ํฌ๋กค๋ง์ด๋ผ ๋ถˆ๋ฆฌ๋Š” ๋Œ€๋ถ€๋ถ„์˜ ๊ฒƒ๋“ค์€ ์–ผ๋ฅธ ์Šคํฌ๋ž˜ํ•‘ ์ด๋ผ๊ณ  ๊ณ ์ณ์•ผ๊ฒ ๋„ค์š”.
์ข‹์€ ๊ธ€ ๊ฐ์‚ฌ๋“œ๋ฆฝ๋‹ˆ๋‹ค!!

1๊ฐœ์˜ ๋‹ต๊ธ€
comment-user-thumbnail
2021๋…„ 4์›” 10์ผ

์ž˜ ์ฝ์—ˆ์Šต๋‹ˆ๋‹ค.
๋‹ค๋ฅธ ๋ธ”๋กœ๊ทธ์—์„œ ํฌ๋กค๋Ÿฌ๋ผ๋Š” ์šฉ์–ด๋ฅผ ๊ณ„์† ์‚ฌ์šฉํ•˜๋Š” ๊ฑด, ์—ญ์‹œ ๋ชจ๋นˆ์ผˆ๋‹˜์˜ ํ‘œํ˜„๋Œ€๋กœ ๋งˆ๋•…ํ•œ ๋‹ค๋ฅธ ์šฉ์–ด๊ฐ€ ์—†๊ธฐ ๋•Œ๋ฌธ์ธ ๊ฒƒ ๊ฐ™์•„์š”. ๊ทธ๋Ÿฐ๋ฐ, ์—ฌ๋Ÿฌ ํŽ˜์ด์ง€๋ฅผ ์ˆœํšŒํ•˜๋ฉฐ html ๊ตฌ์กฐ ๋‚ด์—์„œ ์›ํ•˜๋Š” ๋ฐ์ดํ„ฐ๋ฅผ ์ฐพ์•„๋‚ธ๋‹ค๋Š” ๋ชฉ์ ์„ฑ์„ ๊ณ ๋ คํ•œ๋‹ค๋ฉด, ๋น„๊ต์  ์œ ์‚ฌํ•œ ๊ฐœ๋…์˜ ์šฉ์–ด ํฌ๋กค๋Ÿฌ๋ฅผ ์‚ฌ์šฉํ•˜๋Š” ๊ฑด ๊ทธ๋ฆฌ ์ž˜๋ชป๋˜์–ด ๋ณด์ด์ง€ ์•Š๊ฑฐ๋“ ์š”. ์ด๋Ÿฐ ์ ์—์„œ ๋ณด๋ฉด ํฌ๋กค๋Ÿฌ๋ผ๋Š” ์šฉ์–ด๋Š” ํ˜„์žฌ ์˜ค์šฉ๋˜๊ณ  ์žˆ๋Š” ๊ฒƒ์ด ์•„๋‹ˆ๊ณ , ๊ทธ ๊ฐœ๋…์ด ์ ์  ๋” ํ™•์žฅ๋˜๊ณ  ์žˆ๋Š” ์ƒํ™ฉ์ด๋ผ๊ณ  ๋ณผ ์ˆ˜ ์žˆ์„ ๊ฒƒ ๊ฐ™์€๋ฐ.. ์ด๋Ÿฐ ๊ฒฌํ•ด์— ๋Œ€ํ•ด์„œ๋Š” ์–ด๋–ป๊ฒŒ ์ƒ๊ฐํ•˜์‹œ๋‚˜์š”?

1๊ฐœ์˜ ๋‹ต๊ธ€
comment-user-thumbnail
2021๋…„ 4์›” 12์ผ

์•„ ์กด๋‚˜ ์›ƒ๊ธฐ๋„ค. ํ˜• ๋ญ์•ผ. ๋ฉ‹์ง€์ž–์•„

1๊ฐœ์˜ ๋‹ต๊ธ€
comment-user-thumbnail
2021๋…„ 4์›” 23์ผ

๋ณธ๋ฌธ ๋‚ด์šฉ์ด๋ž‘์€ ๋ณ„ ์ƒ๊ด€ ์—†์ง€๋งŒ ์—ฌ๊ธฐ์–ด๋•Œ ์•ผ๋†€์ž ํฌ๋กค๋ง(Hmm..) ์‚ฌํƒœ๋Š” ํ•ญ์†Œ์‹ฌ์—์„œ ๋ฌด์ฃ„ ๋ฐ›์•˜๋”๊ตฐ์š”.

1๊ฐœ์˜ ๋‹ต๊ธ€
comment-user-thumbnail
2021๋…„ 5์›” 5์ผ

zz ์š•์„ค ๋ ˆ๋ฒจ 2๋ผ๋‹ˆ ๋ญ ๊ธฐ๋ถ„๋‚˜์ ๊ฒƒ๋„ ์—†๋„ค์š”
๋‹ค๋งŒ ์›น ํฌ๋กค๋Ÿฌ์ข€ ๊ทธ๋งŒ ๋งŒ๋“ค์–ด๋ผ๋ณด๋‹จ ์›น ํฌ๋กค๋Ÿฌ๋ž€ ๋ง ๊ฐ–๋‹ค ๋ถ™์ด์ง€ ๋ง๋ผ๋Š”์ชฝ์ด ์ œ๋ชฉ์— ๋” ๋งž์„๊ฑฐ๊ฐ™๋„ค์š”

1๊ฐœ์˜ ๋‹ต๊ธ€
comment-user-thumbnail
2021๋…„ 5์›” 26์ผ

์•ˆ๋…•ํ•˜์„ธ์š”. ํฌ๋กค๋ง์— ๋Œ€ํ•œ ๊ฐœ๋…์„ ์ฐพ์•„๋ณด๋˜ ์ค‘ ํ•ด๋‹น๊ธ€์„ ์ฐพ๊ฒŒ๋˜์–ด ํฅ๋ฏธ๋กญ๊ฒŒ ์ฝ์—ˆ์Šต๋‹ˆ๋‹ค.
์ง€๊ธˆ๊นŒ์ง€ ํฌ๋กค๋ง์„ ์›นํŽ˜์ด์ง€์˜ ๋‚ด์šฉ๋ณต์‚ฌ๋กœ ์ƒ๊ฐํ•˜๊ณ  css selector๋ฅผ ์‚ฌ์šฉํ•˜๋Š”๊ฒƒ์ด ๋‹น์—ฐํ•˜๋‹ค ์ƒ๊ฐํ•ด์™”๊ธฐ ๋•Œ๋ฌธ์— ๋ง์”€ํ•˜์‹  ํฌ๋กค๋ง์ด ์–ด๋–ค๊ฐœ๋…์ธ์ง€, ์–ด๋–ค ๋ฐฉ์‹์œผ๋กœ ๋™์ž‘ํ• ์ง€ ๊ถ๊ธˆํ•ด์กŒ์Šต๋‹ˆ๋‹ค.
๊ธ€์—์„œ ๋ง์”€ํ•˜์‹œ๋Š” ๋‚ด์šฉ์„ ์ž˜๋ชป์งš์€๊ฒƒ ๊ฐ™๊ธด ํ•˜์ง€๋งŒ,
[๋‰ด์ŠคํŽ˜์ด์ง€์—์„œ ๋‰ด์Šค์ œ๋ชฉ์„ ๊ฐ€์ ธ์˜ค๊ธฐ] ๊ฐ™์€ ๋ฐฉ์‹์˜ ํฌ๋กค๋ง์„ ์œ„์—์„œ ๋ง์”€ํ•ด์ฃผ์‹ 
ํ…์ŠคํŠธ ๋ฐ€๋„๋ฅผ ํ†ตํ•œ DOM๊ธฐ๋ฐ˜ ์ปจํ…์ธ  ์ถ”์ถœ , ํ•˜์ดํผ ๋งํฌ๋ฅผ ํ†ตํ•œ ํŽ˜์ด์ง€ ํƒ์ƒ‰ ๋“ฑ์„ ์ด์šฉํ•ด ๋งŒ๋“œ๋Š”๊ฒƒ์ด ๊ฐ€๋Šฅํ•œ์ง€ ๊ถ๊ธˆํ•ฉ๋‹ˆ๋‹ค.
์•„์ง ๋ฐฐ์šฐ๋Š” ๋‹จ๊ณ„๋ผ ์งˆ๋ฌธ์ด ๋งŽ์ด ๋ชจ์ž๋ž„ ์ˆ˜ ์žˆ์Šต๋‹ˆ๋‹ค. ํ•˜์ง€๋งŒ ์ธํ„ฐ๋„ท ํฌ๋กค๋ง์„ ๊ตฌํ˜„ํ•˜๋ ค๋Š” ๋ชฉํ‘œ๊ฐ€ ์žˆ์–ด ๋ง์”€ํ•˜์‹  ๋‚ด์šฉ์ด ๊ถ๊ธˆํ•ด ๊ธ€ ๋‚จ๊ฒจ๋ด…๋‹ˆ๋‹ค.

1๊ฐœ์˜ ๋‹ต๊ธ€
comment-user-thumbnail
2021๋…„ 6์›” 30์ผ

์ •๋ง ์ข‹์€ ๋‚ด์šฉ ์ž˜ ๋ดค์Šต๋‹ˆ๋‹ค.
๊ทผ๋ฐ ๋งŒ์•ฝ robots.txt ์„ค์ •์„ ์•ˆํ•ด๋†“์€ ์‚ฌ์ดํŠธ์˜ ๊ฒฝ์šฐ์—๋Š” ๊ฐ€๋Šฅํ•˜๋ฉด ํฌ๋กค๋ง์„ ์•ˆํ•˜๋Š”๊ฒŒ ์ผ๋ฐ˜์ ์ผ๊นŒ์š”?

1๊ฐœ์˜ ๋‹ต๊ธ€
comment-user-thumbnail
2021๋…„ 8์›” 8์ผ

๊ณ ๋งˆ์›Œ์š” ํฌ๋กค๋Ÿฌํฌ๋กค๋Ÿฌ ๋“ค์–ด๋งŒ ๋ณด๋‹ค๊ฐ€ ๋ณด๊ฒŒ๋œ ์ฒซ ๊ฒŒ์‹œ๋ฌผ์ด ์ด๊ณณ์ด๋ผ ์ž˜๋ฐฐ์›Œ๊ฐ‘๋‹ˆ๋‹ค.

1๊ฐœ์˜ ๋‹ต๊ธ€
comment-user-thumbnail
2021๋…„ 8์›” 9์ผ

ใ…‹ใ…‹ใ…‹ใ…‹ ๋„ˆ๋ฌด ๋งž๋Š”๋ง์ธ๋ฐ ์ดˆ๋ณด์žํ•œํ…Œ ์ด๋ ‡๊ฒŒ ์„ค๋ช…ํ•˜๋ฉด ๋ชป ์•Œ์•„๋“ค์œผ๋‹ˆ๊นŒ ์–ด์ฉ” ์ˆ˜ ์—†๋Š” ๋ถ€๋ถ„์ธ ๊ฒƒ ๊ฐ™์•„์š”. ๋ญ๋ž„๊นŒ ํฌ๋กค๋ง์˜ ๋‹จํŽธ์ ์ธ ์˜ˆ์‹œ๋ฅผ ๋ณด์—ฌ์ฃผ๋Š” ๊ฒŒ ์š”์ฆ˜ ๋ธ”๋กœ๊ทธ๋“ค์— ๋‚˜์™€์žˆ๋Š” ์ฝ”๋“œ๋“ค์ด์ฃ . ์ž˜ ์ฝ๊ณ  ๊ฐ‘๋‹ˆ๋‹ค.

1๊ฐœ์˜ ๋‹ต๊ธ€
comment-user-thumbnail
2021๋…„ 8์›” 10์ผ

ํฌ๋กค๋ง์— ๊ด€ํ•œ ๋ธ”๋กœ๊ทธ ํฌ์ŠคํŒ…์—์„œ ์ด ๋ธ”๋กœ๊ทธ ๋งํฌ๋ฅผ ๋‹ฌ์•˜์Šต๋‹ˆ๋‹ค.
robots.txt ๋“ฑ ์ค‘์š”ํ•œ ๋ฌธ์ œ๋ฅผ ์ž˜ ์งš์–ด์ฃผ์‹  ๊ธ€์ด๋ผ๊ณ  ์ƒ๊ฐํ•ฉ๋‹ˆ๋‹ค.
https://cat-minzzi.tistory.com/18 https://cat-minzzi.tistory.com/17

1๊ฐœ์˜ ๋‹ต๊ธ€
comment-user-thumbnail
2021๋…„ 12์›” 1์ผ

๋ฐ์ดํ„ฐ์ˆ˜์ง‘ ์ฒจํ• ๋•Œ ์ฝ”๋”ฉ ์ œ๋Œ€๋กœ ์•ˆ๋ฐฐ์šด์ƒํƒœ์—์„œ bs4 ๋…ผ๋ฆฌํ๋ฆ„์ฝ”๋“œ๋กœ ์›น์Šคํฌ๋žฉํ–ˆ๋Š”๋ฐ
์ž ๊น ๋Œ๋ฆฌ๋‹ค๊ฐ€ ์–ด ์ด๊ฑฐ ๋””๋„์Šค๊ณต๊ฒฉ ์•„๋‹Œ๊ฐ€? ์‹ถ์–ด์„œ ์ค‘๋‹จํ•˜๊ณ  ํƒ€์ž„์Šฌ๋ฆฝ2์ดˆ๊ฑธ๊ณ ํ•จ
์ง€๊ธˆ์€ ๋‹ค ๋ฐฐ์›Œ์„œ ๋ฆฌํŒฉํ† ๋ง, ์ตœ์ ํ™”ํ•˜๋ ค๊ณ  sleep ๊ธฐ์ค€ ์žˆ๋Š”์ง€ ๊ฒ€์ƒ‰์ค‘
์›น์Šคํฌ๋žฉ์€ ํŠน์ • ๋ชฉ์ ์ด ์žˆ์–ด์„œ 1ํšŒ์„ฑ์œผ๋กœ ๋Œ๋ฆฌ๋ฉด ๋์ธ๋ฐ ํฌ๋กค๋ง์€ ๋ญํ• ๋•Œ ์“ฐ๋Š”์ง€ ๊ถ๊ธˆํ•จ ๊ทธ๋Ÿฐ๋ฐ ์•„์ง ์•Œ๊ณ ์‹ถ์ง€์•Š์Œ

1๊ฐœ์˜ ๋‹ต๊ธ€
comment-user-thumbnail
2021๋…„ 12์›” 4์ผ

์ด๋ฏธ ์•Œ๊ณ ์žˆ๋Š” ์›น์‚ฌ์ดํŠธ ๋ฟ๋งŒ์ด ์•„๋‹ˆ๋ผ ๋ชจ๋ฅด๋Š” ์›น์‚ฌ์ดํŠธ์—์„œ๋„ ์ •๋ณด๋ฅผ ๋ชจ์•„์˜ค๋„๋ก ๋งŒ๋“œ๋Š” ๊ฒƒ์ด ํฌ๋กค๋ง์˜ ํ•ต์‹ฌ์ธ ๊ฒƒ ๊ฐ™์Šต๋‹ˆ๋‹ค ์ฃผ์ธ์žฅ๋‹˜์ด ๋ง์”€ํ•˜์‹  ๋Œ€๋กœ๋ฉด ์ ์  ์—ฌ๋Ÿฌ ์›น์‚ฌ์ดํŠธ์—์„œ ์ •๋ณด๋ฅผ ๋ชจ์•„์˜ฌ ์ˆ˜ ์žˆ๊ฒŒ ๋˜๊ฒ ๋„ค์š” ๊ถ๊ธˆํ–ˆ๋˜ ๋ถ€๋ถ„์ด ํ•ด๊ฒฐ๋์Šต๋‹ˆ๋‹ค ํ™•์‹คํžˆ ๋‹ค๋ฅธ ๋ธ”๋กœ๊ทธ์—์„œ๋Š” ํฌ๋กค๋ง์„ ์ž˜๋ชป๋œ ๊ฐœ๋…์œผ๋กœ ์†Œ๊ฐœํ•˜๊ณ  ์žˆ๋Š” ๊ฒƒ ๊ฐ™์Šต๋‹ˆ๋‹ค. ๊ทธ๊ฒƒ๋“ค์€ ํ•œ์ •๋œ ์‚ฌ์ดํŠธ์—์„œ๋งŒ ์ •๋ณด๋ฅผ ๋ชจ์•„์˜ค๋‹ˆ๊นŒ์š”

1๊ฐœ์˜ ๋‹ต๊ธ€
comment-user-thumbnail
2022๋…„ 1์›” 5์ผ

์šฐ๋ฆฌ๋Š” ๊ทธ๊ฒƒ์„ ์Šคํฌ๋ž˜ํผ๋ผ๊ณ  ๋ถ€๋ฅด๊ธฐ๋กœ ํ–ˆ์–ด์š”

1๊ฐœ์˜ ๋‹ต๊ธ€
comment-user-thumbnail
2022๋…„ 1์›” 7์ผ

zzz์žฌ๋ฐŒ๊ฒŒ ์ฝ์—ˆ์Šต๋‹ˆ๋‹ค!

1๊ฐœ์˜ ๋‹ต๊ธ€
comment-user-thumbnail
2022๋…„ 1์›” 15์ผ

์ •๋ง ๊ฐ์‚ฌํ•ฉ๋‹ˆ๋‹ค. ์ œ๊ฐ€ ๋„ˆ๋ฌด ํ•˜๊ณ  ์‹ถ์—ˆ๋˜ ๋ง์ธ๋ฐ, ๋‹น์‹ ์ด ์ง์ ‘ ํ•ด์ฃผ์…”์„œ ๋„ˆ๋ฌด ํ–‰๋ณตํ•˜๋„ค์š” ใ…Žใ…Ž
๋˜๋„ ์•Š๋Š” ์–„ํŒํ•˜๊ฒŒ ์ฃผ์œ„๋“ค์€ ๊ฑฐ ๊ฐ€์ง€๊ณ  ๋งˆ์น˜ ์ž๊ธฐ๊บผ๋ผ๊ณ  ๋–ต๋–ต๊ฑฐ๋ฆฌ๋Š” ๋ฉ์ฒญํ•œ ์‚ฌ๋žŒ๋“ค ๋•Œ๋ฌธ์— ์ €๋„ ๋„ˆ๋ฌด ๋‹ต๋‹ตํ–ˆ๋Š”๋ฐ ์ •๋ง๋กœ ๊ฐ์‚ฌํ•ฉ๋‹ˆ๋‹ค... ์ •๋ง๋กœ... ์ œ ์ƒ๋ช…์˜ ์€์ธ์ด์‹ญ๋‹ˆ๋‹ค.

1๊ฐœ์˜ ๋‹ต๊ธ€
comment-user-thumbnail
2022๋…„ 1์›” 18์ผ

๋Œ€ํ•™๊ต ์กธ์—…์ž‘ํ’ˆ์œผ๋กœ ์ง„ํ–‰ํ•˜๋Š” ๋‚ด์šฉ ์ค‘, ํฌ๋กค๋ง์„ ์‚ฌ์šฉํ•˜๊ฒŒ๋˜์–ด ์ธํ„ฐ๋„ท์„ ๋Œ์•„๋‹ค๋…€๋ณด๊ณ  ์žˆ์—ˆ๋Š”๋ฐ ์ผ๋ถ€์˜ ์‚ฌ์šฉ์„ ์ „์ฒด๋กœ ์ ์šฉํ•  ์ˆ˜ ์žˆ๋Š” ๊ฒƒ ๋งˆ๋ƒฅ, ๋˜ ๋ณ€๊ฒฝ์— ๋Œ€ํ•ด์„œ๋Š” ์–ด์ฉ” ์ˆ˜ ์—†๋‹ค๋Š” ์‹์˜ ์ฝ”๋“œ๋งŒ ๋ณด๋‹ค๊ฐ€ ์ด์ œ์•ผ ๋งˆ์Œ์ด ๋†“์ด๋Š” ๊ธ€์„ ๋ณด๊ฒŒ ๋˜์—ˆ๋„ค์š”. ๊ฒŒ์‹œ๊ธ€ ์ž‘์„ฑํ•˜์‹œ๋Š๋ผ ๊ณ ์ƒํ•˜์…จ์Šต๋‹ˆ๋‹ค! ์ž˜๋ณผ๊ฒŒ์š”!! ๐Ÿ˜˜

1๊ฐœ์˜ ๋‹ต๊ธ€
comment-user-thumbnail
2022๋…„ 5์›” 3์ผ

์ข‹์€ ๊ธ€ ์ž‘์„ฑํ•ด์ฃผ์…”์„œ ๊ฐ์‚ฌํ•ฉ๋‹ˆ๋‹ค. ๋งŽ์ด ๋ฐฐ์šฐ๊ณ  ๊ฐ€์š”

1๊ฐœ์˜ ๋‹ต๊ธ€
comment-user-thumbnail
2022๋…„ 6์›” 27์ผ

์•ˆ๋…•ํ•˜์„ธ์š”. ๋ณธ๋ฌธ์— ๋‚˜์™”๋˜ '๊ฐ€์žฅ ์‹ฌ๊ฐํ•˜๊ฒŒ ์ž˜๋ชป๋œ ๊ฐœ๋…์„ ์ „ํŒŒํ•˜๋Š” ๊ฒŒ์‹œ๊ธ€'์˜ ๋ธ”๋กœ๊ทธ ์ฃผ์ธ์ž…๋‹ˆ๋‹ค.

์ž‘์„ฑํ•˜์‹  ๊ธ€์ด ๋ฌด์Šจ ๋‚ด์šฉ์ธ์ง€ ๋‹ค ์ฝ์–ด๋ดค์Šต๋‹ˆ๋‹ค.
์ € ๊ธ€์„ ์ผ์„ ๋‹น์‹œ ๊ฐœ๋ฐœ์€ ์ฒ˜์Œ์ด๋ผ ์Šคํ„ฐ๋”” ํ•ด์ฃผ์‹œ๋Š” ๋ถ„๋“ค์ด ์‰ฝ๊ฒŒ ์ ์‘ํ•˜๊ฒŒ ๋„์™€์ฃผ์‹œ๋ฉฐ ํฌ๋กค๋ง์— ๋Œ€ํ•ด ๋ง›๋ณด๊ฒŒ ํ•ด์ฃผ๊ฒ ๋‹ค๋Š” ์˜๋ฏธ๋กœ ์ง€์‹ ๊ณต์œ ๋ฅผ ํ•ด์คฌ๊ณ , ๋ฐฐ์› ๋˜ ๋‚ด์šฉ๊ณผ ๋”ฐ๋กœ ์ •๋ฆฌํ•˜๊ธฐ ์œ„ํ•ด ๋‹ค๋ฅธ ๋ธ”๋กœ๊ทธ ๊ธ€๋“ค๊ณผ ํฌ๋กœ์Šค ํ•˜๋ฉฐ ๋ธ”๋กœ๊ทธ์— ๊ธฐ๋ก์šฉ์œผ๋กœ ์ ์–ด๋’€๋˜๊ฑด๋ฐ.. ์ด๋ ‡๊ฒŒ ๊ฐ€์žฅ ์‹ฌ๊ฐํ•˜๊ฒŒ ์ž˜๋ชป๋œ ๊ฐœ๋…์„ ์ „ํŒŒํ•˜๋Š” ๋ธ”๋กœ๊ทธ๋ผ๊ณ  ์—ฌ๊ธฐ์— ์†Œ๊ฐœ๋ ์ค„์€ ๋ชฐ๋ž๋„ค์š”

๋ฌผ๋ก  mowinckel๋‹˜์ด ํฌ๋กค๋ง์— ๋Œ€ํ•ด ๋‹ต๋‹ตํ•œ ๋ถ€๋ถ„์ด ์žˆ๊ณ , ํฌ๋กค๋ง์— ๋Œ€ํ•ด ์ •ํ™•ํ•œ ์„ค๋ช…์„ ํ•˜๊ธฐ์œ„ํ•ด ๊ธ€์„ ์“ฐ์‹ ๊ฑฐ๋ผ๋Š” ๋ถ€๋ถ„์€ ์ดํ•ดํ•ฉ๋‹ˆ๋‹ค.
๊ทธ๋Ÿฐ๋ฐ ๊ทธ๋ƒฅ ๋ฐ•์ œ๋˜๋ฒ„๋ฆฐ ์ €์˜ ์ž…์žฅ์—์„œ๋Š” ์ด๋Ÿฐ์‹์œผ๋กœ ๊ธ€์„ ์ž‘์„ฑํ•˜์—ฌ ์‹ฌ๊ฐํ•œ ๊ฐœ๋…์„ ์ „ํŒŒํ•˜๋Š” ๋ธ”๋กœ๊ทธ๋ผ๊ณ  ์†Œ๊ฐœํ•ด์ฃผ์‹ค๊ฒŒ ์•„๋‹ˆ๋ผ, ์ฐจ๋ผ๋ฆฌ ๊ฒŒ์‹œ๊ธ€์— ๋Œ“๊ธ€์ด๋ผ๋„ ๋‹ฌ์•„์ฃผ์…จ์œผ๋ฉด ๋” ์ •๋ฆฌ๋ฅผ ํ•˜๊ฑฐ๋‚˜ ํ•˜๋‹ค๋ชปํ•ด ์ˆ˜์ •์ด๋ผ๋„ ํ–ˆ์„ํ…๋ฐ ์ด๋ ‡๊ฒŒ ๋ฐ•์ œ๋ฅผ ํ•ด๋ฒ„๋ฆฌ์…”์„œ ์ฐธ ์•ˆํƒ€๊น์Šต๋‹ˆ๋‹ค.

์ €๋„ ๋ฐฐ์šฐ๋Š” ์ž…์žฅ์—์„œ ๊ณต๋ถ€์ข€ ๋” ํ•ด๋ณด๊ฒ ๋‹ค๊ณ  ๊ฒŒ์‹œํ•œ ๊ธ€์ด๋ผ, ๋ˆ„๊ตฐ๊ฐ€ ์ž˜๋ชป๋ฌ๋‹ค๋Š”๊ฑธ ์•Œ๋ ค์คฌ์œผ๋ฉด ๋‹น์—ฐํžˆ ๋ฐ›์•„๋“ค์ผํ…๋ฐ ๊ทธ์ € ์ด๋Ÿฐ์‹์œผ๋กœ ๋งŽ์€ ๋ธ”๋กœ๊ทธ๋“ค ์ค‘์—์„œ ์ œ ๋ธ”๋กœ๊ทธ๊ฐ€ URL๊นŒ์ง€ ๊ณต๊ฐœํ•˜๋ฉด์„œ ์ด๋Ÿฐ ์‹ฌ๊ฐํ•˜๊ฒŒ ์ž˜๋ชป๋œ ๋ธ”๋กœ๊ทธ๊ฐ€ ๋˜๋ฒ„๋ ค์„œ ์ œ ์ž…์žฅ์—์„  ์ข€ ๊ทธ๋ ‡์Šต๋‹ˆ๋‹ค. ์ €๋Ÿฐ ๊ฐœ๋… ์ž์ฒด๊ฐ€ ํ‹€๋ ธ๋‹ค๋Š”๊ฒƒ ์กฐ์ฐจ ๋ชฐ๋ž๋˜ ์‹œ๊ธฐ์˜€๋Š”๋ฐ ๋ง์ด์ฃ  ์ฐธ..

๊ฐ„๋งŒ์— ๋ญ ์ข€ ๊ฒ€์ƒ‰ํ• ๊ฒŒ ์žˆ์–ด์„œ ์ œ ๋ธ”๋กœ๊ทธ ๊ฒ€์ƒ‰ํ–ˆ๋‹ค๊ฐ€ 2๋…„์ „์— ๊ฒŒ์‹œ๊ธ€ ํ•˜๋‚˜๋กœ ์‹ฌ์ •์ด ๋ณต์žกํ•ด์ ธ์„œ ๊ฐ‘๋‹ˆ๋‹ค. ๊ฒŒ์‹œ๊ธ€์€ ๋ฐ•์ œํ•˜์‹ ๋งŒํผ ์ž˜๋ชป๋œ ํฌ๋กค๋Ÿฌ๋ฅผ ์‹ซ์–ดํ•˜์‹ ๊ฑฐ ๊ฐ™์•„ ๋‚ด๋ฆฌ๊ฒ ์Šต๋‹ˆ๋‹ค.

5๊ฐœ์˜ ๋‹ต๊ธ€
comment-user-thumbnail
2022๋…„ 6์›” 27์ผ

ํ•œ ํ•™์ƒ์ด ํ•œ๊ฑธ์Œ ํ•œ๊ฑธ์Œ ๊ณต๋ถ€ํ•ด ๋ฐฐ์šด ๋‚ด์šฉ์„ ๋ธ”๋กœ๊ทธ๋“ค์— ์ •๋ฆฌ ํ•œ ๊ฒƒ๋“ค์„ ๊ตณ์ด ๊ฐ€์ ธ์™€ ํ‹€๋ ธ๋‹ค๋ฉฐ ์„ ์ƒ์— ์˜ฌ๋ฆฌ๊ณ  ๋น„ํ•˜ํ•˜๋Š” ๋ชจ์Šต์ด ์ฉ์ข‹์•„๋ณด์ด์ง„์•Š์Šต๋‹ˆ๋‹ค. ๋‹ค๋“ค ํฌ๋กค๋ง์„ ๋ฐฐ์šฐ์ž ํ•˜์—ฌ ์‹œ์ž‘ํ•œ ๋ธ”๋กœ๊ทธ์ผํ…๋ฐ ๋ˆ„๊ตฌ๋“ ์ง€ ์ฒ˜์Œ์—” ํ‹€๋ฆด์ˆ˜ ์žˆ๊ณ  ๊ทธ ํ‹€๋ฆผ์— ์ƒˆ๋กœ์šด ํ•ด๋‹ต์„ ์ฐพ์•„๊ฐ€๋Š” ์–ด๋ฆฐ ์ƒˆ์‹น๋“ค์„ ํŒ”์•„๊ฐ€๋ฉฐ ์กฐํšŒ์ˆ˜๋ฅผ ์œ„ํ•ด ์ž๊ทน์ ์ธ ๋ธ”๋กœ๊ทธ๋ฅผ ์“ฐ๋Š” ๋ชจ์Šต ์ •๋ง ๋ชป๋‚ฌ์Šต๋‹ˆ๋‹ค. ๋ถ€๋„๋Ÿฌ์šด์ค„ ์•„์„ธ์š”.

1๊ฐœ์˜ ๋‹ต๊ธ€
comment-user-thumbnail
2022๋…„ 9์›” 2์ผ

Crawler๋ผ๋Š” ์šฉ์–ด๋ฅผ ๋ฌด๋ถ„๋ณ„ํ•˜๊ฒŒ ์ž˜๋ชป ์‚ฌ์šฉํ•˜๋Š” ์‚ฌ๋žŒ๋“ค ๋•Œ๋ฌธ์— ํ™”๊ฐ€ ์•„์ฃผ ๋งŽ์ด ๋‚˜์‹  ๊ฒƒ ๊ฐ™์•„ ๋ณด์ด๋„ค์š”.

์ธํ„ฐ๋„ท ์ƒ์—์„œ Crawler๋ผ๋Š” ์šฉ์–ด๋ฅผ ์ž˜๋ชป ์‚ฌ์šฉํ•˜์‹œ๋Š” ๋ถ„๋“ค์ด ๋‚˜์œ ์˜๋„๋ฅผ ๊ฐ€์ง„ ๊ฒƒ ๊ฐ™์•„ ๋ณด์ด์ง„ ์•Š์Šต๋‹ˆ๋‹ค.

๋‹จ์ˆœํžˆ ์ž˜ ๋ชฐ๋ผ์„œ Crawler๋ผ๋Š” ์šฉ์–ด๋ฅผ ์ž˜๋ชป ์‚ฌ์šฉํ•˜๋Š” ๊ฒƒ์ธ๋ฐ, ์ž˜ ๋ชจ๋ฅธ๋‹ค๋Š” ์ด์œ ๋กœ ๋ถˆํŠน์ • ๋‹ค์ˆ˜๋ฅผ ์š•๊นŒ์ง€ ์จ๊ฐ€๋ฉฐ ๋น„๋‚œํ•˜๊ธฐ ๋ณด๋‹ค๋Š” ์นœ์ ˆํ•˜๊ฒŒ ๊ทธ๊ฑด Crawler๊ฐ€ ์•„๋‹ˆ๋ผ Scraper๊ฐ€ ์ •ํ™•ํ•œ ์šฉ์–ด๋ผ๊ณ  ๊ฐ€์ด๋“œ๋ฅผ ์ฃผ์…จ์œผ๋ฉด ์–ด๋• ์„๊นŒ ํ•˜๋Š” ์ƒ๊ฐ์ด ๋“ญ๋‹ˆ๋‹ค.

"๋Œ€์•ˆ ์—†๋Š” ๋น„ํŒ์€ ๊ณตํ—ˆํ•œ ๋น„๋‚œ์ผ ๋ฟ์ด๋‹ค."

๋ณธ๋ฌธ์„ ๋ณด๋ฉด ๋ณธ์ธ๋„ ์ •ํ™•ํ•œ ์šฉ์–ด์ธ Scraper๋Š” ์ •์ž‘ ๋ชฐ๋ž๋˜๊ฒƒ ๊ฐ™์€๋ฐ์š”.

"๋Œ€์•ˆ(์ •ํ™•ํ•œ ์šฉ์–ด)๋„ ์ œ์‹œํ•ด์ฃผ์ง€ ์•Š์œผ๋ฉด์„œ ์ผ๋‹จ ๋ชจ๋ฅด๊ฒ ๊ณ  ๊ทธ๊ฑด ๋ฌด์กฐ๊ฑด Crawler๋Š” ์•„๋‹Œ๊ฑด ํ™•์‹คํ•˜๋‹ˆ๊นŒ ์ฐ ๊ณต๋Œ€์ƒ ๊ฐœ๋ฐœ์ž๋กœ์„œ ๋‚œ ๊ทธ๋ƒฅ ๋‘๊ณ  ๋ณผ ์ˆ˜ ์—†์–ด. ์š•์„ ํ• ๊บผ์•ผ!" ์ด๋Ÿฐ ํƒœ๋„๊ฐ€ ๋งˆ์น˜ ์‡ผ๋ฏธ๋”๋จธ๋‹ˆ์— ๋‚˜์˜ค๋Š” ์ผ๋ถ€ ํž™์ฐ”์ด๋“ค์˜ ํž™๋ถ€์‹ฌ์ด ๋Š๊ปด์งˆ ์ •๋„์ž…๋‹ˆ๋‹ค.

๋ˆ„๊ตฐ๊ฐ€ ๋ชจ๋นˆ์ผˆ๋‹˜์ด ์ž˜๋ชป ์•Œ๊ณ  ์žˆ๋Š” ์ง€์‹์„ ์š•๊นŒ์ง€ ํ•˜๋ฉด์„œ ๋น„๋‚œํ•˜๋ฉด ๊ธฐ๋ถ„์ด ์–ด๋– ์‹ค๊นŒ์š”? ์ •ํ™•ํ•œ ์ง€์‹๋„ ์•Œ๋ ค์ฃผ์ง€ ์•Š์œผ๋ฉด์„œ์š”.

"๊ทธ๋ž˜๋„ ๊ทธ๋ ‡์ง€. Crawler๋ฅผ ์ •ํ™•ํžˆ ๋ชจ๋ฅด๋Š”๊ฑด ๋„ˆ๋ฌด ์‹ฌํ•˜์ง€ ์•Š๋Š๋ƒ?" ๋ผ๊ณ  ๋ฐ˜๋ฌธํ•˜์‹ค ์ˆ˜ ๋„ ์žˆ์ง€๋งŒ, ์„ธ์ƒ์€ ๋ชจ๋‘ ์ƒ๋Œ€์ ์ธ ๊ฒ๋‹ˆ๋‹ค.

๋ณธ์ธ์ด ๋‹น์—ฐํžˆ ์•„๋Š”๊ฑธ ๋ˆ„๊ตฐ๊ฐ€๋Š” ๋ชจ๋ฅผ ์ˆ˜ ์žˆ๊ณ , ๋ฐ˜๋Œ€์˜ ๊ฒฝ์šฐ๋„ ํ—ˆ๋‹คํ•ฉ๋‹ˆ๋‹ค.

๋ชจ๋นˆ์ผˆ๋‹˜๋ณด๋‹ค ํ›จ์”ฌ ๋” ๋Œ€๋‹จํ•œ ๋งŽ์€ ์‚ฌ๋žŒ๋“ค์ด ๋ชจ๋นˆ์ผˆ๋‹˜์˜ ๊ธ€์„ ๋ณด๊ณ  "๋ญ์•ผ ์ด ์ขƒ๋ณ‘์‹ ์€? ใ…‹ใ…‹" ์ด๋ผ๊ณ  ์ƒ๊ฐํ•  ์ˆ˜ ์žˆ๋‹ค๋Š”๊ฑฐ์ฃ .

์ง€์‹๋ณด๋‹ค๋Š” ์ง€ํ˜œ๊ฐ€ ์ค‘์š”ํ•˜๊ณ , ์ตœ๊ณ ์˜ ์ง€ํ˜œ๋Š” ๊ฒธ์†๊ณผ ์นœ์ ˆ์ด๋ผ๊ณ  ํ•ฉ๋‹ˆ๋‹ค.

Crawler์— ๋Œ€ํ•œ ํ•ด๋ฐ•ํ•œ? ์ง€์‹๋„ ์ข‹์ง€๋งŒ ๊ฒธ์†๊ณผ ์นœ์ ˆ์ด๋ผ๋Š” ์ง€ํ˜œ๋„ ๋ฐฐ์šฐ์‹œ๋ฉด ์–ด๋–จ๊นŒ์š”?

๋‹ต๊ธ€ ๋‹ฌ๊ธฐ
comment-user-thumbnail
2022๋…„ 11์›” 2์ผ

๋ณธ๋ฌธ์— ์•„ํ‚คํ…์ฒ˜๋ถ€๋ถ„ ์‚ฌ์ง„ ์ˆ˜๋ช…์ด ๋‹ค๋œ๊ฑฐ๊ฐ™์€๋ฐ์š”? ๐Ÿคช

1๊ฐœ์˜ ๋‹ต๊ธ€
comment-user-thumbnail
2022๋…„ 11์›” 6์ผ

๊ณต๋ถ€ํ•˜๋Š” ๊ณผ์ •์—์„œ ๋ชจ๋นˆ์ผˆ๋‹˜ ๊ธ€์— ๋ผˆ ๋งž์œผ๋ฉฐ ๋ณด๊ณ  ์žˆ์Šต๋‹ˆ๋‹ค.
ํ•™์Šตํ•˜๋ฉด์„œ ๊ฐœ๋ฐœ์ž๊ฐ€ ๋งŒ๋‚˜๋Š” ๋ฒ•์ ์ด์Šˆ๋กœ ๊ฐœ์ธ์ •๋ณด๋ณดํ˜ธ ์™ธ์— '์–ด๋–ค ์ด์Šˆ๊ฐ€ ์žˆ์„๊นŒ?'์— ๊ถ๊ธˆํ•จ์„ ํ’ˆ๊ณ  ์žˆ์—ˆ๋Š”๋ฐ, ๋‹ค๋ฅธ ์‚ฌ๋ก€๋ฅผ ๋งŒ๋‚˜๋‹ˆ ํฅ๋ฏธ๋กญ๊ณ  ์žฌ๋ฏธ ์žˆ์—ˆ์Šต๋‹ˆ๋‹ค.

๋ณธ๋ฌธ์—์„œ ์•ผ๋†€์ž ์—ฌ๊ธฐ์–ด๋•Œ ๋ฒ•์  ๋‹คํˆผ์ด ํฅ๋ฏธ๋กœ์›Œ์„œ ์ตœ๊ทผ ๊ฒฐ๊ณผ๋ž‘ ์šฉ์–ด๋ฅผ ์กฐ๊ธˆ ์ฐพ์•„๋ดค์Šต๋‹ˆ๋‹ค.
1. ๋ณธ๋ฌธ์—์„œ ์‹คํ˜•์˜ ์‚ฌ๋ก€์—์„œ 1์‹ฌ ๊ฒฐ๊ณผ ํ”ผ๊ณ ์ธ 3(๊ฐœ๋ฐœ์ž) ์ง•์—ญ 10์›”, ์ง‘ํ–‰์œ ์˜ˆ 2๋…„, ์‚ฌํšŒ๋ด‰์‚ฌ 120์‹œ๊ฐ„์œผ๋กœ ์ง•์—ญํ˜•์ด ์„ ๊ณ ๋œ ๊ฒƒ์€ ๋งž์œผ๋‚˜ ์‹คํ˜•์ด ๋–จ์–ด์ง„ ๊ฒƒ์€ ์•„๋‹Œ ๊ฒƒ์œผ๋กœ ๋ณด์—ฌ์š”.
2. ์ตœ์ข… ๊ฒฐ๊ณผ๊ฐ€ ๊ถ๊ธˆํ•ด ์กฐ๊ธˆ ๋” ์ฐพ์•„๋ดค์Šต๋‹ˆ๋‹ค. ์‹œ๊ฐ„์ด ์ง€๋‚˜์„œ ๋Œ€๋ฒ•์›์—์„œ ์ตœ์ข… ๋ฌด์ฃ„๊ฐ€ ๋‚˜์™”์Šต๋‹ˆ๋‹ค.
21๋…„ 1์›” 2์‹ฌ ๋ฌด์ฃ„(https://www.law.go.kr/precInfoP.do?precSeq=221911)
22๋…„ 5์›” ๋Œ€๋ฒ• ํ™•์ •(https://www.law.go.kr/precInfoP.do?precSeq=221765)
์„œ๋น„์Šค๋ฅผ ์ œ๊ณตํ•˜๋Š” ์ธก์—์„œ ์ƒ๊ฐํ•  ๊ฒƒ์ด ๋” ๋งŽ๊ตฌ๋‚˜ ์ƒ๊ฐํ–ˆ๊ณ , ๊ฐœ๋ฐœ์„ ํ•˜๋ฉด์„œ๋„ ๋ฒ•์  ์ด์Šˆ๋ฅผ ์ƒ๊ฐํ•ด ๋ด์•ผ๊ฒ ๊ตฌ๋‚˜ ์‹ถ์—ˆ์Šต๋‹ˆ๋‹ค.

์—ฌ๋Ÿฌ ๋ฐฉ๋ฉด์—์„œ ๋„์›€๋˜๋Š” ๊ธ€ ๊ฐ์‚ฌํ•ฉ๋‹ˆ๋‹ค.

1๊ฐœ์˜ ๋‹ต๊ธ€
comment-user-thumbnail
2023๋…„ 8์›” 23์ผ

์–ด๋– ํ•œ ๋ผ์ด๋ธŒ๋Ÿฌ๋ฆฌ๋„ ์‚ฌ์šฉํ•˜์ง€ ์•Š๋Š”๋‹ค๋ฉด,
http๋กœ ์š”์ฒญํ•ด์„œ ์ง์ ‘ ๋งŒ๋“œ๋Š” ๊ฒƒ๋„ ํ•˜๋‚˜์˜ ๋ฐฉ๋ฒ•์ด๊ฒ ๋„ค์š”.

1๊ฐœ์˜ ๋‹ต๊ธ€
comment-user-thumbnail
2023๋…„ 12์›” 18์ผ

์žฌ๋ฐŒ๊ฒŒ ์ž˜ ์ฝ๊ณ  ๊ฐ‘๋‹ˆ๋‹ค :)

1๊ฐœ์˜ ๋‹ต๊ธ€
comment-user-thumbnail
2024๋…„ 3์›” 6์ผ

๋‚ด์šฉ์ด ์œ ์ตํ•˜๊ณ  ๊ณต๊ฐ๋˜๋Š” ๋ถ€๋ถ„์ด ๋งŽ์Šต๋‹ˆ๋‹ค. ์ €๋„ ๋ชฐ๋ž๋˜ ๋ถ€๋ถ„๋„ ์•Œ๊ฒŒ๋๋„ค์š”. ๊ทธ๋Ÿฐ ์ข‹์€์ ๊ณผ ๋ณ„๊ฐœ๋กœ
๊ธ€์“ด๋ถ„ ์‚ฌ์ƒ๊ณผ ํƒœ๋„,๋งํˆฌ๊ฐ€ ์ž์•„๋„์ทจ๋œ ์‹œ๋‹ˆ์ปฌํ•œ ๊ฐœ๋ฐœใ…‰ใ„ธ๋ณด๋Š”๊ฑฐ๊ฐ™์•„์„œ ์†์ด ๋ฉ”์“ฐ๊ป์Šต๋‹ˆ๋‹ค. ๋งŒ์•ฝ ์žฌ๋ฐŒ๊ฒŒ ๊ธ€์„ ์“ฐ๋ ค๊ณ  ํ•˜์‹ ๊ฑฐ๋ฉด ์ทจ์ง€๋Š” ์ดํ•ดํ•˜๋‚˜ ์ฝ๋Š”์ด๋“ค์˜ ๋ฐ˜๊ฐ์„ ์‚ฌ์ง€ ์•Š๊ณ ๋„ ์žฌ๋ฐŒ๊ฒŒ ์“ธ์ˆ˜์žˆ๋Š” ๋ฐฉ๋ฒ•์ด ๋งŽ์œผ๋‹ˆ ์ข€ ์ƒ๊ฐํ•ด๋ณด์‹œ๋Š”๊ฑธ ์ถ”์ฒœ๋“œ๋ฆฝ๋‹ˆ๋‹ค. ๊ตณ์ด ์ ์„ ๋งŒ๋“ค ํ•„์š˜ ์—†์œผ๋‹ˆ๊นŒ์š”

2๊ฐœ์˜ ๋‹ต๊ธ€
comment-user-thumbnail
2024๋…„ 5์›” 6์ผ

์•ˆ๋…•ํ•˜์„ธ์š”~ ํฌ๋กค๋ง์„ ์ž…๋ฌธํ•˜๋ ค๊ณ  ํ•œ ํ•™์ƒ์ธ๋ฐ
์กฐ๊ธˆ ์ž˜ํ•ด๋ณด๋ ค๊ณ  ํฌ๋กค๋ง์„ ๋ผ์ด๋ธŒ๋Ÿฌ๋ฆฌ๋ฅผ ์จ์„œ ํ•ด๋ณผ๊นŒ.. ๋ผ๊ณ  ํ•˜๋˜ ์ฐธ์— ์ด ๊ธ€์„ ๋ณด๊ณ 
๊ทธ๋ƒฅ ๊ฐ€๋ณ๊ฒŒ ์„œ๋น„์Šค๋กœ ๊ฐ„๋‹จํ•˜๊ฒŒ ์‚ฌ์šฉํ•ด๋ณด๊ณ  ๋ถˆํŽธํ•จ์„ ๋Š๋ผ๋ฉด ์ด ๊ธ€์˜ ๋…ผ๋ฌธ์„ ์ฐธ์กฐํ•ด์„œ ์ž˜ ๋งŒ๋“ค์–ด๋ด์•ผ๊ฒ ๋‹ค๋Š” ์ƒ๊ฐ์ด ๋“ค์—ˆ์Šต๋‹ˆ๋‹ค.
์ข‹์€ ๊ธ€ ๊ฐ์‚ฌํ•ฉ๋‹ˆ๋‹ค

1๊ฐœ์˜ ๋‹ต๊ธ€
comment-user-thumbnail
2024๋…„ 6์›” 18์ผ

์žฌ๋ฏธ์žˆ๊ฒŒ ์ž˜ ์ฝ๊ณ  ๊ฐ‘๋‹ˆ๋‹ค.
์ข…์ข… ๋“ค๋ฆฌ๊ฒ ์Šต๋‹ˆ๋‹ค.

1๊ฐœ์˜ ๋‹ต๊ธ€
comment-user-thumbnail
2024๋…„ 10์›” 17์ผ

๐Ÿ‘Ž๐Ÿป๐Ÿ‘Ž๐Ÿป๐Ÿ‘Ž๐Ÿป๐Ÿ‘Ž๐Ÿป๐Ÿ‘Ž๐Ÿป

1๊ฐœ์˜ ๋‹ต๊ธ€
comment-user-thumbnail
2024๋…„ 10์›” 17์ผ

00๋…„๋Œ€์—๋‚˜ ์“ธ ๋ฒ•ํ•œ ์‹ธ๊ตฌ๋ ค ์ฟจ๋ณ‘ ๋ฌธ์ฒด๋กœ ์–ต์ง€ ๋ถ„๋…ธ์— ์ทจํ•ด ์„€๋„๋ณต์‹ฑํ•˜๋Š” ๋Š๋‚Œ์ด ๋“œ๋„ค์š”. ์•„์‰ฝ์Šต๋‹ˆ๋‹ค. ๐Ÿ‘๐Ÿป

1๊ฐœ์˜ ๋‹ต๊ธ€
comment-user-thumbnail
4์ผ ์ „

์ง€๊ธˆ ์‹œ์ž‘ํ•˜๋ ค๋Š” ํ”„๋กœ์ ํŠธ์— ์›นํŽ˜์ด์ง€ ํŒŒ์‹ฑ์ด ํ•„์š”ํ•ด์„œ ์ด๊ฒƒ ์ €๊ฒƒ ๊ตฌ๊ธ€๋งํ•˜๋‹ค๊ฐ€ ์ด ๊ธ€์„ ๋ณด๊ฒŒ ๋˜์—ˆ๋„ค์š” ๋•๋ถ„์— robot.txt ์œค๋ฆฌ๋ฅผ ํฌํ•จํ•ด์„œ ์ข‹์€ ์ง€์‹ ๋งŽ์ด ์•Œ์•„๊ฐ‘๋‹ˆ๋‹ค.

๋‹ต๊ธ€ ๋‹ฌ๊ธฐ