[crawling] urllib 라이브러리 사용하기

urllib

웹페이지를 가지고 오는 라이브러리. requests와 비슷한 역할을 한다.

requests 대신 urllib을 써야하는 이유

urllib 사용법

requests라이브러리와의 차이점 위주로 작성.

from urllib.request import urlopen   #1
from bs4 import BeautifulSoup

article = urlopen('https://www.seeko.kr/zboard4/zboard.php?id=mainnews&page=' + str(index) + '&select_arrange=headnum&desc=asc&category=&sn=off&ss=on&sc=off&keyword=&sn1=&divpage=10')
soup = BeautifulSoup(atricle, "html.parser") #2

#1 urllib에서 request라이브러리를 사용하고, 그 중에서 urlopen 이라는 함수를 사용하겠다는 의미
#2 request와는 다르게 string 형태로 article 이라는 변수에 들어가서, request처럼 article.content라고 작성할 필요 없음.