[웹 개발] week3. venv(가상환경) / BeutifulSoup(bs4) / 크롤링

#venv #requests #beautifulsoup #크롤링

[수업 목표]

1. 파이썬 기초 문법을 안다.
2. 원하는 페이지를 스크래핑 할 수 있다.
3. pymongo를 통해 mongoDB를 제어할 수 있다.

1. 파이썬 패키지 설치하기

• 1) venv 활성화하기
  😎 가상환경을 만든 것이 끝이 아닙니다! 활성화 시켜줘야 라이브러리를 컴퓨터가 읽어줘요!

  • Ctrl + 백틱()` 을 눌러 터미널을 열어줍니다(열려 있다면 그대로 진행해줍니다)

  • 터미널환경에서 projects 폴더가 마지막인지 확인 해주시고 코드를 입력해줍니다!
    - 윈도우는 ./venv/Scripts/activate
    - 맥은 source venv/bin/activate

    터미널에서 (venv) 라고 뜨게 된다면 가상환경이 활성화 된거에요!

• 2) pip(python install package) 사용 - requests 패키지 설치해보기
  👀 앱을 설치할 때 앱스토어/플레이스토어를 가듯이, 새로운 프로젝트의 라이브러리를 가상환경(공구함)에 설치하려면 pip 를 이용하게 됩니다.

  • 터미널을 열어주세요!
  • requests 패키지 설치

    pip install requests

• 3) bs4 패키지 추가 설치하기(beautifulsoup4)

  • BeautifulSoup : 웹에서 필요한 정보를 가져오기 위한 라이브러리

    pip install bs4

2. 패키지 사용해보기

• 1) Requests 라이브러리 사용해보기 + List/Dictionary/함수/If/For문 연습
  • 아래 방법으로 서울시 대기 OpenAPI에서, 중구의 미세먼지 값을 가져올 수 있습니다.
    • [기본코드] requests

      import requests # requests 라이브러리 설치 필요
      
      r = requests.get('http://spartacodingclub.shop/sparta_api/seoulair')
      rjson = r.json()
      
      print(rjson)

  • 모든 구의 IDEX_MVL 값을 찍어주자!

    import requests # requests 라이브러리 설치 필요
    
    r = requests.get('http://spartacodingclub.shop/sparta_api/seoulair')
    rjson = r.json()
    
    rows = rjson['RealtimeCityAir']['row']
    
    for a in rows:
    	gu_name = a['MSRSTE_NM']
    	gu_mise = a₩['IDEX_MVL']
    	print(gu_name, gu_mise)

3. 크롤링 기본 세팅

크롤링 기본 세팅

    ```python
    import requests
    from bs4 import BeautifulSoup
    
    headers = {'User-Agent' : 'Mozilla/5.0 (Windows NT 10.0; Win64; x64)AppleWebKit/537.36 (KHTML, like Gecko) Chrome/73.0.3683.86 Safari/537.36'}
    data = requests.get('https://movie.naver.com/movie/sdb/rank/rmovie.naver?sel=pnt&date=20210829',headers=headers)
    
    soup = BeautifulSoup(data.text, 'html.parser')
    
    ### 코딩 시작
    ```

코드를 한 번 찬찬히 뜯어볼까요?

> ```python
> import requests
> from bs4 import BeautifulSoup
> 
> # 타겟 URL을 읽어서 HTML를 받아오고,
> headers = {'User-Agent' : 'Mozilla/5.0 (Windows NT 10.0; Win64; x64)AppleWebKit/537.36 (KHTML, like Gecko) Chrome/73.0.3683.86 Safari/537.36'}
> data = requests.get('https://movie.naver.com/movie/sdb/rank/rmovie.naver?sel=pnt&date=20210829',headers=headers)
> 
> # HTML을 BeautifulSoup이라는 라이브러리를 활용해 검색하기 용이한 상태로 만듦
> # soup이라는 변수에 "파싱 용이해진 html"이 담긴 상태가 됨
> # 이제 코딩을 통해 필요한 부분을 추출하면 된다.
> soup = BeautifulSoup(data.text, 'html.parser')
> 
> #############################
> # (입맛에 맞게 코딩)
> #############################
> ```
> 

4. select / select_one

import requests
from bs4 import BeautifulSoup

# URL을 읽어서 HTML를 받아오고,
headers = {'User-Agent' : 'Mozilla/5.0 (Windows NT 10.0; Win64; x64)AppleWebKit/537.36 (KHTML, like Gecko) Chrome/73.0.3683.86 Safari/537.36'}
data = requests.get('https://movie.naver.com/movie/sdb/rank/rmovie.naver?sel=pnt&date=20210829',headers=headers)

# HTML을 BeautifulSoup이라는 라이브러리를 활용해 검색하기 용이한 상태로 만듦
soup = BeautifulSoup(data.text, 'html.parser')

# select를 이용해서, tr들을 불러오기
a = soup.select_one('#old_content > table > tbody > tr:nth-child(3) > td.title > div > a')

trs = soup.select('#old_content > table > tbody > tr')

# movies (tr들) 의 반복문을 돌리기
for tr in trs:
    # movie 안에 a 가 있으면,
		a = tr.select_one('td.title > div > a')
    if a is not None:
        # a의 text를 찍어본다.
        print (a.text)