Webcrawling을 해보자🤔

웹스크래핑,,,, 그것은 신기하고도 재밌고도 번거롭기도 한 그것,,,,
한번 Request, BeutifulSoup, Selenium 모두 알아보겠다.

기본적 전제 지식

HTTP

HTTP는 HTML 문서와 같은 리소스들을 가져올 수 있도록 해주는 프로토콜입니다. HTTP는 웹에서 이루어지는 모든 데이터 교환의 기초이며, 클라이언트-서버 프로토콜이기도 합니다.

내 PC와 웹서버간의 통신. 데이터를 달라고 하거나(request) 주거나(response) 할 때 소통하는 언어.
우리가 크롤링을 할 때 이 언어로 웹서버에 데이터를 달라고 요구하는 거다.
참고로 서버에 데이터를 요구할때는 GET, 데이터를 줄때는 POST

HTML

HTML (Hypertext Markup Language,하이퍼텍스트 마크업 언어)는 프로그래밍 언어는 아니고, 우리가 보는 웹페이지가 어떻게 구조화되어 있는지 브라우저로 하여금 알 수 있도록 하는 마크업 언어입니다.

우리가 웹서버에 데이터를 요구하면 웹서버는 HTML로 쓰여진 소스코드를 준다. 브라우저가 이 코드를 해석해서 우리가 항상 보는 웹페이지 형태로 띄어준다.

그렇기에 우리가 크롤링을 하려면 웹서버한테 리퀘스트를 줘서 html로 이루어진 소스코드를 받고 여기서 우리가 필요한 부분을 추출해야한다.

Request

모듈 정리

GET

import requests

url = 'https://naver.com'
response = requests.get(url)
response.text

가장 기본적인 방법.

url = 'https://search.naver.com/search.naver'
params = {
    'where':'image',
    'sm':'tab_jum',
    'query':'youtube'
}
response = requests.get(url, params=params)
htmml = response.content

파라미터들을 딕셔너리로 넘겨줄 수 있다. 딕셔너리로 넘겨주면 url을 param들을 알아서 잘 정리해 만들어준다.

https://search.naver.com/search.naver?where=news&sm=tab_jum&query=%EC%95%84%EC%9D%B4%ED%8F%B0 위의 url은 이렇게 된다.

참고로 text와 content의 차이점은 text는 유니코드를 읽어들이고 content는 바이트를 읽는다고 한다.

딱 텍스트만 필요하다 -> text
이미지도 있고 여러가지 다 읽고싶다 -> content

BeautifulSoup

html코드를 좀 더 알아보기 쉽게 만들어준다. (이걸 soup이라고 한다)

soup에서 원하는 부분을 추출할 수 있다. select, select_one을 이용한다.

import requests
from bs4 import BeautifulSoup as bs

soup = BeautifulSoup(html)

soup.select('.photo_group._listGrid')

url = 'https://search.naver.com/search.naver'

params = {
    'where' : 'news',
    'sm' : 'tab_jum',
    'query' : '아이폰'
}

response = requests.get(url, params = params)

response.url

soup = BeautifulSoup(response.content)

elements = soup.select('.news_area')

news_list = []
for element in elements:
    news = element.select_one('.news_tit')
    print(news)
    
    news_data ={
        'title' : news['title'],
        'link' : news['href']
    }
    news_list.append(news_data)

import pandas as pd
pd.DataFrame(news_list)

네이버 기사 10개 읽어서 각 기사의 title, link 딕셔너리 생성 후 데이터프레임으로 만드는 과정이다.

select는 list를 반환한다. 조건을 만족하는 모든 객체가 담긴 리스트 반환
select_one은 조건만족하는 첫번째 객체만 반환

Selenium

자동화 도구이다. 웹에서 우리가 하는 행동들을 자동화할 수 있다.
버튼을 누르고 아이디 비번 입력하고 이런 행동들이다.

from selenium import webdriver 
driver = webdriver.Chrome('./chromedriver')

driver.get('https://www.naver.com')

driver.find_element_by_xpath('//*[@id="account"]/a').click()

driver.find_element_by_xpath('//*[@id="id"]').send_keys('123')

driver.find_element_by_xpath('//*[@id="pw"]').send_keys('123')

driver.find_element_by_xpath('//*[@id="log.login"]').click()

driver.close()

네이버 로그인 하는 과정이다.
send_keys는 데이터를 입력, click 말그대로 클릭 time.sleep(1) 1초 기다리기

셀레니움과 뷰티풀슾 같이 쓰기

url = 'https://color.adobe.com/ko/search?q=warm'
response = requests.get(url)
soup = BeautifulSoup(response.content)
soup

driver = webdriver.Chrome('./chromedriver')
driver.get('https://color.adobe.com/ko/search?q=warm')

driver.find_element_by_xpath('//*[@id="react-spectrum-8"]/div/div[3]').click()

html = driver.page_source
soup = BeautifulSoup(html, 'html.parser')

a = soup.select('div.Theme__theme___2NcED')

a[3]

셀레니움으로 팝업창 x버튼 누르고, 이때 html소스코드를 bs로 파싱