Web crawling

정현석·2020년 11월 5일
0

from bs4 import BeautifulSoup
import csv
from selenium import webdriver
from webdriver_manager.chrome import ChromeDriverManager
import time
import requests

driver = webdriver.Chrome(ChromeDriverManager().install())
#driver 에 webdriver.Chorome 프로그램 변수저장
org_crawling = "https://www.starbucks.co.kr/index.do"
driver.get("https://www.starbucks.co.kr/menu/drink_list.do")
# driver.get 으로 원하는 url저장 후 get 명령

req = driver.page_source
bs = BeautifulSoup(req, "html.parser")
time.sleep(5)

#csv writer 생성
csv_filename = "starbucks.csv"
csv_open = open(csv_filename, "w+", encoding='utf-8')
csv_writer = csv.writer(csv_open)
csv_writer.writerow( ('name' , 'img_url'))

#이미지 파일,네임 등 원하는 정보 찾아 변수 저장 
select_img= bs.select("#container > div.content > div.product_result_wrap.product_result_wrap01 > div > dl > dd:nth-child(2) > div.product_list > dl > dd > ul > li > dl > dt > a > img")
select_name = bs.select("#container > div.content > div.product_result_wrap.product_result_wrap01 > div > dl > dd:nth-child(2) > div.product_list > dl > dd > ul > li > dl > dd")

for 문으로 csv 문서로 저장
for i in select_img :
    name =(i)['alt']
    img = (i)['src']
    print (name , img)
    csv_writer.writerow(( name ,  img))
profile
기록하는 벨로그

0개의 댓글