Web crawling 실습(1)

웹 크롤링에 대한 연습을 하기 위해 YouTube의 실습자료를 참고해서 멜론 차트 100위까지
크롤링 한 후 csv파일에 저장하는 영상으로 실습을 실시했습니다.

pip install Beautifulshop bs4 

import urllib.request
from bs4 import BeautifulSoup
import csv

hdr = { 'User-Agent': 'Mozilla/5.0'}
url ='https://www.melon.com/chart/day/index.htm'

req = urllib.request.Request(url, headers=hdr)
html = urllib.request.urlopen(req).read()
soup = BeautifulSoup(html, 'html.parser')


lst50 = soup.select('.lst50,.lst100')   

melonList = []
for i in lst50:
    temp = []     
    temp.append(i. select_one('.rank').text)
    temp.append(i.select_one('.ellipsis.rank01').a.text)
    temp.append(i.select_one('.ellipsis.rank02').a.text)
    temp.append(i.select_one('.ellipsis.rank03').a.text)
    melonList.append(temp)

with open('melon100.csv', 'w', encoding ='utf-8', newline='') as f:
    writer = csv.writer(f)
    writer.writerow(['순위','아티스트,''곡명','앨범'])
    writer.writerows(melonList)```