스파르타코딩클럽 {창} 1기 개발일지 - 웹개발종합반 3주차

{창} 사전 과제 - 웹개발 종합반 3주차

beautifulsoup 이용해서 크롤링 하는 법과, mongoDB를 연결해 CRUD 하는 법을 배웠다. python 문법이야 새로운 건 없었고, 크롤링도 기존에 많이 해봤지만 뭔가 체계를 잡아서 설명해주는 걸 들으니 새로 깨달음을 얻는 부분도 있고 좋았다.

import requests
from bs4 import BeautifulSoup

headers = {'User-Agent' : 'Mozilla/5.0 (Windows NT 10.0; Win64; x64)AppleWebKit/537.36 (KHTML, like Gecko) Chrome/73.0.3683.86 Safari/537.36'}
data = requests.get('https://www.genie.co.kr/chart/top200?ditc=M&rtm=N&ymd=20210701',headers=headers)

soup = BeautifulSoup(data.text, 'html.parser')

songs = soup.select('#body-content > div.newest-list > div > table > tbody > tr')

for song in songs:
    rank = song.select_one('td.number').text[:2].strip()
    title = song.select_one('td.info > a.title.ellipsis').text.replace('19금','').strip()
    artist = song.select_one('td.info > a.artist.ellipsis').text.strip()

    print(rank, title, artist)