Web-crawling

requestsBeautiful Souprequests.get 함수로 괄호 안의 url주소에 접속을 요청하여 해당 페이지안의 데이터를 받아와서 req 변수에 담기req.text로 변수 안에서 html 소스코드만 추출함requests로 가져온 데이터는 그냥 str이기 때

https://www.billboard.com/charts/hot-100빌보드 차트 순위 100 사이트에서 순위, 곡, 아티스트 정보를 BeutifulSoup으로 크롤링하여 csv파일로 저장하기

https://search.naver.com/search.naver?where=news&sm=tab_jum&query=%EC%BD%94%EC%95%8C%EB%9D%BC특정 검색어에 대한 네이버에 등록된 모든 뉴스의 기사제목, 날짜, 언론사명, 기사링크를 csv

아래 내용은 wanted 사이트 크롤링을 하면서 발생한 문제 해결한 방법이다.html로 된 일부 자료를 다시 편집해서 html 변수에 담아 사용하려고 했더니, 아래와 같은 에레 메시지가 떳다. html 변수에 한글이 있었는데 그게 오류를 일으킨 것이다.해결책은 아래와

Sub_category에 포함된 job_list 자료 추출