TIL 웹 크롤링

참고자료

Bdautifulsoup
Selenium

✔️ beautiful soup을 사용하여 데이터를 크롤링 할 수 있다.
✔️ 개발자 도구를 사용하여 수집할 데이터의 패턴을 분석할 수 있다.
✔️ 크롤링한 데이터를 csv 파일에 저장할 수 있다.
✔️ html 링크를 타고 이동하여 데이터를 크롤링 할 수 있다.

Web Crawling 이란?

• 웹 사이트를 분석하여 원하는 데이터를 추출하는 과정

뷰티풀스프와 셀레늄이란?

• 뷰티풀수프 : html 에서의 ID, CLASS 와 같은 SELECTOR를 분석하여 변수로 사용할 수 있도록 도와주는 라이브러리다.

EX) 설치  
conda create web-scraping(name)
conda activate web-scraping
pip install beautifulsoup4

• 셀레늄 : 브라우저를 실행시켜 동적인 입력이 필요한 웹을 구동할 수 있는 라이브러리. ex) '크롤링' 단어 검색 결과 페이지 스크랩 등.

EX) 설치
conda activate web-scrapint(name)
pip install selenium
pip install webdriver-manager