Python

Selenium 위키백과🎯 Selenium에 대해 알아보자. 파이썬으로 크롤링할 때 Beautifulsoup4와 더불어 빼놓을 수 없는 훌륭한 라이브러리이다.Selenium은 웹 브라우저의 자동화를 가능하게 하고 지원하는 다양한 도구와 라이브러리를 포함한 프로젝트이다

📌 브라우저에서 해당 웹 페이지의 요소들을 로드하는 데 시간이 걸린다. 그렇기 때문에 매크로를 만들다보면 간혹 ElementNotVisibleException 에러가 발생한다. 페이지 로딩이 완료되지 않은 상태에서 find_element_by_css_selector

위키백과최근 기계학습을 위한 데이터의 수집 및 전처리 과정등을 위해 웹 크롤러의 역할이 점차 중요해지고 있다. Scrapy를 알고 있다면 크롤링을 좀 더 안정적이고, 빠르게 할 수 있고, 다양한 포맷으로 저장할 수도 있다.😎 Scrapy 공부한 내용을 정리해 보겠다.

Scrapy Scrapy 실행까지 해 보았으면 settings.py에서 설정 할 수 있는 것들에 대해 정리 하겠다.😉 Settings >settings.py를 사용하면 코어, 확장, 파이프 라인 및 스파이더 자체를 포함하여 모든 Scrapy 구성 요소의 동작을 사

scrapy-fake-useragent💎 Scrapy에서 간단하게 fake-useragent 방법을 정리하겠다.구글에서 scrapy fake useragent 검색을 하면 잘 나온다.아무래도 크롤링을 하다 보면 User Agent 정보를 headers에 추가해서 전달