🗂️2024.07.12 TIL

개인공부

오늘은 파이썬에서 웹 크롤링을 할 수 있는 라이브러리 Selenium 에 대해 알아봤다.

Selenium 이란?

Selenium은 웹 애플리케이션을 테스트하기 위한 프레임워크이다. 웹에 하는 명령을 코드화시켜서 작동시키며, 다양한 브라우저 작동을 지원하며 크롤링에도 활용된다.

크롤링에서는 정적, 동적 페이지 크롤링으로도 접근이 불가능한 데이터에 접근할 때 유용하게 사용된다.

장점

• 동적 콘텐츠 처리: JavaScript로 생성된 동적 콘텐츠도 처리할 수 있습니다.
• 다양한 브라우저 지원: Chrome, Firefox, Safari, Edge 등 다양한 브라우저를 지원합니다.
• 다양한 언어 지원: 여러 프로그래밍 언어를 지원하므로 기존 개발 환경과 쉽게 통합할 수 있습니다.
• 광범위한 기능: 브라우저 조작, 요소 상호작용, 화면 스크린샷 등 다양한 기능을 제공합니다.

단점

• 속도: 브라우저를 직접 구동하므로 상대적으로 느립니다.
• 설치 및 설정: 브라우저 드라이버 설치 및 설정이 필요합니다.
• 리소스 사용: 브라우저를 실행하므로 메모리와 CPU 리소스를 많이 사용합니다.
• 단순 텍스트 스크래핑에는 과도: 단순히 HTML 데이터를 추출하는 경우에는 과도하게 복잡합니다.

실습: https://velog.io/@ehdtkd98/개인공부-웹-크롤링에-사용되는-라이브러리들-Selenium-과-간단실습

주말동안은 웹 크롤링에 사용되는 또 다른 라이브러리 BeautifulSoup 과 html 태그, 상속에 대해 공부해보려고 한다.