이것이 진짜 크롤링이다-기본편

폴더 밑 파일 쉽게 정리코드 자동완성오류 수정이 쉽다. 유용한 단축키가 많다. 웹 페이지의 구조를 나태내기 위한 언어로 태그로 구성되어 있다. 태그는 꺾쇠 괄호로 표시되어 있고 시작태그와 종료태그로 만들어진다.

네이버에 삼성전자를 검색한 뒤, 뉴스탭으로 이동하여 뉴스의 제목과 기사로 가는 링크를 가져와보자. 먼저 뉴스의 제목에 속성이 있는지 확인해준다. 여기서는 .news_tit이 모든 기사 제목의 속성을 나타내었다.

네이버 증권 사이트 현재가 데이터를 파이썬으로 가져온다. 네이버 금융에서 원하는 주식의 가격을 확인해보고 어떤 데이터를 가져올 지 확인해본다. 아래의 사진처럼 확인한 결과 시세 탭에서 가져오는 것이 적절하다고 판단하였다.주식 시세를 가져오는 코드는 다음과 같다.

이제 브라우저를 키면 자동으로 네이버 쇼핑까지 가서 아이폰 13을 검색하는 코드를 작성해보자. 셀레니움 4.3.0 버전부터 find_element 메서드만 사용할 수 있으므로 주의해서 코드를 작성하면 다음과 같다.