📅 2024-09-14 개인프로젝트 15일차 - Selenium 수정

TODO

1. Selenium(크롤링)

1. Selenium(크롤링)

1. 크롤링할 데이터가 바뀌어서 수정해야했다..

• 구단에 등록되어 있는 선수들의 프로필 정보를 크롤링 해야하는데 14일차에 선수 하나하나의 기록을 크롤링했었다..(그래놓고 된다고 좋아했다니 난 멍청한게 맞다..)

2. 크롤링 하려고 보니까 아래 사진처럼 팀 선택, 포지션 선택, 검색버튼 그리고 페이지네이션까지 있어서 crawl 클래스를 전면 수정해야했다..
   
3. 해당 웹페이지 HTML 뜯어서 분석해보니 팀 선택 드롭다운 메뉴와 검색버튼의 id, 팀 선택했을때 들어가야할 value를 넣어주기 위해 xpath를 사용하였다..(아래 사진 참고)
   
4. 경로는 끝났으니 페이지 네이션을 해결하기 위해 HTML을 분석해보니 페이지 네이션 하는 부분이 div class ="paging" 으로 감싸진 상태였고 각각의 페이지번호(1 ~ 5번은) a태그, id는 cphContents_cphContents_cphContents_ucPager_btnNo + 1 ~ 5였다..
5. 이 부분을 동적으로 처리하기 위해 아래와 같은 코드를 짜게됐다..
   
6. 크롤링 잘된다..!
   
7. 이제 가공해야지... 그러고 DB에 넣어야! (언제하냐..쿨럭)