2021/05/29 사전준비 10일차
20시에 웹개발스터디 프로젝트 회의가 있었다.
데일리 리포트 만드는걸로 결정.
나는 프론트엔드를 맡기로 했다.
큼지막한 기능이나 레이아웃의 뼈대를 그림판으로 그려보았다.
JS스터디 프로젝트도 오늘 좋은 아이디어가 떠올랐기 때문에, 내가 생각했던 기능 만들어보고 되는거 확인하고 나서 자려고 했다.
크롤링 관련 기능이라서 BeautifulSoup를 써서 만들려고 했다.
url을 긁어오고, 긁어온 url에서 한번 더 url을 긁어오는 기능인데, 첫번째 url을 가져오는 것 까지는 성공했다.
근데 그 url로 들어가서 url을 가져오려 하니 계속 []가 반환됐다.
Chrome 개발자 도구에서 문서보니까 구조가 맞는데도, 그 selector로는 []만 반환됐다.
그래서 1시간 남짓 구글링하면서 여러가지 시도해봤다.
Javascript로 동적으로 받아와서 안되는걸수도있다~ 셀레니움 써봐라~라는 내용의 글이 있어서, 사용방법 검색해서 셀레니움을 써봤는데도 그대로였다.
브라우저에서 Javascript Disable하고 새로고침해도 원하는 컨텐츠가 그대로 있었기 때문에, 동적으로 받아오는게 애초에 아니었다. 셀레니움 쓰기 전에 이걸 먼저 확인했어야됐는데..ㅠㅠ
결국은 그냥 HTML문서 안에 답이 있겠다 생각하고, 제일 큰 div부터 받아와서 출력된걸 훑어보니, 내가 원하던 컨텐츠 부분만 유독 줄바꿈 없이 쭉~tag가 이어져있었다.
그래서 그 줄의 시작점 tag부터 한단계 한단계 select하니까 드디어 가져오는데 성공했다.
진짜 개 기뻤다.
많이 배운 날이다.
내일도 프로젝트 만들게 기대된다.
