crawler

대상 웹 페이지 조건 확인/robot.txt(웹클롤링 url 확인)( www.daum.net/robot.txt , naver.com/robot.txt ... 확인해보아라)크롤러 분류 - 상태 유무, Javascript 유무Request 요청 주의 할 점 - 서버 부하

증권 데이터 가져오기daum 에서 증권 데이터를 가져오는데텅빈 데이터 값을 받았다 이런 경우, 비동기식 방식으로 요청하고 받는 데이터 이기에 개발자 모드(F12) network를 살펴보면fina그림에 finance.daum.net ranks?limit=10 ....을