[230216-17] 웹 크롤링

겨울조아·2023년 2월 16일
0
post-thumbnail

클라이언트 <-> 서버

URL 구조

포트까지 오면 웹일지 DB일지까지
패스
리드는 파일


-> request : get, post
C -> I -> S
<- reponse

  • get방식 :
    • url에 데이터가 포함 -> 데이터가 노출
    • 길이 제한(브라우저마다 다름)
  • post방식 :
    • Body에 데이터가 포함된다 -> 데이터가 숨겨짐

https://www.rfc-editor.org/rfc/rfc791
인터넷 프로토콜

  • 웹 크롤링 방법

    • request

      • 동적페이지 JSON (1일차)
      • 정적페이지 HTML (2일차)
    • selenium : 브라우저를 직접 열어서 데이터를 받음

    -> 속도 : request JSON > request HTML > selenium

크롬에서 개발자도구에서 모바일 화면 접속할 수 있다. 기기 별로 볼 수 있음

혹시 주가데이터 필요하면 이거 쓰라고 추천해주심
https://financedata.github.io/posts/finance-data-reader-users-guide.html

0개의 댓글