HTML

웹 스크래핑 == 데이터를 수집하는 작업 전체§ API를 활용하는 프로그램이나 사람이 직접 웹 브라우저를 조작하는 방법만 제외하면어떤 방법이든 상관없음§ 가장 널리 쓰이는 방법은,프로그램을 만들어 웹 서버에 쿼리를 보내 데이터(HTML이나 기타 웹 페이지를 구성하는 파

request 요청이 거절당한 경우 어떻게 스크래핑을 해야 할까?request 요청이 거절당한 경우는 무분별한 스크랩핑을 해당 사이트에서 막아놓았을 가능성이 있다. 이런 경우에는 사용자가 직접 접속했다는 정보를 추가하여 문제를 해결할 수 있다.즉, user-agent

Selenium • 웹 사이트 테스트 도구로, 파이썬(또는 자바)에서 라이브러리로써 사용한다. • 브라우저를 제어하는 기능이 있어 웹 스크래핑에 용이하다. • 단, Selenium 자체적인 웹 브라우저는 들어있지 않으므로 다른 브라우저가 있어야 사용할 수 있다. 예를

API (Application Programming Interface) **API란 정의(definitions)와 프로토콜(protocol) 집합을 사용하여 두 개의 소프트웨어가 서로 통신할 수 있게 하는 매커니즘** 예를 들어, 기상청의 소프트웨어 시스템에는 일일