크롤링(crawling)

정보를 분석하기 쉽고 활용하기 쉽도록 데이터를 수집하는 행위.

크롤링하는 프로그램을 크롤러라고 합니다.

예시는 JAVA, chrome을 이용하여서 해보자

jsoup, chromdriver, selenium가 필요하다.

https://jsoup.org/download

https://chromedriver.chromium.org/downloads

https://www.selenium.dev/downloads/

받은다음 jsoup, selenium을 라이브러리에 넣어주자

public static void main(String[] args) {
        // ID, PATH 설정
        String DRIVER_ID = "webdriver.chrome.driver";
        String DRIVER_PATH = "C:/JAVA크롤링/chromedriver.exe";

        System.setProperty(DRIVER_ID, DRIVER_PATH);
        WebDriver driver = new ChromeDriver();
        // 접속할 url
        String base_url = "https://www.google.com";
        try{
            // 접속
            driver.get(base_url);
            // 페이지로 들어갑니다.
			System.out.println(driver.getPageSource());
            // 태그중에 첫번째 찾은거
            WebElement webElement = driver.findElement(By.name("q"));
            // 키를 체크
            webElement.sendKeys("날씨");
            // 데이터 보내기 (수행)
            webElement.submit();
        } catch (Exception e){
            e.printStackTrace();
        }
    }

이런식으로 웹페이지에서 매크로 처럼 정해진 동작을 수행하게 할수도 있고

원하는 태그를 골라서 정보를 수집하는것도 가능하다.