[프로젝트] (2) 👾 네이버 지도 크롤링하기

🧨 문제 상황

처음에는 1페이지의 음식점 정보만 크롤링해오다 수를 늘려 마지막 페이지의 충무로 음식점까지 모두 크롤링해오기로 했다. 그런데 코드를 돌리는데 2페이지부터 점점 느려지더니 급기야 거의 멈춘듯한 작업 속도를 보였다.

한가지 문제가 더 있었다. 위의 문제를 확인하던 중 메모리를 확인해봤는데 3페이지를 읽어오는데 3G가 넘는 메모리를 사용하고 있었다. 그리고 페이지가 늘어날수록 점점 늘었다. Selenium이 메모리를 많이 사용하는 것은 알고 있었지만 이정도는 문제가 있어보인다. 또한 현재 서버 스펙으로 3G가 넘는 메모리를 사용하는 것은 불가능했다.

🧪 문제 해결을 위한 여러 시도들

1. 브라우저 로그 확인하기

개발자 도구를 키고 확인하다보니 다음과 같은 메시지를 보여줬다. 답의 실마리를 얻을 수 있을까 싶어 heap snapshot을 확인해보려고 했는데,

잘못본 줄 알았다. heap snapshot을 찍으려고보니 16G까지 갑자기 메모리 사용량이 치솟아서 확인할 수 있는 방법이 없었다. 하지만 반복적으로 DOM이라는 키워드를 확인할 수 있었고, DOM 요소가 너무 많이 누적되어 느려진다는 것을 확인할 수 있었다.

2. 크롬 드라이버 종료했다가 재실행

가장 간단해보이는 해결책은 크롬 드라이버 자체를 종료했다가 재실행하는 것이다.

# 작업 후 드라이버 종료
driver.quit()

# 재실행
driver = get_driver();

하지만 드라이버를 새로 생성하면 네이버에서 429에러, ToomanyRequest를 보낸다. 확인해보니 3분정도 지나고 다시 실행하면 정상 동작했다. 3분마다 크롤링할까 고민하다가 한 번에 크롤링하는 방법을 찾고 싶었다.

3. proxy 사용

다시 해결책을 찾아보다 proxy를 사용해 429 에러를 우회하는 글을 보았다. 429 판단 기준이 특정 IP에서 지속된 요청을 보냈을 때라고 가정하고 proxy를 통해 IP를 속이는 것이다.

프록시를 무료로 제공해주는 사이트에서 프록시를 가져와 요청을 보낼 수 있다. 하지만 속도가 너무 느렸고 언제든 문제가 발생할 수 있는 불안정한 방식이라고 생각했다.

다른 방법을 찾아보다가 Tor 브라우저을 알게 되었다. Tor 브라우저는 네트워크 우회를 통해 익명성을 보장하는 네트워크이고 proxy와 같은 효과를 낼 수 있다.

Tor 브라우저를 깔고 시도해보았으나 이또한 속도가 너무 느리다는 문제가 있었다. 1페이지의 식당 정보를 가져오는데 기존의 chrome 브라우저는 2분, Tor를 사용하면 11분이 걸렸다. 여러 국가의 네트워크를 경유하여 가기 때문에 속도가 느리다고 한다.

🔗 참고
https://jakpentest.tistory.com/entry/Seleinum-Proxy%EC%99%80-OSX%EC%97%90%EC%84%9C-Selenium%EC%9C%BC%EB%A1%9C-Tor-%EC%82%AC%EC%9A%A9%ED%95%98%EA%B8%B0
https://dundung.tistory.com/248
https://real1004zz.tistory.com/224
https://peanut159357.tistory.com/2

4. 크롬 창 껐다 키기

다시 처음으로 돌아가 고민을 해보았다.

크롬 브라우저에 메모리가 많이 쌓인다 → 드라이버 종료로는 해결이 안 된다 → 창 껐다 키는 것은?

이런 사고의 흐름으로 새로운 창을 띄웠다 끄는 코드를 추가했다.

def crawling_restaurants(url):
    driver = get_driver()

	driver.get(url)
    WebDriverWait(driver, 60).until(EC.frame_to_be_available_and_switch_to_it((By.ID, "searchIframe")))
    WebDriverWait(driver, 60).until(EC.presence_of_element_located((By.CSS_SELECTOR, ".place_on_pcmap #app-root .zRM9F")))
    main_tab = driver.current_window_handle
    
    for page in range(5):
		driver.execute_script("window.open('');") // 📌 새로운 창 껐다 키기
        driver.switch_to.window(driver.window_handles[-1])
        driver.get(url)
        WebDriverWait(driver, 60).until(EC.frame_to_be_available_and_switch_to_it((By.ID, "searchIframe")))
        WebDriverWait(driver, 60).until(EC.presence_of_element_located((By.CSS_SELECTOR, ".place_on_pcmap #app-root .zRM9F")))
		    ...
		driver.close()
        driver.switch_to.window(main_tab)
    driver.quit
    return restaurants_info

결과가 나쁘지 않다.

이전에는 3페이지만 넘어가도 급격히 느려지던 속도가 일정하게 유지되었고, 3G를 크게 넘지 않는 선에서 크롤링을 마무리하였다.

이전 방식	새로운 방식(페이지마다 창 껐다 키기)

좀 더 자세하게 결과를 확인해보고 싶어 그래프를 그려보니 확실히 마지막 방식이 효과가 있었다. 심지어 첫번째 방식은 600초가 넘도록 3페이지에 머물러 있어서 중간에 끊었다.

지금 생각해보니 돌아오는 길은 길었지만 생각보다 단순한 방식으로 해결된 듯 싶다.

이로써 며칠간의 삽질 끝 ~