[Selenium] 크롤링 시 out of memory 오류

peace w·2024년 9월 22일

TIL selenium

크롬 브라우저 내 Out Of Memory 오류

잘 돌아가던 크롤링 코드에 일부 정보를 더 가져오는 코드를 추가했더니 크롤링 중이던 크롬 화면에서 이런 오류가 발생하며 멈췄다.

왜?

크롬에서 메모리가 많이 쌓일 경우, Out Of Memory 가 발생한다. Chrome 브라우저가 저장하고 있는 쿠키, 캐시 등 인터넷 검색을 하면서 쌓인 데이터 때문에 나타나는 경우가 잦다.

그래서?

기다리기

맨 처음엔 Out Of Memory인 줄 모르고, 단순히 페이지가 로딩이 안된 줄만 알았다.
그래서 404에러라고 생각했고, 네이버 지도에서 '00역 식당'이라고 검색했을 때, 4페이지 후반쯤에 동일한 현상이 계속해서 일어나는 것으로 확인했다.
오랜 시간동안 지속적으로 크롤링을 하게되면 404에러가 발생한다고 알고 있었다. 그래서 4페이지를 시작할 때, 20분을 쉬게끔 코드를 수정했다.

if page_no '4':
   time.sleep(1200)

결과는 똑같았다.
~~이 문제가 아니었으니까~~

브라우저 바꾸기

out of memory에 대해 검색해 보니, 크롬 브라우저를 사용시에 이런 문제가 발생하는 것으로 확인되었다.
드라이버를 파이어폭스로 바꾸어보았다.
비슷한 특정 분기에서 계속해서 요소를 못 찾아와서 중지되는 오류가 발생했다.

시크릿 모드 사용하기

캐시가 안 쌓이도록 시크릿모드 옵션을 추가했다.

options.add_argument("--incognito") # 시크릿모드

이걸로는 해결되지 않았다.

페이지마다 인터넷 사용기록 삭제하기

다음 페이지로 이동할 때마다 인터넷 사용기록을 삭제하는 코드를 작성했다.

driver.get("chrome://settings/clearBrowserData") # 구글 브라우저 인터넷 사용기록 삭제 창이 뜨게 함

이걸로도...해결되지 않았다.

페이지마다 저장하고 저장된 값 비우기

어떻게 해결해야하는지 헤매고 있었는데 선배 분이 도움을 주셨다.
코드 내부에서 메모리 데이터 구조가 너무 커지면 메모리 아웃이 발생할 수 있다!
중간중간 크롤링을 끊어서 작은 단위로 파일에 저장시킨 후에 이어서 크롤링하는 방식은 어떠냐고 조언해주셨다.

네이버 지도는(항상 최대 5페이지까지 결과를 제공한다. 1~4페이지는 광고 제외 70개, 5페이지는 20개 정도) 같은 검색어로 검색하더라도 검색 시마다 결과가 바뀌기에 특정 기점에 데이터를 저장하고 브라우저를 끌 수가 없었다. 그래서 현재 페이지의 내용을 다 돌았을 경우에 수집한 내용들을 csv파일에 전부 저장시키고 저장된 값들을 모두 비운 다음, 다음 페이지로 넘어가는 과정을 반복했다.

for index, e in enumerate(restaurant_elements, start=1)
  stores_info = {
     'name': name,
     # 등등 필요한 정보
  }
  
  stores.append(stores_info)
if stores:
  df = pd.DataFrame(stores)
  df.to_csv('식당 데이터.csv', mode='a', encoding='utf-8-sig', index=False)
  print('파일이 저장되었습니다')
  del stores
  stores = []

mode='a'인 경우 파일을 열어서 기존 데이터 뒤에 새로운 데이터를 추가하고, 만약 파일이 없다면 새로 생성한다. 기존의 내용을 지우지 않고, 새로운 내용을 추가할 때 사용한다.

이렇게 코드를 바꾸면 일단 4페이지에서 크롤링이 멈추더라도 3페이지까지 본 내용들은 전부 저장되므로 데이터의 3분의 2 정도는 살릴 수 있었다. 그리고 실행 결과, ...이걸로도 해결되지 않았다.

특정 페이지에서 드라이버 종료하고 재시작하기

스택 오버플로우와 레딧을 찾아보니 out of memory 이슈의 경우 드라이버를 종료하는 것이 유일한 해결책이라는 글을 보았다.
[Webscrapping with Selenium running out of memory problem(https://www.reddit.com/r/selenium/comments/ljrw8y/webscrapping_with_selenium_running_out_of_memory/)]

크롬 드라이버의 특정 버전에 그런 이슈가 있었다는 글도 보았지만 내가 사용하는 버전(현재 기준 최신인 128)에 해당하는 얘기는 없었다. 네이버 지도 검색 특성상, 같은 검색어일지라도 동일한 가게들만 조회되지 않기 때문에 드라이버를 종료하고 싶지 않았다... 그러나 오류로 인한 데이터 손실을 최소화하려면 이게 유일한 방법 같았다.

매 페이지 수를 체크하던 코드에서, 페이지 수가 4인 경우 드라이버를 끄고 초기화한 다음에 다시 실행해서 4페이지가 바로 로드되게끔 수정했다.
지금 상황으로는.. 최대한 많은 데이터를 넣을 수 있는 방법
중복된 데이터가 들어가면 중복을 제거하면 됨

if page_no == '4':
  driver.quit()
  driver = webdriver.Chrome(service=service, options=options)
  driver.maxmize_window()
  URL = '필요한 주소'
  driver.get(URL)