(2) 🏃‍♂️ 크롤링 실제로 해보기 ( 네이버주식차트 selenium , pandas , plotly )

안녕하세요 민 입니다 !! 🙂 어제 크롤링을 사용하는 이유에 대해서 블로그를 작성해보았는데요. - 크롤링을 사용하는 이유 클릭 -

첫 번째 크롤링 사용예제로 스포츠 배팅 사이트의 내역을 가져와서 데이터를 가져온 후에 csv 파일로 저장하는 과정을 거쳤습니다.

그렇다면 오늘은 크롤링을 이용해서 크롤링을 시작할 때 가장 먼저 사용한다는 네이버 주식차트 , 다음 주식차트 에 대해서 출력해보는 과정을 거치겠습니다.

🏃‍♂️🏃‍♂️ 따라오시죠!!

목차

1. 크롤링을 사용하기 위한 기본 세팅
2. 네이버 주식 차트 크롤링
3. 느낀점 & 결론

(1). 크롤링을 사용하기 위한 기본 세팅

크롤링을 사용하기 위해서는 기본적인 세팅인 필요합니다. 예전에는 크롬 드라이버를 직접 다운받은 후 경로를 사용하여 연결 한 이후 정보를 가져왔는데요.
( ➡️ 크롬 드라이버를 이용하면 크롬 브라우저를 다룰 수 있습니다.)

요즘에는 라이브러를 통하여 크롬 드라이버를 자동으로 가져올 수 있답니다.
여기까지 알고 계신다면 라이브러리를 끌어다쓰는 걸 바로 적용시켜보겠습니다 .

✓ (1-1) 세팅

이전 사진에 존재하는 라이브러리 세팅이 필요한데요. 하나씩 차례차례 알아보는 시간을 가지겠습니다 ! .

이해하기 어려우시다면 일단 복사붙여넣기를 사용하시면 됩니다 !! .

import time
import pandas as pd
# selenium and ChormeDriver
from selenium import webdriver
from selenium.webdriver.common.by import By
from webdriver_manager.chrome import ChromeDriverManager

# options
options = webdriver.ChromeOptions()
options.add_experimental_option("excludeSwitches", ["enable-logging"])
driver = webdriver.Chrome(options=options)

크롤링을 사용하기 위한 selenium 기본 세팅
import time ➡️ time.sleep('원하는 시간')으로 시간을 다룰 수 있다.
import pandas as pd ➡️ 데이터 시각화를 이용하기 전에 데이터에 대한 프레임을 생성하는 것이 가능하다
#selenium
from selenium import webdriver ➡️ 웹 브라우저를 식별한다
from selenium.webdriver.common.by import By ➡️ 웹 브라우저의 요소를 식별한다
from webdriver_manager.chrome import ChromeDriverManager ➡️
웹 드라이버를 설치없이 가져올 수 있다 .
#options
options = webdriver.ChromeOptions() ➡️ Option 설정한다
options.add_experimental_option("excludeSwitches", ["enable-logging"]) ➡️ 로깅을 설정(기록을 할 수 있도록 )
driver = webdriver.Chrome(options=options)➡️ webdriver를 최종적으로 설정한다 .

이렇게 설정을 마치셨다면 이제 크롤링을 할 준비를 모두 마치셨습니다 .
이제 네이트의 주식차트를 가져오도록 하겠습니다 .

(2) 네이버 주식차트 가져오기.

네이버 주식차트를 가져오기 위해서 저희가 해야하는 과정이 있는데요.
세부적인 내용이 많이 존재하겠지만 기본적인 틀은

1. 내가 찾고자하는 페이지 열기
2. 내가 가져오고 싶은 요소를 찾기
3. 반복문 돌리기(csv파일과 , json파일로 저장하기 위해서)
4. csv,json파일 저장시키기.
   이렇게 존재하고 matplotlib , plotly 등으로 데이터를 시각화하는 과정도 존재한답니다. 이제 설명을 모두 마쳤으니 바로 실습을 진행하도록 하겠습니다 .

✓ (2-1) 내가 찾고싶은 페이지 열기

들어가는 방법은 ( 네이버 -> 주식 -> 국내증시 -> 투자자별 매도현황으로 진행하였는데요 . )
찾아오기 어려우실 수 있으니 링크 남겨드립니다 ➡️ 글쓴이의 도움의 손길

이런 창이 나오시면 이제 다음 단계로 가시면 됩니다 !

✓ (2-2) 내가 찾고싶은 부분 찾기

이제 제가 가져오고 싶은 부분을 정한 다음에 class , xpath , selector 중에
뭐로 가져올것인지 선택해야하는데 보통 class 와 xpath를 많이 사용하기 때문에 이번에 저는 xpath를 확인한후에 가져왔습니다 .

xpath 가져오는법 ➡️

이제 모든 세팅을 마쳤으니 코드를 확인하러 가시죠 ! .

코드를 간략하게 설명드리면

1. driver.get을 사용 -> 원하는 페이지 접속
.
2. driver.find_element(By.XPATH , 'xpath주소') -> 내가 찾고 싶은 부분의 요소를 찾기
.
3. 반복문 돌려서 찾아오기


앞에서 말씀드린 과정과 동일하죠 😊 ?

🤔 하지만 이렇게만 말씀드리면 디테일 적인 부분이 많이 모자르기 때문에 추가적인 설명이 필요합니다

1. 규칙성찾기 -> tr 태그안에 td태그가 존재할 것 이라는 것을 유추

    # 하나씩 리스트
    # //*[@id="content"]/div[2]/table[1]/tbody/tr[12]
    # //*[@id="content"]/div[2]/table[1]/tbody/tr[16]
    # //*[@id="content"]/div[2]/table[1]/tbody/tr[4]
    # //*[@id="content"]/div[2]/table[1]/tbody/tr[5]
    # //*[@id="content"]/div[2]/table[1]/tbody/tr[6]
    # //*[@id="content"]/div[2]/table[1]/tbody/tr[7]
    # //*[@id="content"]/div[2]/table[1]/tbody/tr[20]
    # //*[@id="content"]/div[2]/table[1]/tbody/tr[28]


# 리스트 내의 규칙성
    # //*[@id="content"]/div[2]/table[1]/tbody/tr[4]/td[1]
    # //*[@id="content"]/div[2]/table[1]/tbody/tr[4]/td[2]
    # //*[@id="content"]/div[2]/table[1]/tbody/tr[4]/td[3]
    # //*[@id="content"]/div[2]/table[1]/tbody/tr[4]/td[4]
    # //*[@id="content"]/div[2]/table[1]/tbody/tr[4]/td[5]
    # //*[@id="content"]/div[2]/table[1]/tbody/tr[4]/td[6]
    # //*[@id="content"]/div[2]/table[1]/tbody/tr[4]/td[7]
    # //*[@id="content"]/div[2]/table[1]/tbody/tr[4]/td[8]
    # //*[@id="content"]/div[2]/table[1]/tbody/tr[4]/td[9]

규칙성을 찾아낸 결과를 주식차트의 tr태그가

1. #4~8 , 12~16 , 20~24 , 28~32 이런 순서대로 존재한다는 것
2. #안에는 무수한 td태그가 존재한다는 것 두 가지 였습니다.

💁‍♂️ 이렇게 처음에는 xpath를 많이 가져와서 규칙성을 유추하는 것이 중요합니다. 숙달되기 전이기 때문에 어떠한 구조를 가졌을 지 알기 힘들기 때문이죠 !

이제 반복문을 이용하여 csv파일로 저장하시면 됩니다!

(2-3) 반복문을 이용하여 csv파일 저장

지금 보시면 사진에 가져올 요소들이 9가지인것을 확인하실 수 있죠 ??
이 부분을 기억하시면서 다음으로 넘어가겠습니다 !

➡️ 집중해야할 부분
9개의 요소를 하나씩 받기위해서 다음과 같은 반복문을 사용해줬습니다 .

 data = [result[i:i+9] for i in range(0, len(result), 9)]

(3) 결과 & 느낀점

💁‍♂️ 결과 ⬇️

크롤링을 selenium으로 진행하면서 느낀점은 매우 유용하다는 점이였습니다.
조금만 구조를 익히다보면 가져오는 시간이 매우 빨라지고 원하는 부분을 확실하게 가져올 수 있다는 강점이 있습니다 .
하지만 제가 가져온 내용들은 변하는 주식이 아닌 기존까지의 내용이였으므로
request + beautifulsoup을 이용하는게 더 좋다고 느꼈습니다 .

이 블로그에서는 Selenium과 beautifulsoup에 대해서는 깊게 다루지는 않지만
selenium -> 동적 , 느림
beautifulsoup -> 정적 , 빠름

이 정도만 알고가시면 좋을 것 같습니다 . 지난 주식 내용은 정적(변하지 않는 데이터)이기 때문에 beautifulsoup을 이용해서 빠르게 가져오는 게 좋다는 말씀입니다 . 오늘도 파이팅 입니다 !!