2022-09-07

📌 유튜브 댓글 크롤링 및 워드 클라우드 시각화

(이것도 셀레니움을 사용해서 크롤링을 할 것이기 때문에 크롤링 전에 꼭 설치 해줘야 됨!!)

✅ 유튜브 댓글 크롤링

# 라이브러리 임포트
from selenium import webdriver
from selenium.webdriver.common.keys import Keys
from bs4 import BeautifulSoup

import time
import pandas as pd

import warnings
warnings.filterwarnings('ignore')

options = webdriver.ChromeOptions()
options.add_argument('--headless')        
options.add_argument('--no-sandbox')
options.add_argument('--disable-dev-shm-usage')

driver = webdriver.Chrome('chromedriver', options=options) # 크롬 브라우저 준비

driver.get('https://www.youtube.com/watch?v=ycEtLNlX_ss') # 열림
driver.implicitly_wait(3)

time.sleep(1.5)

driver.execute_script("window.scrollTo(0,800)") # 스크롤 800만큼 내리기
time.sleep(3)

# 댓글 수집을 위한 스크롤 내리기
last_height = driver.execute_script("return document.documentElement.scrollHeight")  # 최초 접속 시 스크롤 높이 초기화
# 스크롤 내리기를 끝날때 까지 

while True:
  driver.execute_script("window.scrollTo(0, document.documentElement.scrollHeight);")
  time.sleep(2)

  new_height = driver.execute_script("return document.documentElement.scrollHeight")

  if new_height == last_height:
    break

  last_height = new_height
  time.sleep(2)

  try:
    driver.find_element_bt_css_selecter('#dismiss-button > a').click() # 유튜브 1달 무료 팝업 닫기
    time.sleep(1.5)

  except:
    pass

🔼 크롤링을 위해 코딩을 통해 액션 부여하는 작업들이다.

# 댓글 크롤링
html_source = driver.page_source
soup = BeautifulSoup(html_source, 'html.parser')

id_list = soup.select('div#header-author > h3 > #author-text > span')
comment_list = soup.select('yt-formatted-string#content-text')

id_final = []
comment_final = []

for i in range(len(comment_list)):
  temp_id = id_list[i].text
  temp_id = temp_id.replace('\n', '').replace('\t', '').replace(' ', '').strip()
  id_final.append(temp_id) # 댓글 작성자

  temp_comment = comment_list[i].text
  temp_comment = temp_comment.replace('\n', '').replace('\t', '').replace('\r', '').strip()
  comment_final.append(temp_comment) # 댓글 내용

🔼 댓글 작성자와 댓글 내용 크롤링 작업

# dataframe 만들기 (list -> dic -> dataframe)

youtube_dic = {"아이디":id_final, "댓글 내용":comment_final}
youtube_pd = pd.DataFrame(youtube_dic)

🔼 크롤링한 것을 데이터프레임 형태로 저장

youtube_pd.to_csv('유튜브댓글_크롤링_오후_20220909.csv', encoding='utf-8-sig', index=False)

🔼 파일로 저장하는 것도 잊지말자 ..

✅ 워드 클라우드 시각화

df = pd.read_csv('/content/유튜브댓글_크롤링_오후_20220909.csv')
text = " ".join(li for li in df['댓글 내용'].astype(str))

데이터프레임형태로 불러온 다음 워드 클라우드 시각화를 위해 텍스트들을 join을 통해 모두 붙여준다.

워드 클라우드 시각화 코드는 늘 하던대로 ...
하면!!

이렇게 나옵니다
친구한테 댓글 1만개 이하인 영상 아무거나 보내보라고 한거라
이게 먼 영상이길래 사이토가 가장 크게 나타난건지는 모르겟네요 ...
영상에 나온 사람 이름인가??