🐼 준비

#이 부분은 처음 한번만 실행하면 됨. 사람이 하는 것처럼 검색하는 특징 탑재
!pip install selenium
!apt-get update
!apt install chromium-chromedriver  # 마우스, 키보드 입력 효과 줄 수 있다.
!cp /usr/lib/chromium-browser/chromedriver /usr/bin

import matplotlib as mpl
import matplotlib.pyplot as plt

%config InlineBackend.figure_format = 'retina'

!apt -qq -y install fonts-nanum

import matplotlib.font_manager as fm
fontpath = '/usr/share/fonts/truetype/nanum/NanumBarunGothic.ttf'
font = fm.FontProperties(fname=fontpath, size=9)
plt.rc('font', family='NanumBarunGothic') 
mpl.font_manager._rebuild()

# 라이브러리 임포트
from selenium import webdriver
import time
from selenium.webdriver.common.keys import Keys
from bs4 import BeautifulSoup

import pandas as pd

import warnings
warnings.filterwarnings('ignore')

⌨️ 댓글 크롤링

이해안되므로 공부필요

from prompt_toolkit.formatted_text.html import html_escape
from selenium.webdriver.common.by import By
from selenium.webdriver.common.keys import Keys

options = webdriver.ChromeOptions()
options.add_argument('--headless') 
options.add_argument('--no-sandbox')
options.add_argument('--disable-dev-shm-usage')

driver = webdriver.Chrome('chromedriver', options=options)

driver.get('https://youtube.com/shorts/-srhx6uyWx0?feature=share') # 링크 열기
driver.implicitly_wait(3)

time.sleep(1.5)

driver.execute_script('window.scrollTo(0,800)') # 한번 스크롤
time.sleep(3)

driver.find_element(By.CSS_SELECTOR, "#comments-button").click() # 댓글버튼 클릭
fBody  = driver.find_element(By.CSS_SELECTOR, "#contents")

fBody

scroll = 0

last_height = driver.execute_script("return arguments[0].scrollHeight", fBody) # 최초 접속시 화면이 가진 스크롤 높이 최대 픽셀값을 추출

while True:
    
  driver.execute_script('arguments[0].scrollTop = arguments[0].scrollTop + arguments[0].scrollHeight;', fBody)
  #driver.execute_script("window.scrollTo(0, document.documentElement.scrollHeight);", fBody) # 지금 보고 있는 화면이 가진 스크롤 높이 최대 픽셀값만큼 실행/ ; = window 함수의 특징(자바포함) code가 끝났으니 다음으로 넘어가라는 표시
  
  time.sleep(5)

  new_height = driver.execute_script("return arguments[0].scrollHeight" ,fBody) # 스크롤한 후에 또 생긴 화면이 가진 스크롤 높이 최대 픽셀값 추출

  if new_height == last_height: # 스크롤 마지막 페이지면 멈추기
      break

  last_height = new_height # 스크롤 더 있으면 다시 담기
  time.sleep(5)

  try:
    driver.find_element_by_css_selector('#dismiss-button > a').click() # 유튜브 1달 무료 팝업닫기

  except:
    pass

  
# 댓글 크롤링 
html_source = driver.page_source
soup = BeautifulSoup(html_source, 'html.parser')

id_list = soup.select('div#header-author > h3 > #author-text > span') # id 리스트
comment_list = soup.select('yt-formatted-string#content-text') # comment 리스트  


# 파싱해서 넣을 실제 데이터 리스트
id_final = []
comment_final = []

for i in range(len(comment_list)):
  temp_id = id_list[i].text
  temp_id = temp_id.replace('\n', '').replace('\t', '').replace(' ', '').strip()
  id_final.append(temp_id) # 댓글 작성자
  
  temp_comment = comment_list[i].text
  temp_comment = temp_comment.replace('\n', '').replace('\t', '').replace('\r', '').strip()
  comment_final.append(temp_comment) # 댓글 내용

# DataFrame 만들기(list -> dictionary -> dataframe)
# list -> dictionary
youtube_dic = {"아이디":id_final, "댓글 내용": comment_final}
# dictionary -> dataframe
youtube_pd = pd.DataFrame(youtube_dic)

youtube_pd.head()