🐼 준비

#이 부분은 처음 한번만 실행하면 됨. 사람이 하는 것처럼 검색하는 특징 탑재
!pip install selenium
!apt-get update
!apt install chromium-chromedriver  # 마우스, 키보드 입력 효과 줄 수 있다.
!cp /usr/lib/chromium-browser/chromedriver /usr/bin

# 한글깨짐 방지
import matplotlib as mpl
import matplotlib.pyplot as plt

%config InlineBackend.figure_format = 'retina'

!apt -qq -y install fonts-nanum

import matplotlib.font_manager as fm
fontpath = '/usr/share/fonts/truetype/nanum/NanumBarunGothic.ttf'
font = fm.FontProperties(fname=fontpath, size=9)
plt.rc('font', family='NanumBarunGothic') 
mpl.font_manager._rebuild()

# 라이브러리 임포트
from selenium import webdriver
import time
from selenium.webdriver.common.keys import Keys
from bs4 import BeautifulSoup

import pandas as pd

import warnings
warnings.filterwarnings('ignore')

🎆 댓글 크롤링

• https://www.youtube.com/watch?v=75kySTFaBQQ&t=2980s 의 댓글들을 크롤링 해보겠다

from prompt_toolkit.formatted_text.html import html_escape

options = webdriver.ChromeOptions()
options.add_argument('--headless') 
options.add_argument('--no-sandbox')
options.add_argument('--disable-dev-shm-usage')

driver = webdriver.Chrome('chromedriver', options=options)

driver.get('https://www.youtube.com/watch?v=75kySTFaBQQ&t=2980s') # 링크 열기
driver.implicitly_wait(3)

time.sleep(1.5)

driver.execute_script('window.scrollTo(0, 800)') # 한번 스크롤
time.sleep(3)

last_height = driver.execute_script('return document.documentElement.scrollHeight') # 스크롤 전체 높이

while True:
  driver.execute_script('window.scrollTo(0, document.documentElement.scrollHeight);') # 스크롤 다운
  time.sleep(1.5)

  new_height = driver.execute_script('return document.documentElement.scrollHeight') # 스크롤 다운 후 스크롤 높이 

  if new_height == last_height: # 댓글 마지막 페이지면 while문 벗어남
    break

  last_height = new_height
  time.sleep(1.5)

  try:
    driver.find_element_by_css_selector('#dismiss-button > a').click() # 유튜브 1달 무료 팝업닫기

  except:
    pass

# 댓글 크롤링 
html_source = driver.page_source
soup = BeautifulSoup(html_source, 'html.parser')

id_list = soup.select('div#header-author > h3 > #author-text > span') # id 리스트
comment_list = soup.select('yt-formatted-string#content-text') # comment 리스트  

# 파싱해서 넣을 실제 데이터 리스트
id_final = []
comment_final = []

for i in range(len(comment_list)):
  temp_id = id_list[i].text
  temp_id = temp_id.replace('\n', '').replace('\t', '').replace(' ', '').strip()
  id_final.append(temp_id) # 댓글 작성자
  
  temp_comment = comment_list[i].text
  temp_comment = temp_comment.replace('\n', '').replace('\t', '').replace('\r', '').strip()
  comment_final.append(temp_comment) # 댓글 내용

# DataFrame 만들기(list -> dictionary -> dataframe)
# list -> dictionary
youtube_dic = {"아이디":id_final, "댓글 내용": comment_final}
# dictionary -> dataframe
youtube_pd = pd.DataFrame(youtube_dic)

youtube_pd.head()

📨 결과

👀 이런식으로 수집됩니당

---

✉️ id_list

📧 comment_list

---

👁️ 워드클라우드 시각화

text =" ".join(li for li in youtube_pd['댓글 내용'].astype(str))

import matplotlib.pyplot as plt
from wordcloud import WordCloud, STOPWORDS, ImageColorGenerator

plt.subplots(figsize = (25, 15))
wordcloud = WordCloud(background_color = 'black', width = 1000, height = 700, font_path = fontpath).generate(text)
plt.axis('off')
plt.imshow(wordcloud, interpolation = 'bilinear')
plt.show()

---

---

🐼 다른영상 시각화 해보기

링크 : https://www.youtube.com/watch?v=zH9n4777x80
👀 마스크 모양 적용하는 법은 제 벨로그 '네이버 기사크롤링' 에 있습니당 참고~~~ 귀찮아서 안적는거 아님 암튼아님 . ..

---

🚩 소감 🚩

오늘 쇼츠 영상 크롤링 하는 것 까지 올리려고 했는데. . 오늘 세시부터 벨로그 작성을 다짐하고 잤지만 오후 네시 반에 눈을 떴고,,, 밥먹고 환승연애보고 씻고 과자좀 씹어먹다보니까 벌써 열한시. 내일 집가려면 짐을 싸야되고 옷도 골라야 되기 때문에 쇼츠 영상은 집가서 한 일요일 쯤 다시 시도해봐야지 피쓰 -🐼