🤖 ChatGPT로 유튜브 영상 크롤링하기 - (Python 코드 자동 생성)

짜자잔 오늘 해볼 것은 ⚡️

• 유튜브 재생 목록 크롤링하기 : 영상 타이틀, 링크, 업로드 날짜 가져오기
• ChatGPT로 Python 코드 자동 생성
• csv 파일로 데이터 추출해서 Airtable에 데이터 저장

들어가기에 앞서 ..

• 저는 비개발자이고 업무 생산성 및 효율, 노코드툴을 활용한 자동화를 고민하는 PM 입니다 🤓
• 셀레니움 라이브러리 사용했습니다
• Jupyter notebook
• chromedriver

Task Goal ⛳️

사실 아무도 나한테 시킨 적 없고 기획된 바도 없다 (!! 두둥)
나한테 주어진 Task는 유튜브 영상 소스를 바탕으로 카페, 블로그에 올라갈 포스트 작성하기였음
그러나 업무 생산성과 고도화된 프로세스 (특히 Automation)를 고민하고 싶었고
요즘 나의 아주 아주 관심사인 노코드, ChatGPT를 활용해서 솔루션을 찾아보고자 했습니다

목표를 정리하면

1. 운영 중인 유튜브 채널에 영상의 재생목록을 데이터베이스화 하기
2. 이를 csv 파일로 변환하여 관리 (DB- Airtable 사용)
3. 해당 데이터를 Airtable에 저장하여 Automation Process를 추가 기획한다.
   아직 확실하진 않지만 ! ChatGPT를 활용해 영상 내용을 요약 및 재구성하여 자동으로 글을 post하는 방식을 고민 중에 있음 🤔

어떤 데이터를 추출할 건가요?

유튜브 동영상의 제목, 링크, 조회수, 업로드 날짜 정보 추출할 것.

요 영상을 예를 든다면 썸네일 이미지와 타이틀이 있고 밑에 등록자와 조회수, 업로드 날짜가 있는 것을 볼 수 있다

유튜브 재생목록 화면에서 개발자 도구를 통해 구조를 좀 봐야함
개발자 도구로 내가 가져오고 싶은 정보가 어떤 id를 가지고 있는지 확인을 합니다
id=video title .. 등등 이렇게 각 요소마다 id를 가지고 있다 정도만 이해하고 넘어감
한 영상의 요런 정보를 활용해서 크롤링을 하면된다.

파이썬으로 웹크롤링 하려면 코드 작성하고 뭐하고 개발자한테 부탁하고 이래야했지만? ..
나? ChatGPT 쓸 줄 아는 기획자 .. 지피티씨한테 코드를 입력하라고 말하기 (부탁하기 🙏)

영상 제목 추출하는 Python Code 자동 생성

먼저 제목만 추출해보기
각 코드들이 자세하게 궁금하다면, 코드 복붙해서 지피티씨한테 한번 더 설명해달라고 하면 뚝딱 해준다
왜 이렇게 해야하는 지를 상세하게 설명해줌
(이게 왜 이렇게 동작되는지 알아야만하는 나에겐 너무나 좋은 정보이다)

짜자잔 이제 주피터 노트북에다가 지피티가 써준 코드 복붙해서 RUN 하면
제목을 추출해줍니다
암것도 설정된 것 없어서 제목이 더럽게 텍스트만 나온다
이건 나중에 다시 텍스트 설정 해주면 되니 일단은 넘어감

사실 웹 드라이버에서 몇 가지 오류상황이 있었는데 이것도 챗지피티한테 물어봐서 해결
내가 크롬 창을 자꾸 닫아서 (..) 발생한 거 였어
ㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋ

잘 가져오네요
제목이랑 마찬가지로 링크, 조회수, 등록일 가져오는 코드 입력해달라고 하면
지피티씨가 알아서 코드를 작성해줍니다

등록일 가져오면서 애먹었던 지점이 있는데,
.. 이유는 나와 지피티씨 모두 span 구조를 생각 안해서 !!

ㅋㅋ 일을 시킬 때 이래서 잘 시켜야한다
지피티씨랑 일하고 있으면 어떻게 일을 시켜야 하는지 곰곰히 생각해보게된다
GPT야말로 내가 시키는 대로 명령한 대로 움직이는 애라
목적을 가지고 해야하는 명령을 구조화하여 잘 시키면 정말 좋은 결과를 획득할 수 있음
프롬프트 구조와 ChatGPT를 공부해야하는 이유 😉

지피티씨 학습시키기
(어떤 링크에서, 어떤 정보가 필요한지, 그리고 이 데이터는 어디에 있는지,
오류가 발생하면 내가 필요한 건 ~~ 이게 아니고 xxx 이거야 ~~ 이런 식으로 학습시켜야함)

사실 조회수는 그닥 필요하지 않은 정보 (가변성이 높으니) 별로 안 가져오고 싶었는데
조회수를 안하면 자꾸 span을 못 긁어와서 걍 조회수와 업로드 날짜 모두 가져오는 걸로 변경

비디오의 제목, 링크, 조회수, 등록일 추출하고
CSV 파일로 저장하기

csv 파일로 추출 완료 ✌️

에어테이블에서 DB 관리하기 위해 넣었습니다
컬럼도 설정완료
이제 Automation Process를 추가 기획할 예정
어떻게 써먹으면 가장 좋을까?를 생각하고 있다
확실히 전 이런 게 재미가 있네요

공부를 마치며

ChatGPT 넘 재밌다
앞으로 일주일에 한개씩 여러가지를 실습해볼 생각입니다
(챗지피티, 노코드툴 기타등등)
새롭게 무언가 공부하고, 배우는 게 너어어어무 재밌어요
사실 좀 예전에 한 글인데 이제야 올린다 🫠
이거 외에도 노코드툴 공부하고 있는거 찬찬히 정리해서 올려놓을 예정
이 전 기획했던 내용들두 올려놔야지 !-!