항해99 3일차 미니프로젝트

홍당무·2022년 11월 17일
0

일기

팀원 = (前)팀원;

어제 TIL을 적고 자러가기 직전, 온보딩 주차 팀원분들을 만났다. 한 분이 프로젝트는 다 완성되어 가시냐며 말을 걸어왔다. TIL을 적으며 오늘 하루 있었던 일을 다시금 정리한 이 후인지라 비교적 일목요연하게 설명할 수 있었다.

이야기를 다 들은 팀원분은 위로를 해주시며

"역시, 네이버가 괜히 대기업이 아니네요~ 우리 웹종반 때 네이버 크롤링 해왔잖아요~"

라고 말씀하셨다. 위로를 듣고 '정적 페이지 크롤링' 과 '동적 페이지 크롤링' 의 차이점을 설명할까 하다가 말았다.(사실 자세하게 모름) 팀원분은 한 마디를 더 거들며

"처음부터 네이버하시지 그러셨어요"

라고 말씀하셨고 그 말을 들은 나는 팀원분들께 아래 빈 테이블로 와주시라 말씀드렸다.

빈 테이블에 앉아 나는 화면 공유를 키며 분개했다.

"아니, 네이버다가 (검색하면)치면 (정보가)나오겠냐고요."

그렇게 네이버 메인 화면에 '넷플릭스 추천'을 검색하며 팀원분께 자초지종을 설명하려던 찰나 넷플릭스 추천이 떴다. 그 것도 실시간으로ㅋ

'등잔 밑이 어둡다' 라는 속담처럼 한국인이 가장 많이 사용하는 검색사이트인 네이버를 생각치 못한 것이다. 장장 22시간의 사투와 울분이 채 녹기도 전에 크롤링은 끝이 났다.(30분)

``
@app.route('/api/netflixView', methods=['GET'])
def nexflexcrawling():
urlNet = 'url넣는곳'
dataNet = requests.get(urlNet, headers=headers)
soupNet = BeautifulSoup(dataNet.text, 'html.parser')

N_count = 1
title_list = []
for rrr in range(8):
    title = \
        soupNet.select_one(
            f'#mflick > div > div > ul:nth-child(1) > li:nth-child({N_count}) > div.thumb_area > a > img')[
            'src']
    title_list.append(title)
    N_count += 1
return jsonify({'Netflixvar': title_list})

``

그 후, 3시간 정도를 자고 난 뒤 아침이 되어 크롤링한 데이터를 슬라이드에 입히는 작업을 끝으로 역할은 끝났다.

profile
공부하는 백엔드 개발자

0개의 댓글