20211008 TIL

jihye·2021년 10월 8일
0

오늘 배운 것

네이버지도 API를 이용한 맛집지도 만들기

네이버 지도 API를 이용한 맛집지도를 만들기 전에 웹 스크래핑을 활용해 맛집 리스트를 ec2에 설치해놓은 mongodb에 저장하였다. 식당 정보는 http://matstar.sbs.co.kr/location.html 에서 스크래핑 해왔다.
처음에 페이지가 로딩되면 식당정보가 있는 카드가 16개가 나오고 아래 화살표를 클릭하면 카드가 더 추가되는 형식이다.
많은 정보를 DB에 저장하기 위해 selenium을 이용하였다.
웹기초 수업에서는 requests를 이용하였는데 그 둘의 차이는 아래와 같다.

  • requests

    처음로드되는 html의 정보만 수집이 가능. 서버에 있는 정보는 수집되지 않는다.

서버와 비동기 통신으로 보여주는 내용은 스크래핑 되지 않는다는 단점이 있다.

  • selenium

    html 화면에 모든 정보가 로드 된 후 정보 수집 가능. 웹브라우저를 컨트롤 할 수 있다.

수업에서는 melon 차트를 스크래핑 해보았는데, html이 처음 로드될때는 좋아요 수가 0으로 되어있어서 requests로 스크래핑을 하면 좋아요수가 실제 화면에 보이는 수가 아닌 0으로 스크래핑 되는 문제가 있었다. 같은 페이지를 selenium으로 스크래핑하면 사용자들이 실시간으로 누르는 좋아요도 함께 수집할 수 있었다.

오늘 느낀 점

타임어택 테스트가 있는 금요일이다. 지난주차에 만들었던 나홀로 메모장에 기능을 추가하는 테스트였다. 내용수정과 제목을 클릭할때마다 조회수가 증가하는 기능을 구현해야했다.
기능을 추가하기는 커녕 지난주차의 테스트도 아직 완벽하게 숙지가 되어있지 않아서 간단한 html 수정 정도밖에 완성하지 못했다.
테스트가 끝나고 지난주 테스트 내용을 혼자 구현해보는 시간을 가졌다. 웹개발 심화반을 들으면서 서버와 클라이언트가 통신하는 기능을 몇번 구현하다보니 처음만큼 막막하지는 않았다.
혼자 복습을 하며 고등학생때 처음 작곡을 배우던 그 때가 생각이 났다.
고등학생이었던 나는 선생님이 말씀해주신게 정말 하나도 이해가 안되면 외워서라도 되게 했었는데 지금의 나는 시간이 없다는 핑계로 열심히 하지 않았다는 생각이 들었다.
매일매일 조금씩 성장하고 싶은 바램이 있었는데 나는 하나도 노력하지 않았던것 같다.

이때까지의 나를 반성하며 좀 더 열정적으로 프로그램에 임하겠다고 다짐해본다!

profile
초보개발자의 개발일기

0개의 댓글