# crawler

4개의 포스트
post-thumbnail

AWS lambda + Cloudwatch로 serverless 크롤러 만들기

주기적으로 작동하는 크롤러를 만들기로 결정한 후 처음 들었던 고민은 '어떤 배치 서비스를 사용해야 하나' 하는 것이었다. 백엔드는 spring boot로 개발하고 AWS에 배포할 계획이었기 때문에 높은 통합성을 보이리라고 생각되는 spring batch, AWS bat

5일 전
·
0개의 댓글
post-thumbnail

deliSHAs - 서울대학교 학식 어플리케이션 만들기

우리 대학교 학생들이 많이 사용하는 학식 어플이 있는데, 어느 순간부터 앱이 작동하질 않아서 불편함이 있었다. 친한 형들과 함께 완벽하게 배포해서 운영할 만한 프로젝트를 찾고 있었는데, 우선 간단하게 학식 정보 제공 어플리케이션을 만들어보기로 했다.학식 정보를 공식 홈

2020년 3월 17일
·
0개의 댓글
post-thumbnail

selenium 크롤링 - 무한 스크롤, 클릭

저는 현재 위코드에서 스타일쉐어 웹 클론 프로젝트에서 백엔드를 맡아 진행하고 있습니다. 진행 중 스타일쉐어의 브랜드 리스트 페이지를 크롤링해야했는데요, 이전에 했던 Django http & 크롤링 기초 _ 네이버 블로그 리스트 긁어오기와 다르게selenium을 이용해 진행해야했습니다. 크롤링을 진행한 페이지는 아래의 스타일쉐어 브랜드 리스트 입니다. 브랜...

2020년 2월 26일
·
0개의 댓글
post-thumbnail

Typescript와 Express로 재밌는 무언가를 만들어보자!(3)

서론 지난 포스트에서 프로젝트 세팅을 모두 끝마쳤습니다! 이제 실제로 멋진 Typescript Express 크롤러를 만들어볼 차례입니다. 어서 개발하러 가시죠! 1. 크롤러의 작동원리 크롤러의 작동원리는 사실 정말 별 것도 없습니다. 우리가 일반적으로 웹 서핑을 할 때 보는 웹 페이지들은 다들 알고 계시는 것처럼 HTML과 CSS, 자바스크립트로 동작하...

2019년 8월 19일
·
11개의 댓글