# 크롤러

10개의 포스트
post-thumbnail

스크립트에서 크롤러 접속 차단

특정 user가 접속 시에 서버의 부하가 급속히 증가하고 있었다.해당 user의 userAgent 값을 확인해보니 실제 사용자가 아닌 웹 크롤러로 추측되었다.userAgent : "AdsBot-Google (+http://www.google.com/adsbot

4일 전
·
0개의 댓글

파이썬을 이용한 크롤링

크롤링에 대한 경험담

2021년 6월 29일
·
0개의 댓글
post-thumbnail

우당탕탕 백준과 깃헙 연동하기 with Python

모든 발전은 귀찮음에서 부터 출발한다. -내 생각 > ❗️ 본 게시글은 백준 알고리즘 문제풀이 사이트에서 작성한 코드를 깃헙에 자동으로 업로드하는 프로젝트에 대한 이야기입니다. 💡개발한 계기 최근 들어, 매일 백준 문제를 풀고 있다.

2021년 3월 15일
·
2개의 댓글

크롤러 무한스크롤 에러

무한스크롤의 페이지를 크롤링하기 위해 드래그를 맨 밑으로 내려서 div, a 등 태그들은 로딩이 됐지만 이미지는 해당 위치로 이동을 해야 로딩되는 방식이어서 img src를 받을 수 없었다. 그래서 setInterval로 시간초마다 일정 높이를 드래그하여 이미지 전체를

2020년 11월 14일
·
0개의 댓글

크롤러 새로고침 기능

현재 링크를 저장하면 크롤러는 1회만 수행되어 최신데이터를 받아올 수 없다.그래서 새로고침기능을 추가하여 버튼클릭시 기존 데이터를 삭제하고 새로운 데이터를 insert하도록 할 것이다.순서는 다음과 같이 진행될 것이다.새로고침버튼 클릭back으로 링크카드의 id를 전송

2020년 11월 14일
·
0개의 댓글

Android Toy Project 1

App과 관련된 정보 크롤링1.에 대해서 정리2.에 대해 앱에서 출력 -> 기본 리스트간편하게 볼 수 있는 최신 UI 확인4.에 대해 적용

2020년 11월 1일
·
0개의 댓글
post-thumbnail

Typescript와 Express로 재밌는 무언가를 만들어보자!(3)

서론 지난 포스트에서 프로젝트 세팅을 모두 끝마쳤습니다! 이제 실제로 멋진 Typescript Express 크롤러를 만들어볼 차례입니다. 어서 개발하러 가시죠! 1. 크롤러의 작동원리 크롤러의 작동원리는 사실 정말 별 것도 없습니다. 우리가 일반적으로 웹 서핑을 할 때 보는 웹 페이지들은 다들 알고 계시는 것처럼 HTML과 CSS, 자바스크립트로 동작하...

2019년 8월 19일
·
14개의 댓글