백엔드 공부

배포한 사이트에 사용자가 유입되고 나서부터 리소스에 대한 봇 공격들이 탐지 되었다. 보안상으로는 문제가 없지만, 모니터링 환경에서 아래 사진과 같이 정상적인 API 요청과 봇 공격들이 섞여서 APM 사용이 불편해졌다. 이를 개선하려 앞단 웹서버(nginx)에서 봇공격으

크롤링 관련 프로젝트를 진행하며 신경 써야할 부분에 대해서 정리해보려고 한다. 사실 내가 구현한 프로젝트는 스크래핑이라 지칭하는게 정확하지만, 현 포스트에선 크롤링이라 지칭하겠다. 보통 Spring 환경에서 크롤링을 구현하면 위처럼 @Scheduled 어노테이션을 사