또 하나의 작게 한 프로젝트가 끝났기 때문에,
어제 터지고 다시 서버를 받아 열기만 해두었던 디붕 서버를 손보려고 했다.
가장 부담이 가는 것은 역시 크롤링이라고 생각하는데,
5초 정도의 기다림의 시간이 필요하게 된다.
최저가 검색 같은 것은 그래도 자기가 눌렀기 때문에 기다려야 함을 인지할 수 있지만,
그 날 하루의 첫 방문객은 사이트에 입장 하자마자 크롤링 과정을 거치게 된다.
그리고 이는 사이트의 버벅임이라고 인지하고, 사이트를 강제 종료하거나 새로고침을 연발하게 된다.
적어도 이 프로세스를 매일 정시에 실행되는 자동화를 통해 해결하려고 했다.
이것을 예전에도 적었었지만,
사실 selenium을 파이썬에서 schedule 라이브러리를 통해 해결하려 했으나 실패했었다.
고민을 해보다가 생각하게 된 바가 있는데,
일단 정각에 사이트를 키기만 하면 크롤링 프로세스가 자동으로 진행이 된다는 것이다.
그래서 해결 방식을 schedule 라이브러리가 아닌, crontab으로 접근해 보기로 했다.
crontab은 쉽게 말해서 윈도우 스케쥴러의 리눅스 버전이다.
crontab을 오늘 설정 해놓고, 내일 잘 됬는지 확인을 하고자 한다.
자세한 내용은 내일 적어보겠다.
반갑습니다