서버 CPU 80%까지 사용하는것 확인했는데 그 이후에 더 사용량이 늘었는지 airflow scheduler가 죽는 현상을 발견했다. 크롬드라이버가 CPU를 많이 잡아먹어서 돌리면서 확인해야겠다.
그리고 요기요 크롤러가 병렬처리가 안되는데 이유가 뭔지 봐야할것 같다.
invalid session에러도 자꾸 발생하는데 원인을 아직 못 잡고 있다. 계속 알아봐야할것 같다.