바로 본론으로 들어가서, 이번 캡스톤 프로젝트의 예상 크롤링 튜플 수는 약 5000개 이상이 된다.
원래 Command Line에서 작업을 하다, Workbench의 편리성을 너무 적응 한 탓인지...
데이터 검증을 모두 Workbench로 수행하였다.
수많은 착오와 노력으로 크롤링 알고리즘을 완성하고, "이제 완벽하다!"라는 성취감과 함께
데이터를 집어넣었고, 초반에는 너무 순조롭게 진행됐지만. 1275줄 아래부터는 데이터가 삽입되지 않아 '보였다.'
[예시를 위한 이미지]
크롤링 -> CSV 검증 -> 데이터 삽입 순으로 진행을 하였는데,
CSV에서는 문제가 분명히 없었는데.... 1275라인까지 밖에 삽입이 안되었다.
'많은 데이터를 한번에 넣어서 그런가?' 라는 생각에
time.sleep로 지연시간도 주고, 컬럼의 auto_increasing도 해제하고 수작업으로 넣고...
같은 문제가 계속 발생했다.
그래서, 임의의 데이터를 한번 넣어보았는데, 'apply'임에도 불구하고 1275번째에서 "깜빡!"하고는 다시 데이터가 사라졌다.
혹시나... 하여 Command Line로 max id를 조회했는데..
워크벤치에는 보이지 않던 1472번째 아이디가 보였다.
워크벤치 내의 셋팅에서 최대 출력 개수를 설정해주는것이 있지는 모르겠지만...
아무튼 개발자라면 Workbench의 편리함에 속아 Command Line을 잊지말자...
(지금 보니 워크벤치에 자동으로 limit가 걸려서 쿼리문이 실행된다...)
날 것의 기술 '불'로그