대용량 데이터 처리 회고 - 3

실전 프로젝트 회고

• Spring Scheduler를 활용하여 OPEN API를 통해 데이터 수집하는 작업을 진행하였다. 대용량 데이터 처리이다 보니까 시간을 많이 소요하게 되어 최적화 방법을 찾으려 했지만 OPEN API 활용하는 부분에서 대략 1건당 1초의 시간이 소요되어 insert를 한방 Query로 보내는 방법 말고 다른 부분에서는 찾지 못하였다. 아래는 Spring Scheduler를 활용한 내용이다.
  Spring Scheduler

• 제대로 공부는 아직 하지 못했지만 Spring batch가 대용량 데이터 처리를 하는데 사용된다고 보았다. 이번 프로젝트 기간 내에 활용할 수 없다면 어느정도라도 알아두고 가야될 거 같다.

• Spring Scheduler를 활용할 때, querydsl을 활용하려고 했지만 나도 모르게 jplq 혹은 native query로 구현하게 되었다. 아직 querydsl 활용에 적응이 안되어 어려움을 겪는거 같다. querydls은 꾸준히 공부해야 될 거 같다. 프로젝트 기간 내에 처음으로 sub query는 아니지만 기본적이지 않은 query를 작성한 거 같다. sub query에 두려움은 있지만, 할 기회가 생긴다면 어떻게든 하게 되지 않을까 생각한다.