Spring Batch

Spring Batch는 대용량 데이터 처리 위한 프레임워크. Scehduler와 함께 주기적은 작업도 실행할 수 있으므로 정산 업무에 적합하다고 판단했다. 배치 : 대량 데이터 일괄 처리 스케쥴러 : 특정 주기마다 작업 실행 Spring Batch 구조 Job 전체 배치 과정 추상화한 개념. 한개 이상의 step 포함하고 스프링 배치에서 가장 상위 ...

Scope 스프링 컨테이너에서 Bean이 관리되는 범위 @JobScope, @StepScope는 스프링 배치 사용시 Job과 Step의 Bean 생성, 실행에 관여하는 스코프. @JobScope, @StepScope가 선언되면 Bean의 생성이 어플리케이션 구동시가 아닌, Bean의 실행시점에 이루어짐. 각각 Job, Step이 실행되는 시점에 Bean...

chunk size chunk size : 한번에 처리될 트랜잭션 단위 chunk 단위로 실패할 경우엔 해당 chunk 만큼 rollback되고, 이전 커밋된 트랜잭션 범위까지는 반영됨 JPA Page Size는 한번에 조회할 Item의 양. chunk size는 page size와 같아야 함. ** 1억만건의 파일을 db에 저장하는 배치 프로세스를 ...

스프링 배치와 스케줄러를 사용한 코드를 작성하고 있다. 리더에서 사용하는 RepositoryItemReader는 paging을 지원해서 Page 타입을 리턴하는 리포지토리의 메소드를 사용하고 있다.그런데, queryDsl을 이용한 다음 메소드를 리더에서 사용하면 저장이