🏃 Spring Batch 1편

Sei Kim·2024년 10월 2일

spring batch

Spring Batch

목록 보기

1/1

1. Batch란?

배치(Batch)작업은 데이터를 실시간으로 처리하는 것이 아니라, 일괄적으로 모아서 한번에 처리하는 작업을 의미합니다.

예를 들면 은행의 정산 작업의 경우 배치 작업을 통해 일괄처리를 수행하게 되며 사용자가에 빠른 응답이 필요하지 않은 서비스에 적용할 수 있습니다.

또 다른 예로는 쇼핑몰 같은 VIP시스템이 있는 곳에서 한달 동안 이용량을 확인한 뒤 부여하는 시스템에도 활용할 수 있습니다.

1.1. Batch 특징

대량의 데이터를 처리
특정 시간에 프로그램을 실행
일괄적으로 처리

2. Spring Batch란?

Spring Batch는 대량의 데이터 처리를 위한 경량화된 프레임워크로, 반복적인 작업을 수행하는 일괄 처리 (Batch Processing) 작업을 효율적으로 처리할 수 있는 기능을 제공합니다. 대용량 데이터 처리나 주기적인 업무 처리 등을 효율적으로 처리할 수 있고, 대용량 데이터 처리에 적합한 분산 방식의 처리를 지원합니다.

Spring Batch vs Quartz? Scheduler?
Spring Batch는 Batch Job을 관리하지만 Job을 구동하거나 실행시키는 기능은 지원하고 있지 않습니다. Spring에서 Batch Job을 실행시키기 위해서는 Quartz, Scheduler, Jenkins등 전용 Scheduler를 사용해야 합니다.

2.1. Spring Batch 특징

Spring Batch는 많은 양의 데이터를 효율적으로 처리할 수 있으며, 다양한 기능을 제공합니다.

대용량 데이터 처리: 방대한 양의 데이터를 처리할 수 있으며 데이터 처리 작업을 분산 처리할 수 있어서 대용량 데이터 처리에 적합합니다.
트랜잭션 관리: 데이터 처리 중 실패한 작업은 롤백하여 데이터 일관성을 유지할 수 있습니다.
재시도 기능: 작업 중 실패한 경우 작업을 재시도할 수 있는 기능을 제공하며 재시도 횟수를 설정할 수 있습니다.

2.2. Spring Batch 용어

Job

Job은 배치처리 과정을 하나의 단위로 만들어 놓은 객체입니다. 또한 배치처리 과정에 있어 전체 최상단에 위치하고 있습니다.

JobInstance

JobInstance는 Job의 실행 단위를 나타냅니다. Job을 실행시키게 되면 하나의 JobInstance가 생성되게 됩니다. 예를 들어 10월 1일 실행, 10월 2일 실행을 하게 되면 각각의 JobInstance가 생성되며 1월 1일 실행한 JobInstance가 실패하여 다시 실행을 시키더라도 이 JobInstance는 1월 1일에 대한 데이터만 처리하게 됩니다.

JobParmeters

JobParmeters는 JobInstance를 구별하기 위한 객체입니다. JobParmeters는 JobInstance 구별외에도 개발자 JobInstance에 전달되는 매개변수 역할도 하고 있습니다.

또한 JobParmeters는 String, Double, Long, Date 4가지 형식만을 지원하고 있습니다.

JobExecution

JobExecution은 JobInstance에 대한 실행 시도에 대한 객체입니다. 1월 1일에 실행한 JobInstance가 실패하여 재실행을 하여도 동일한 JobInstance를 실행시키지만 이 2번에 실행에 대한 JobExecution은 개별로 생기게 됩니다. JobExecution은 이러한 JobInstance 실행에 대한 상태, 시작시간, 종료시간, 생성시간 등의 정보를 담고 있습니다.

Step

Step은 Job의 배치처리를 정의하고 순차적인 단계를 캡슐화합니다. Job은 최소한 1개 이상의 Step을 가져야 하며 Job의 실제 일괄 처리를 제어하는 모든 정보가 들어와있습니다.

StepExceution

StepExceution은 JobExceution과 동일하게 Step 실행 시도에 대한 객체를 나타냅니다. 하지만 Job이 여러개의 Step으로 구성되어 있을 경우 이전 단계의 Step이 실패하게 되면 다음 단계가 실행되지 않음으로 실패 이후 StepExecution은 생성되지 않습니다. StepExecution 또한 JobExecution과 동일하게 실제 시작이 될 때만 생성됩니다. StepExecution에는 JobExecuton에 저장되는 정보 외에 read 수, write 수, commit 수, skip 수 등의 정보들도 저장이 됩니다.

ExecutionContext

ExecutionContext는 Job에서 데이터를 공유할 수 있는 데이터 저장소입니다. Spring Batch에서 제공하는 ExecutionContext는 JobExecutionContext, StepExecutionContext 2가지 종류가 있으나 이 두가지는 지정되는 범위가 다릅니다. JobExecutionContext의 경우 Commit 시점에 저장되는 반면 StepExecutionContext는 실행 사이에 저장되게 됩니다. ExecutionContext를 통해 Step간 Data공유가 가능하며 Job실패시 ExecutionContext를 통한 마지막 실행 값을 재구성 할 수 있습니다.

JobRepository

JobRepository는 위에서 말한 모든 배치 처리 정보를 담고 있는 매커니즘입니다. Job이 실행되게 되면 JobRepository에 JobExecution과 StepExecution을 생성하게 되며 JobRepository에서 Execution 정보들을 저장하고 조회하며 사용하게 됩니다.

JobLauncher

JobLauncher는 Job과 JobParameters를 사용하여 Job을 실행하는 객체입니다.

ItemReader

ItemReader는 Step에서 Item을 읽어오는 인터페이스입니다. ItemReader에 대한 다양한 인터페이스가 존재하며 다양한 방법으로 Item을 읽어 올 수 있습니다.

ItemWriter

ItemWriter는 처리 된 Data를 Writer 할 때 사용합니다. Writer는 처리 결과물에 따라 Insert가 될 수도 Update가 될 수도 Queue를 사용한다면 Send가 될 수도 있습니다. Writer또한 Read와 동일하게 다양한 인터페이스가 존재합니다. Writer는 기본적으로 Item을 Chunk로 묶어 처리하고 있습니다.

ItemProcessor

ItemProcessor는 Reader에서 읽어온 Item을 데이터를 처리하는 역할을 하고 있습니다. Processor는 배치를 처리하는데 필수 요소는 아니며 Reader, Writer, Processor처리를 분리하여 각각의 역할을 명확하게 구분하고 있습니다.

3. Spring Batch 사용하기

3.1. Application 환경 설정

가장 먼저 Application에 Spring Batch를 사용할 것 이라고 어노테이션을 달아줍니다.

@EnableBatchProcessing	// 해당 어노테이션
@SpringBootApplication
public class SpringBatchApplication {
	public static void main(String[] args) {
		SpringApplication.run(SpringBatchApplication.class, args);
	}
}

간단하게 Spring Batch을 설정할 수 있습니다.

3.1.1. MySQL(Database) 연동

이후 저는 MySQL과 연동을 할 것 이기 때문에 다음과 같이 환경 설정을 해주었습니다.

spring:
  application:
    name: spring-batch
  datasource:
    url: jdbc:mysql://localhost:3307/batch
    driver-class-name: com.mysql.cj.jdbc.Driver
    username: root
    password: 1234
  jpa:
    hibernate:
      ddl-auto: create-drop
    show-sql: true
  sql:
    init:
      mode: always

sql.init.mode를 설정한 이유는 기본적으로 필요한 테이블을 구성하기 위해 resources-schema.sql에 테이블 관련 SQL문을 작성해두었습니다.

해당 스키마 정보는 spring-batch-core-5.1.2.jar - org - springframework - batch - core - schema-mysql.sql 에 있습니다.

해당 테이블이 없는경우 정상적으로 실행되지 않습니다.

3.2 Spring Batch Job 구성하기

Spring Batch에서 Job은 여러가지 Step의 모음으로 구성되어 있으며, Job은 순차적인 Step을 수행하며 Batch를 수행하게 됩니다. Step은 Tasklet 처리 방식과 Chunk 지향 처리 방식을 지원하고 있습니다.

3.2.1. 단일 Step 구성하기

@Slf4j
@RequiredArgsConstructor
@Configuration
public class ExampleJobConfig extends **DefaultBatchConfiguration** {

	private static final String JOB_NAME = "exampleJob";
	private static final String FIRST_STEP_NAME = "firstStep";

	@Bean
	public Job exampleJob(JobRepository jobRepository, PlatformTransactionManager transactionManager) {
		return new JobBuilder(JOB_NAME, jobRepository)
				.start(firstStep(jobRepository, transactionManager))
				.build();
	}

	@Bean
	public Step firstStep(JobRepository jobRepository, PlatformTransactionManager transactionManager) {
		return new StepBuilder(FIRST_STEP_NAME, jobRepository)
				.tasklet((contribution, chunkContext) -> {
					log.info(">>>>>>>>>>>>>>>> First step");
					return RepeatStatus.FINISHED;
				}, transactionManager).build();
	}
}

다음과 같이 간단하게 log를 출력하는 기능을 만들어보았습니다.

Spring Batch 5.0.0 이후로는 extends DetaulBatchConfiguration을 통해 설정들을 가져올 수 있습니다.

위 사진에서 출력된 결과를 보면 정상적으로 동작하는 것을 확인할 수 있습니다.

3.2.2. 다중 Step 구성하기

@Bean
public Job multiStepJob(JobRepository jobRepository, PlatformTransactionManager transactionManager) {
	return new JobBuilder(JOB_NAME, jobRepository)
			.start(firstStep(jobRepository, transactionManager))
			.next(nextStep(jobRepository, transactionManager))
			.next(lastStep(jobRepository, transactionManager))
			.build();
}

next 를 활용하여 여러개의 step 을 구성하였습니다. 이렇게 다중으로 Step을 구성할 수 있습니다.

결과를 보면 총 3개의 Step이 진행된 것을 확인할 수 있습니다.

3.2.3. Flow를 통한 Step 구성하기

추후 추가하겠습니다.

3.3. 다양한 Step 설정하기

Step에는 다양한 설정을 적용할 수 있습니다. 하나씩 예제 코드와 함께 알아보도록 하겠습니다.

3.3.1. Step에서 `startlimit` 사용하기

startlimit 는 해당 Step의 실패 이후 재시작 가능 횟수를 의미합니다. startlimit 이후 실행되는 Exception이 발생됩니다.

@Bean
public Step startLimitStep(JobRepository jobRepository, PlatformTransactionManager transactionManager) {
	return new StepBuilder(START_LIMIT_STEP_NAME, jobRepository)
			.tasklet(tasklet(), transactionManager)
			.startLimit(10)    // 10번 재시작 가능
			.build();
}

이 외에도 skip, retry, noRollback 와 같은 다양한 설정들이 있습니다.

4. STEP을 구성하는 Tasklet과 Chunk 지향 처리

4.1. Tasklet

Tasklet은 하나의 메서드로 구성 되어있는 간단한 인터페이스입니다. 이 메서드는 실패를 알리기 위해 예외를 반환하거나 throw할 때 까지 execute를 반복적으로 호출하게 됩니다. 수행될 때마다 독립적인 트랜잭션이 얻어집니다.

초기화, 저장 프로시저 실행, 알림 전송과 같은 Job에서 일반적으로 사용됩니다. 계속 진행할지 아님 끝낼지 두가지 경우에만 제공됩니다.

public enum RepeatStatus {
    CONTINUABLE(true), // 계속 진행
    FINISHED(false);   // 끝내기
    // ETC...
}

Tasklet을 구현하는 방법은 총 3가지가 있는데 하나씩 알아보도록 하겠습니다.

4.1.1. Job Class 안에 Tasklet 구현하기 (Lambda)

// 내부 람다식으로 작성하기
@Bean
public Step firstStep(JobRepository jobRepository, PlatformTransactionManager transactionManager) {
	return new StepBuilder(FIRST_STEP_NAME, jobRepository)
			.tasklet((contribution, chunkContext) -> {
				log.info(">>>>>>>>>>>>>>>> First step");
				return RepeatStatus.FINISHED;
			}, transactionManager).build();
}

// 함수로 분리하기
public Tasklet tasklet() {
	return ((contribution, chunkContext) -> {
		log.info(">>>>>>>>>>>>>>>> Step");
		return RepeatStatus.FINISHED;
	});
}

위 코드와 같이 람다식으로 tasklet을 작성할 수 있습니다.

4.1.2. MethodInvokingAdapter를 사용하여 구현하기

@RequiredArgsConstructor
@Configuration
public class MethodInvokingTaskletAdapterJobConfig extends DefaultBatchConfiguration {
	private final String JOB_NAME = "MethodInvokingTaskletAdapterJob";
	private final String STEP_NAME = "SleepBySleepServiceStep";
	private final SleepService sleepService;

	@Bean
	public Job methodInvokingTaskletAdapterJob(
			final JobRepository jobRepository,
			final PlatformTransactionManager transactionManager
	) {
		return new JobBuilder(JOB_NAME, jobRepository)
				.start(sleepBySleepServiceStep(jobRepository, transactionManager))
				.build();
	}

	@Bean
	public Step sleepBySleepServiceStep(
			final JobRepository jobRepository,
			final PlatformTransactionManager transactionManager
	) {
		return new StepBuilder(STEP_NAME, jobRepository)
				.tasklet(sleepBySleepServiceTasklet(), transactionManager)
				.build();
	}

	// MethodInvokingTaskletAdapter 방식
	@Bean
	public MethodInvokingTaskletAdapter sleepBySleepServiceTasklet() {
		MethodInvokingTaskletAdapter adapter = new MethodInvokingTaskletAdapter();
		adapter.setTargetObject(sleepService);
		adapter.setTargetMethod("sleep");
		return adapter;
	}
}

@Slf4j
@Service
public class SleepService {
	public void sleep() throws InterruptedException {
		log.info("Sleep Start");
		Thread.sleep(500);
	}
}

MethodInvokingTaskletAdapter 을 사용하여 실행하려고하는 비즈니스 로직과 함수명을 작성하여 구현할 수 있습니다.

실행시키면 정상적으로 동작하는 것을 확인할 수 있습니다.

4.1.3. 외부 클래스를 사용하여 Tasklet 구현하기

@Slf4j
public class ExternalClassTasklet implements Tasklet, StepExecutionListener {
	@Override
	@BeforeStep
	public void beforeStep(StepExecution stepExecution) {
		log.info(">>>>>>>>>> Before Step Start!");
	}

	@Override
	public RepeatStatus execute(StepContribution contribution, ChunkContext chunkContext) throws Exception {
		for (int i = 0; i < 10; i++) {
			log.info(">>>>>>>>>>>>>>>>>>>> {}: Execute!", i);
		}
		return RepeatStatus.FINISHED;
	}

	@Override
	@AfterStep
	public ExitStatus afterStep(StepExecution stepExecution) {
		log.info(">>>>>>>>>> After Step Start!");
		return ExitStatus.COMPLETED;
	}
}

다음과 같이 Tasklet 을 구현하여 작성할 수 있습니다.

만약 실행이전과 이후에 특정 로직이 필요하다면 StepExecutionListener 을 상속받아 @BeforeStep, @AfterStep을 통해 execute 배치 실행 전 후에 Event를 등록하여 실행 시킬 수 있습니다.

다음과 같이 정상적으로 실행되는 것을 확인할 수 있습니다.

4.2. Chunk

Spring Batch에서 Chunk란 처리되는 커밋 ROW수를 의미합니다. Batch 처리에서 커밋 되는 ROW 수라는건 chunk단위로 Transaction을 수행하기 때문에 실패시 Chunk 단위 만큼 Rollback이 되게 됩니다.

Chunk 지향 처리에서는 다음과 같은 3가지 시나리오로 실행됩니다.

읽기(Read): Database에서 배치처리할 Data를 읽어온다.
처리(Processing): 읽어온 Data를 가공, 처리를 한다. (필수사항 X)
쓰기(Write): 가공 처리한 데이터를 Database에 저장한다.

아래 그림은 Chunk 지향 처리에서 배치가 수행되는 그림입니다.

주로 사용하는 아래의 사진처럼 백만개의 데이터를 메모리에 올리는 것이 부담되기 때문에 주로 Chunk 단위로 분할하여 처리합니다.

4.1. Chunk 들어가기에 앞서

Spring Batch에는 다양한 ItemReader와 ItemWriter가 존재합니다. 대용량 배치 처리를 하게 되면 Item을 읽어 올 때 Paging 처리를 하는게 효과적입니다. Spring Batch Reader에서는 이러한 Paging 처리를 지원하고 있습니다. 또한 적절한 Paging 처리와 Chunk Size를 설정하여 더욱 효과적인 배치 처리를 할 수 있습니다.

4.2 적절한 Paging Size 와 Chunk Size

Paging Size와 Chunk Size의 관계는 다음과 같은 관계로 이루어집니다.

Paging Size가 5이며 Chunk Size가 10일 경우 2번의 Read가 이루어진 후에 1번의 트랜잭션이 수행됩니다. 이는 한번의 트랜잭션을 위해 쿼리 수행이 발생하게 됩니다.

하지만 특별한 이유가 없는 한 Paging Size와 Chunk Size를 동일하게 하는 것을 추천합니다.

Setting a fairly large page size and using a commit interval that matches the page size should provide better performance.

페이지 크기를 상당히 크게 설정하고 페이지 크기와 일치하는 커밋 간격을 사용하면 성능이 향상됩니다.

출처: Spring Batch

5. Spring Meta Table

Spring Batch에는 6개의 Meta Table와 3개의 Sequence Table이 존재합니다. 이는 Spring BatchJob이 실행 될 때마다 Job에 대한 다양한 정보들이 저장되게 됩니다.

일반적으로는 해당 Meta Table이 없이는 Spring Batch Framework를 실행시킬 수 없으나 이는 필요에 따라 커스터마이징을 통해 Meta Table이 없이도 실행되게 만들 수 있습니다.

SEQUENCE

BATCH_JOB_INSTANCE, BATCH_JOB_EXECUTION및 BATCH_STEP_EXECUTION의 Primary Key는 시퀀스에 의해 생성됩니다. 다음은 Sequence를 지원하는 Database Create 식입니다.

BATCH_JOB_INSTANCE

BATCH_JOB_INSTANCE 테이블에는 JobInstance에 관련된 모든 정보가 포함되어 있습니다. 또한 해당 Table은 전체 계층 구조의 최상위 역할을 합니다.

BATCH_JOB_EXECUTION_PARAMS

BATCH_JOB_EXECUTION_PARAMS 테이블에는 Job을 실행 시킬 때 사용했던 JobParameters에 대한 정보를 저장하고 있습니다.

BATCH_JOB_EXECUTION

BATCH_JOB_EXECUTION테이블에는 JobExcution에 관련된 모든 정보를 저장하고 있습니다. JobExcution은 JobInstance가 실행 될 때마다 시작시간, 종료시간, 종료코드 등 다양한 정보를 가지고 있습니다.

BATCH_STEP_EXECUTION

BATCH_JOB_EXECUTION테이블에는 StepExecution에 대한 정보를 저장하고 있습니다. BATCH_JOB_EXECUTION 테이블과 여러 면에서 유사하며 STEP을 EXECUTION 정보인 읽은 수, 커밋 수, 스킵 수 등 다양한 정보를 추가로 담고 있습니다.

BATCH_JOB_EXECUTION_CONTEXT

BATCH_JOB_EXECUTION_CONTEXT테이블에는 JobExecution의ExecutionContext 정보가 들어있습니다.이 ExecutionContext 데이터는 일반적으로 JobInstance가 실패 시 중단된 위치에서 다시 시작할 수 있는 정보를 저장하고 있습니다.

BATCH_STEP_EXECUTION_CONTEXT

BATCH_STEP_EXECUTION_CONTEXT테이블에는 StepExecution의 ExecutionContext 정보가 들어있습니다. 이 ExecutionContext 데이터는 일반적으로 JobInstance가 실패 시 중단된 위치에서 다시 시작할 수 있는 정보를 저장하고 있습니다.

Ref

Sei Kim