🌱Spring Batch (1) - 배치와 Job, Step은 무엇일까?🧐

Spring Batch란?

Spring Batch는 로깅/추적, 트랜잭션 관리, 작업 처리 통계, 작업 다시 시작, 건너뛰기 및 리소스 관리를 포함하여 대량의 레코드를 처리하는 데 필수적인 재사용 가능한 기능을 제공하는 프레임워크를 의미한다.

• 대량의 데이터를 처리하는 작업을 의미하며, 이러한 처리 작업을 '자동화'하여 시스템의 부하를 줄이고 효율적으로 데이터를 처리한다.

배치 프로그램(Batch Program)

• 대량의 데이터를 처리하는 작업을 자동화하는 프로그램을 의미한다.
• 보통 스케쥴러를 이용하여 특정 시간에 수행하도록 구성한다.
• 예를 들어 매일 새벽 3시에 일괄적으로 데이터를 업데이트하는 작업이 배치 프로그램의 대표적인 예시이다.

스케줄러(Scheduler)

• 일정한 시간 간격으로 반복적으로 수행되거나 특정 시간에 수행되도록 예약해 놓은 작업을 자동으로 실행해주는 시스템을 의미한다.

배치 프로그램과 스케줄러의 차이점🧐

• 비슷한 기능이지만 실행 방법과 목적에 따라 엄연히 다르다.
• 배치 프로그램은 일괄 처리를 위한 프로그램이며 정해진 시간에 실행되지 않고 사용자의 명령이 있을 때 실행하는 반면에
• 스케줄러는 정해진 시간에 실행되는 프로그램이며, 주기적으로 실행되는 작업을 설정할 수 있는 시스템을 의미한다.

---

배치 사용 목적

목적	설명
대량의 데이터 처리	대규모 데이터베이스, 로그 파일, CSV 파일 등에서 '데이터 추출 및 처리'를 위해 사용이 된다.
자동화된 작업 처리	스케줄러를 이용하여 주기적으로 '반복되는 작업'을 자동으로 처리하기 위해서 사용된다.
분산 처리	여러 서버에서 대량의 데이터를 처리하기 위해 사용된다.
재시도 및 로깅	데이터 처리 중 오류 발생 시 자동 재시도 및 로기 기능을 지원하기 위해 사용된다.
데이터 분석	데이터 마이그레이션, 백업 및 복원, 데이터 분석 등 다양한 용도에 사용된다.

배치 주요 기능

주요 기능	설명
Job과 Step을 이용한 배치 프로세스 구현 기능을 제공한다.	배치 처리의 단위 작업(Job)과 작은 단위 작업(Step)을 이용하여 배치 프로세스를 구현하는 기능을 제공한다.
Chunk 지향 처리 방식을 통한 대용량 데이터 처리를 지원한다.	Chunk 단위로 데이터를 처리하여 대용량 데이터 처리 기능을 제공한다.
Quartz, Cron 등의 스케쥴러를 이용한 배치 작업 스케줄링을 제공한다.	스케줄러를 이용하여 배치 작업을 주기적으로 실행하도록 스케줄링 제공한다.
Batch 작업에 대한 로깅과 예외 처리 기능을 제공한다.	Batch 작업 수행 중 로깅과 예외 처리를 지원하여 안정적인 배치 작업을 제공한다.

Chunk 지향 처리 방식

• 대용량 데이터를 처리하는 데 있어서 '메모리 사용량을 최소화'하고 대용량 데이터를 작은 Chunk 단위로 나누어 처리'하는 방식을 의미한다.

Chunk란 여러 개의 아이템을 묶은 하나의 덩어리, 블록을 의미한다.
한번에 하나씩 아이템을 입력 받아 Chunk 단위의 덩어리로 만든 후 Chunk 단위로 트랜잭션을 처리한다.

Quartz

• Java 기반의 오픈 소스 '스케줄링 라이브러리'이며 특정 시간에 작업을 자동으로 실행하도록 예약을 할 수 있도록 기능을 제공한다.

Cron

• Cron은 리눅스와 유닉스 계열 운영체제에서 사용되는 예약 작업 '스케줄링 시스템'이다. 특정 시간에 실행되어야 하는 작업을 정의하는 데 사용된다.

---

전체적인 진행 과정

• Job Launcher로 Job을 실행한다. (Job Launcher -> Job)
• Job은 Step을 통해 실제 배치처리를 수행한다. (Job -> Step)
• Step에서 읽어오고(Item Reader) -> 처리하고(Item Processor) -> 저장(Item Writer)을 수행한다.

---

Job

Job이란 하나 이상의 Step으로 구성되며 '배치 처리의 최상위 단위'를 의미한다.

• 실행 시점에 파라미터를 전달받을 수 있으며 실행 결과를 반환할 수 있다.
• 1개의 Job은 1개 이상의 Step으로 구성되어 있다.

* Job의 수행과정

* JobParameters가 포함된 수행과정

수행과정에서 나온 용어 정리📒

용어	설명
Job	배치 처리의 ‘단위 작업’을 의미한다.
JobInstance	하나의 Job 실행을 나타내는 ‘인스턴스’를 의미한다.
JobParameters	Job 실행 시 필요한 ‘파라미터’를 의미한다.
JobRepository	Job 실행 정보를 저장하고 관리하는 ‘저장소’를 의미한다.
JobLauncher	Job을 실행하는 인터페이스를 의미한다.
JobExecution	Job 실행 정보를 나타내는 인스턴스를 의미한다.
JobExecutionListener	Job 실행 전후로 수행할 작업을 정의하는 인터페이스를 의미한다.

Step

Step이란 실제 배치 처리를 수행하는 단위를 의미하며 Spring Batch Job안에는 한 개 이상의 Step으로 구성되어 있다.

• Step에서는 하나의 작업만 처리를 수행하는 Tasklet 방식과 Reader-Processor-Writer 묶음으로 여러 작업을 처리를 수행하는 Chunk 방식이 있다.
  

Step에서 사용되는 용어 정리📒

용어	설명
Step	Job을 구성하는 작은 단위 작업을 의미한다.
ItemReader	데이터를 읽어오는 인터페이스를 의미한다.
ItemProcessor	읽어온 데이터를 처리하는 인터페이스를 의미한다.
ItemWriter	처리한 데이터를 출력하는 인터페이스를 의미한다.
ExecutionContext	Step 실행 중 필요한 컨텍스트 정보를 의미한다.
StepExecution	Step 실행 정보를 나타내는 인스턴스를 의미한다.
StepExecutionListner	Step 실행 전후로 수행할 작업을 정의하는 인터페이스를 의미한다.

---

참고 사이트

• https://spring.io/batch
• https://docs.spring.io/spring-batch/reference/#domainLanguageOfBatch
• https://docs.spring.io/spring-batch/reference/#job
• https://docs.spring.io/spring-batch/reference/#configureJob
• https://docs.spring.io/spring-batch/reference/#remote-chunking
• https://adjh54.tistory.com/169