ETL (3)

🎁 Contents

• ETL (3)
  • 🎁 Contents
  • 0. Summary
  • 1. Using Job Parameter
  • 2. Execute
  • 3. Using Scheduler
  • 4. Check

0. Summary

앞에서 ETL 기본 설정과 Spring batch Job을 알아보았다.

Scheduler를 통해 Job을 주기적으로 실행시킬 것이다.
보다 자세한 Scheduler정보는 여기에 포스팅해놓았다.

1. Using Job Parameter

Spring batch에서 특정 Job을 실행시키기 위해서는 Job Parameter를 설정해야한다.
Job Parameter는 @JobScope나 @StepScope와 함께 사용한다.
@JobScope: Step과 함께 사용한다.
@StepScope: tasklet이나 ItemReader, ItemProcessor, ItemWriter와 함께 사용한다.

다음 예제는 Job Parameter로 requestDate를 받아 ItemProcessor에서 출력하는 예제이다.

@Bean
  @StepScope
  public ItemProcessor<Product, TransProduct> processor(@Value("#{jobParameters[requestDate]}") String requestDate) {
    return product -> {
      String name = product.getName();
      Long price = product.getPrice();
      LocalDateTime created = product.getCreated();
      System.out.println(requestDate);
      if( price > 2500 ) {
        return new TransProduct(name, price - 500L, created, true);
      } else {
        return new TransProduct(name, price, created, false);
      }
    };
  }

2. Execute

etlJob을 실행하고 Job Parameter인 requestDate에 값을 할당해준다.

./gradlew build -x test

java -jar ./build/libs/*.jar --job.name=etlJob requestDate=20210511

3. Using Scheduler

이제 2. Execute에서 만든 jar를 주기적으로 실행시켜주자.
본 문서에서는 Jenkins를 이용하여 Scheduling을 할 것이다.
이 곳에 Jenkins 셋팅을 명시해 놓았다.

여기서 jar를 실행하는 부분에 Job Parameter를 같이 넘겨주면 작업완료이 완료된다.

# requestDate로 현재 시간을 넘겨준다.
java -jar $PWD/demo-0.0.1-SNAPSHOT.jar --job.name=etlJob requestDate=$(date | tr -d " ")

4. Check

Build History에서 1분마다 Batch가 실행되는 것을 확인할 수 있다.

---

모든 소스는 Github에 올려놓았다.