# batch

29개의 포스트

[DE] Batch 작업, OLTP, OLAP

빅 데이터 처리는 실시간으로 할 수도 있고, 특정시간에 일괄적으로 처리할 수도 있습니다.

2021년 9월 8일
·
0개의 댓글

react-redux

react-redux Providercf. redux order1\. event 발생 ->2\. action 생성함수로 action을 생성하여 store로 dispatch(처리요청) 함 ->3\. action을 받은 store는 reducer에게 action을 분석해서

2021년 8월 31일
·
0개의 댓글

일괄 작업 기능 개발

업무 중 일괄작업 기능을 개발한 내용을 작성한다

2021년 8월 30일
·
0개의 댓글

Firestore를 이용한 follow기능 추가

SNS 핵심 기능이라고 할 수 있는 follow기능.user collection에 followings, followers를 모두 저장하지는 않는다.왜냐하면 문서의 크기가 제한되어 있기 때문이다.user collection에는 count 정보만 저장하고following이

2021년 7월 31일
·
0개의 댓글
post-thumbnail

멀티 서버에서 스케줄 처리하기 -ShedLock

멀티 서버에서 스케줄 처리하기 -ShedLock 2020년도 당시 실무 간 구현한 것을 개인블로그로 정리한 내용입니다.

2021년 6월 11일
·
0개의 댓글

Batch란 무엇인가??

Batch Batch는 집단, 무리 한 회분, 일괄적인 처리를 위해 함께 묶다 라는 의미가 있다. Batch 작업은 Data를 실시간으로 처리것이 아닌, 일괄적으로 모아서 처리하는 작업을 의미한다. 하루동안 쌓인 데이터를 Batch 작업을 통해 특정 시간에 한꺼번에

2021년 5월 27일
·
0개의 댓글

SpringBatch Jpa Test 설정

https://jojoldu.tistory.com/455?category=902551이동욱 님의 스프링 배치 가이드를 보고 공부 중 정리한 내용입니다.위의 동욱님의 Spring Batch 테스트를 따라 하던 도중 Jpa가 정상적으로 동작하지 않는 문제가 발생

2021년 5월 24일
·
0개의 댓글
post-thumbnail

Spring-boot Batch ItemProcessor

💡 Spring-boot Batch의 ItemProcessor는 무엇일까? 🤷‍♀️

2021년 4월 28일
·
0개의 댓글
post-thumbnail

Spring-boot Batch ItemWriter

💡 Spring-boot Batch의 ItemWriter는 무엇일까? 🤷‍♀️

2021년 4월 27일
·
0개의 댓글
post-thumbnail

Spring-boot Batch ItemReader

💡 Spring-boot Batch의 ItemReader는 무엇일까? 🤷‍♀️

2021년 4월 27일
·
0개의 댓글
post-thumbnail

Spring-boot Batch Job

💡 Spring-boot Batch Job을 알아보자!! 🤷‍♀️

2021년 4월 26일
·
0개의 댓글
post-thumbnail

Spring-boot Batch with MySQL

💡 Spring-boot Batch를 MySQL를 이용하여 실행해 보자!! 🤷‍♀️

2021년 4월 26일
·
0개의 댓글
post-thumbnail

Spring-boot Batch with H2

💡 Spring-boot Batch를 H2(Inmemory DB)로 실행해 보자!! 🤷‍♀️

2021년 4월 21일
·
0개의 댓글
post-thumbnail

Spring batch 어플리케이션 만들어보기

배치성 작업을 위해서 spring에서는 spring-batch라는 프레임워크를 제공하고 있다.spring boot를 사용할 경우 아래 의존성을 추가해주면 간단히 사용할 수 있다.spring사용자들이 익숙한 설정들을 이용해서 편리하게 batch기능을 설정할 수 있다.다양

2021년 4월 16일
·
0개의 댓글
post-thumbnail

dataflow task 관리가 안되는 현상(feat. @EnableTask)

dataflow에 간단한 batch잡을 만들어서 실행시켰는데, 대시보드에서 Jobs 메뉴에 들어가지 않았다.k8s환경이라 배치pod의 내용을 살펴보니 정상적으로 종료되고 COMPLETE상태로 끝난것 같았는데 이상했다.문제 해결을 위해 dataflow-spring-clo

2021년 4월 16일
·
0개의 댓글
post-thumbnail

JPA hibernate Query Plan Cache로 인한 OutOfMemory 해결

OOM 에러 주겨버리기ㅣㅣㅣ

2021년 3월 31일
·
2개의 댓글
post-thumbnail

jenkins pipeline script

현재 구축중인 시스템에 마땅한 job scheduler가 없다.airflow등 몇가지 시스템 검토하다 가장 익숙하고 간단하게 구현 가능한 jenkins pipeline으로 결정했다.우선 필요한 구성은 아래 그림과 같다.각각의 batch task가 있고, 그것들이 선/후

2021년 3월 9일
·
0개의 댓글
post-thumbnail

spring boot batch 설정

JOB 을 실행하기 위해서 강제로 jobLauncher을 만들어서 실행부분에서 run 으로 JOB 2가지를 만들어보려고한다.설정이렇게 실행을하면 job1이 나오고 끝나야하는데run 한번 실행그리고 batchconfig 에서 만들어논 job1, job2가 또실행된다.그래

2021년 2월 23일
·
0개의 댓글
post-thumbnail

spring boot batch 고민.

크롤링해서 원하는 배치 파일을 읽어서 가지고오는데우선적으로여러 업체에서 데이터를 각각 읽어오고싶었다ex) 대한항공 , 아시아나 라면 JOB1 -> 대한항공 JOB2 ->아시아나 이렇게 한 후 각각의 JOB 안에서 STEP 별로 출발지 도착지를 멀티로

2021년 2월 23일
·
0개의 댓글

폴더내의 모든 텍스트 파일의 이름과 안의 내용을 변환하는 Batch파일

개발도중 템플릿 파일을 미리 만들어두고 간편하게 네이밍 수정을 하기 위해만들게 됨.

2021년 1월 25일
·
0개의 댓글