NiFi 작업일지
1.[S/W] [NiFi] NiFi를 활용한 Parsing 및 DB Insert
NiFi는 Java기반이므로, 정규식을 활용 가능함(정규식 해석) '.' : 시작, '\*' : '아무거나~', '?' : 끝\[의미 : 'ABCD'라는 TABLE에 'K1'는 날짜 형식으로 넣고, K2는 그대로 하고 INSERT문을 만든다
2.[S/W] [NiFi] NiFi를 활용하여 파일명에서 폴더명 추출하기
}기존 C언어를 통해 Parsing할 때는 filename을 string형태로 읽고 Array와 같은 형태로 수행하였는데, NiFi를 통하니 'substringAfterLast' 등을 사용할 수 있어서 파일 이름 중간에 무엇이 추가되든 마지막에 날짜 정보가 있기만 하면
3.[S/W] [NiFi] NiFi를 활용하여 DB 내용 추출하기
설명 : SQL 쿼리로 K1의 날짜가 2021년 1월 1일 이후인 값들을 선택함\- 단, 일단 해당 프로세스의 경우 한번만 수행하여야 하므로 'Run Once' option으로 수행함.
4.[S/W] [NiFi] LogMessage 별도의 파일로 로그 남기기 (logback.xml)
PutSQL이 성공할 경우, LogMessage 프로세서가 동작함.
5.[S/W] [NiFi] NiFi 활용, SFTP 파일 연계하기
파일을 가져올 서버(B 서버)의 접속 정보 및 디렉터리 등을 설정파일 목록을 얼마나 저장할 것인지, 언제 이후의 파일은 무시할 것인지를 설정ListSFTP에서 가져온 파일을 실제로 옮기는 역학을 수행path와 filename은 기본적으로 NiFi에서 파일에 대해 생성하
6.[S/W] [NiFi] NiFi를 활용한 대량의 파일 압축
NiFi를 활용해서 대량의 파일 압축하기
7.[S/W] [NiFi] NiFi 테스트용 파일 만들기
GenerateFlowFile touch a 이렇게 테스트 파일 만들기 귀찮을 때 PROPERTIES File Size: 생성할 파일의 크기 Batch Size : 한번에 생성할 파일의 숫자 GenerateFlowFile + PutFile Local에 테스트용
8.[S/W] [NiFi] NiFi에서 Rsync 실행시키기
배경상황 NiFi로 GetSFTP로 원격서버에 접속이 불가함. 서버 CLI에서 ssh, sftp는 모두 정상. 그런데 파일은 계속, 주기적으로 받아와야 하는 상황. 최대한 NiFi를 활용하는 방법은 무엇일까, 찾다가 'ExecuteProcess'를 활용함.Execut