[DE]실무예제로 배우는 데이터 공학__NiFi 사용해보기

차보경·2022년 11월 13일
0
post-thumbnail

이제 Nifi 설치를 끝내고 데이터를 한번 흘려본다!

1. NiFi Processor로 get file(or generate file), putfile을 넣어주고, 그 사이를 연결해준다.


이때 Putfile에 ! 에러가 뜬게 보이는데, 이건 파일이 들어갈 루트를 설정해주지 않아서 그렇다.
->
이렇게 경로를 넣어주고 옆에 Realationships에 가서 fail을 terminate로 설정해주면 된다.

2. 데이터 흘려보기

나는 generator, get file 두가지로 넣어봤다.

보면 generator에서 넘어온 파일 1개와 getfile에서 넘어온 파일 2개가 Putfile로 넘어간게 보인다. (싱기방기)

터미널로 바로 테스트를 해봤는데 진짜 바로 넘어간게 보인다.
(Get File로 흘려보려면 config에서 get file 처럼 경로를 지정해줘야한다.

제대로 갔는지 파일을 열어보니 내용도 동일하다! 크 싱기해라.
(NiFi File은 제너레이터에서 config로 설정해준 내용이다)

이렇게 간단하게 데이터 흘려보기는 끝!

profile
차보의 Data Engineer 도전기♥ (근데 기록을 곁들인)

0개의 댓글