Apache Nifi 정복하기

Apache NiFi는 과거 NSA(National Security Agency)에서 개발하여, Apache에 기증한 Dataflow 엔진2014년 기술 전송 프로그램의 일부로서, 오픈소스화 된 나이아가라 파일(NiagaraFiles)에 기반을 두고 있음데이터를 가져오

NIFI에서 Kafka와 Hadoop HDFS를 이용해 파일을 적재하기 위한 설정을 위한 테스트 테스트에 진행한 NIFI Processor 는 다음과 아래와 같다.GenerateFlowFile: FlowFile 을 생성하는 테스트 용도로 사용PublishKafka_2

Kafka의 접속 주소 정보와 포트를 “,” 를 기준으로 입력kafka1:9092,kafka2:9092,kafka3:9092PLAINTEXT로 설정 PLAIN 으로 설정아이디 입력패스워드 입력사용하고자 하는 토픽명을 입력데이터가 전송됨을 어떻게 보장할지 방법을 정합니다

내용을 병합하는 데 사용할 형식을 결정합니다. Binary Concatenation 은 그냥 별다른 처리 없이 무식하게 합쳐진 결과를 나타내는것 같습니다.FlowFile들을 병합할 때 각 FlowFile들의 Attribute들은 어떻게 할지를 정합니다.병합할때 기준이

하둡이 설치되지 않은 서버에서 원격지에 있는 하둡에 접속하기 위해서는 두 가지의 XML 설정파일이 필요합니다. 두 가지의 XML 설정 파일은 core-site.xml, hdfs-site.xml 이며 이 파일들은 하둡이 설치되어 있는 서버의 하둡 디렉토리의 설정 디렉토리