# NiFi
[S/W] [NiFi] NiFi 활용, SFTP 파일 연계하기
파일을 가져올 서버(B 서버)의 접속 정보 및 디렉터리 등을 설정파일 목록을 얼마나 저장할 것인지, 언제 이후의 파일은 무시할 것인지를 설정ListSFTP에서 가져온 파일을 실제로 옮기는 역학을 수행path와 filename은 기본적으로 NiFi에서 파일에 대해 생성하
[S/W] [NiFi] LogMessage 별도의 파일로 로그 남기기 (logback.xml)
PutSQL이 성공할 경우, LogMessage 프로세서가 동작함.
Sensitive Properties Key [nifi.sensitive.props.key] not found Error
Sensitive Properties Key
[S/W] [NiFi] NiFi를 활용하여 DB 내용 추출하기
설명 : SQL 쿼리로 K1의 날짜가 2021년 1월 1일 이후인 값들을 선택함\- 단, 일단 해당 프로세스의 경우 한번만 수행하여야 하므로 'Run Once' option으로 수행함.
[S/W] [NiFi] NiFi를 활용하여 파일명에서 폴더명 추출하기
}기존 C언어를 통해 Parsing할 때는 filename을 string형태로 읽고 Array와 같은 형태로 수행하였는데, NiFi를 통하니 'substringAfterLast' 등을 사용할 수 있어서 파일 이름 중간에 무엇이 추가되든 마지막에 날짜 정보가 있기만 하면
[S/W] [NiFi] NiFi를 활용한 Parsing 및 DB Insert
NiFi는 Java기반이므로, 정규식을 활용 가능함(정규식 해석) '.' : 시작, '\*' : '아무거나~', '?' : 끝\[의미 : 'ABCD'라는 TABLE에 'K1'는 날짜 형식으로 넣고, K2는 그대로 하고 INSERT문을 만든다
[DE]실무예제로 배우는 데이터 공학1_NiFi설치
오늘은 데이터 엔지니어가 사용하는 도구를 설치할 차례다! 역시 마시면서 배우는 직접 하며 배우는~ 신나는 놀이! 아파치 NiFi의 설치와 설정 먼저 NiFi는 Java를 통해 구동하기에, 컴퓨터에 Java가 없다면 Java를 먼저 다운받아야한다. 설치 후 확인! 그
[Nifi] Apache Nifi PutHDFS
하둡이 설치되지 않은 서버에서 원격지에 있는 하둡에 접속하기 위해서는 두 가지의 XML 설정파일이 필요합니다. 두 가지의 XML 설정 파일은 core-site.xml, hdfs-site.xml 이며 이 파일들은 하둡이 설치되어 있는 서버의 하둡 디렉토리의 설정 디렉토리
[Nifi] Apache Nifi MergeContent
내용을 병합하는 데 사용할 형식을 결정합니다. Binary Concatenation 은 그냥 별다른 처리 없이 무식하게 합쳐진 결과를 나타내는것 같습니다.FlowFile들을 병합할 때 각 FlowFile들의 Attribute들은 어떻게 할지를 정합니다.병합할때 기준이
[Nifi] Apache Nifi Kafka 설정
Kafka의 접속 주소 정보와 포트를 “,” 를 기준으로 입력kafka1:9092,kafka2:9092,kafka3:9092PLAINTEXT로 설정 PLAIN 으로 설정아이디 입력패스워드 입력사용하고자 하는 토픽명을 입력데이터가 전송됨을 어떻게 보장할지 방법을 정합니다
[Nifi] Apache Nifi Processor - GenerateFlowFile
NIFI에서 Kafka와 Hadoop HDFS를 이용해 파일을 적재하기 위한 설정을 위한 테스트 테스트에 진행한 NIFI Processor 는 다음과 아래와 같다.GenerateFlowFile: FlowFile 을 생성하는 테스트 용도로 사용PublishKafka_2
[Nifi] Apache Nifi란?
Apache NiFi는 과거 NSA(National Security Agency)에서 개발하여, Apache에 기증한 Dataflow 엔진2014년 기술 전송 프로그램의 일부로서, 오픈소스화 된 나이아가라 파일(NiagaraFiles)에 기반을 두고 있음데이터를 가져오
Nifi 설치시 주의
이번에 M1맥북에 Nifi를 설치하면서 발생한 오류이다. M1 맥을 구입하고 Java를 설치하면서 zulu-11.jdk 를 설치했는데 Nifi 설치 후 환경 썰정을 다 해봤지만 Nifi 실행이 되지 않아 에러가 발생 맥북 자바 환경 변수를 Oracle jdk로 변경해
Nifi
https://www.popit.kr/bigdata-platform-based-on-nifi/https://www.popit.kr/apache-nifi-overview-and-install/https://paulsmooth.tistory.co
nifi 02 구조
시스템 간의 데이터 흐름을 자동화하고 관리하기위한 도구 FBP : Flow Based ProgrammingWeb Servernifi를 http기반으로 제어하는 API를 호스팅, GUI를 활용하여 데이터 흐름을 제어하는 곳Flow Controller프로세스의 스케쥴링을
Nifi .01 설치
Nifi데이터 파이프라인 구축을 위한 툴GUI, 프로그래밍 없이 설정 변경 가능, 클러스터링, 원격 실행, 스케줄러 내장, 모니터링 Nif 설치 및 기본 설정nifi-app.log위의 화면이 뜨면 성공https://127.0.0.1:8443/nifi/login
[NIFI]PutHDFS,PutHiveQL 을 이용하여 data insert
환경 OS : CentOs7 Java : 1.8 Hadoop : 3.1.4 Hive : 3.1.0 metastore : mysql 5.7 Hadoop cluster 구성(내 환경) ActiveNameNode : cwhdp01 | StandbyNameNode : c