NiFi
1.[NIFI]PutHDFS,PutHiveQL 을 이용하여 data insert
환경 OS : CentOs7 Java : 1.8 Hadoop : 3.1.4 Hive : 3.1.0 metastore : mysql 5.7 Hadoop cluster 구성(내 환경) ActiveNameNode : cwhdp01 | StandbyNameNode : c
2.[NiFi] FlowFile과 Attributes의 정확한 개념
FlowFile과 Attribute가 정확히 개념이 잡히지 않아 쓰는 글 ..FlowFile A FlowFile is a logical notion that correlates a piece of data with a set of Attributes about that
3.[NiFi] invokeHTTP로 REST API를 받아와서 DB에 INSERT하기
전체적인 흐름 REST API를 불러와서 -> json형식으로 변환 -> 데이터베이스에 삽입 환경설정 OS : CentOS 7 DBMS : MySQL 전체적인 흐름 불러올 open api 고르기 필자는 https://aviationstack.com 사이트에서 비행
4.Apache NiFi
Apache NiFi는 NSA(National Security Agency)에서 Apache에 기증한 Dataflow 엔진이다. 복잡해지는 기업의 시스템들에서 신속하고, 유실없는 데이터 전송이 점점 더 중요해지고 있다. 빅데이터 시스템도 마찬가지로 데이터의 전송 경로가
5.[NiFi] DB에 Data를 insert할때 JSON으로 Format해야하는 이유
JSON format is used for serializing and transmitting structured data over network connection. It is primarily used to transmit data between a server a
6.CentOS7 NiFi DBCPConnectionPool로 Database연동(1)
나의 우당탕탕 nifi에서 dbcpconnectionpool을 이용하여 mysql과 연동하기,,NiFi에서 controller service를 이용하여 DB Connection Pool을 관리DBCPConnectionPool을 이용하여 DB에 연동\-환경설정-OS :
7.Processor
Processor의 종류는 수집, 가공, 적재, 기타 로 나누어져 있다.GetFile : Creates FlowFiles frome files in a directory. NiFi will ignore files it doesn't have at leat read pe