📖 PutHDFS
⚙ Hadoop Configuration Resources
하둡이 설치되지 않은 서버에서 원격지에 있는 하둡에 접속하기 위해서는 두 가지의 XML 설정파일이 필요합니다. 두 가지의 XML 설정 파일은 core-site.xml, hdfs-site.xml 이며 이 파일들은 하둡이 설치되어 있는 서버의 하둡 디렉토리의 설정 디렉토리에서 구할 수 있습니다. 하둡이 설치되어있는 서버에서 NiFi가 설치된 서버로 가져온 core-site.xml, hdfs-site.xml 파일들의 절대경로들을 콤마로 구분하여 입력하여 줍니다. 하둡이 설치된 NameNode의 Conf 디렉토리를 Volume으로 지정해두고 이를 다시 Nifi 볼륨으로 매핑
⚙ Directory
생성된 파일들을 푸시할 HDFS 내의 경로를 입력. 현재 설정에서는 하둡경로에 Nifi Expression Language를 사용하여 날짜별로 디렉토리 파티션을 추가
⚙ Conflict Resolution Strategy
경로내에 푸시할 파일의 이름과 같은 파일이 이미 존재할 시에 어떤 대처를 할지 정책을 결정.
replace, ignore, append, fail 네 가지의 정책을 제공
Result
위의 그림과 같이 현재 연월에 해당되는 디렉토리 안에 파일이 적재되는것을 확인할 수 있다.
