[Hadoop] Hadoop 명령어

사용자 명령어

root 디렉토리 리스트 확인

$ hdfs dfs -ls
$ hadoop fs -ls  

파일시스템 환경 체크

$ hdfs fsck /
$ hadoop fsck /

환경변수 확인

$ hadoop envvars

JAVA_HOME='/usr/lib/jvm/java-8-openjdk-amd64'
HADOOP_COMMON_HOME='/usr/local/hadoop'
HADOOP_COMMON_DIR='share/hadoop/common'
HADOOP_COMMON_LIB_JARS_DIR='share/hadoop/common/lib'
HADOOP_COMMON_LIB_NATIVE_DIR='/usr/local/hadoop/lib/native

디렉토리 생성 (mkdir)

$ hadoop fs -mkdir /mkdir_test

# 생성된 root 디렉토리 확인
-> $ hadoop fs -ls /

local -> HDFS로 복사 (put)

put <localsrc> <dest>
1. $ hadoop fs -put /usr/local/hadoop/example.txt /user/ubuntu/license/example.txt

2. $ cd /usr/local/hadoop/
   $ hadoop fs -put /usr/local/hadoop/README.txt /user/ubuntu

HDFS -> local로 복사 (get)

get <localsrc> <dest>

# 리눅스 ubuntu 홈디렉토리로 이동 후 txt 디렉토리 생성
$ cd /home/ubuntu && mkdir txt && cd txt

# HDFS 의 파일을 로컬로 복사
$ hadoop fs -get /user/ubuntu/license/LICENSE.txt .

HDFS의 두개 파일을 합쳐서 로컬 복사(getmerge)

getmerge <src1> <src2> <localdst>

$ hadoop fs -getmerge getmerge/eg1.txt getmerge/eg2.txt merged_file.txt

HDFS 내부에서 파일 복사

cp <src> <dst> 
$ hadoop fs -cp README.txt README2.txt

관리자 명령어

Disk balance

$ hdfs balancer
$ hadoop balancer

손상된 블록 리스트 확인

hdfs fsck / -list-corruptfileblocks