[인프런] 빅데이터 파일럿 프로젝트2

Hadoop 명령어

로컬 파일 hadoop에 업로드

hdfs dfs -put Sample.txt /tmp

• hadoop 파일 시스템의 tmp 폴더에 업로드

hadoop 디렉토리 내 파일 목록 확인하기

hdfs dfs -ls /tmp

hadoop 디렉토리 내 파일 내용 출력

hdfs dfs -cat /tmp/Sample.txt

파일 상태 확인하기

hdfs dfs -stat '%b %o %r %u %n' /tmp/Sample.txt

124322 67108864 1 root Sample.txt

• 파일 크기
• 파일 블록 크기
• 복제 계수
• 소유자명
• 파일명

파일 이름 변경하기

hdfs dfs -mv /tmp/Sample.txt /tmp/Sample.txt

파일 시스템 점검

hdfs fsck /

• 유의 깊게 볼 것
  • Missing blocks
  • Corrupt blocks
  • Missing replicas

???

hdfs dfsadmin -report

로컬에 파일 가져오기

hdfs dfs -get /tmp/Sample2.txt

파일 삭제하기

hdfs dfs -rm /tmp/Sample2.txt

• 영구 삭제가 아닌 휴지통 삭제

Zookeeper 명령어

zookeeper shell 열기

zookeeper-client

Znode 생성하기

create /pilot-pjt bigdata

Created /pilot-pjt

• Znode 이름
• Znode 값

Znode 값 불러오기

get /pilot-pjt

bigdata

Znode 삭제하기

delete /pilot-pjt