Hadoop Execution

Jinmin Kim·2020년 1월 7일
0

Hadoop 실행

  • hadoop namenode -format
    namenode를 초기화 시켜준다(주의 할것!)

  • 클러스터 데몬 실행
    start-all.cmd : 모든 데몬 실행(Window이기때문에 .cmd)
    stop-all.cmd : 모든 데몬 중지
    start-dfs.cmd : 파일시스템 실행
    stop-dfs.cmd : 파일시스템 중지
    start-yarn.cmd : yarn 실행
    stop-yarn.cmd : yarn 실행

  • JPS
    jps는 내가 지금 실행하고 있는 Hadoop 관련

  • namenode를 볼수있는 인터넷 페이지
    http://localhost:9870

  • 상태 정보가 나타나는 곳

  • Browse the file system에 들어가면 HDFS의 파일시스템에 대해서
    볼수가있다


hdfs dfs 명령어

  • hdfs dfs -mkdir /airline/
    하둡의 분산파일 저장공간에다가 airline이라는 폴더를 만들어라
  • hdfs dfs -put ./2008.csv /airline/
    현재 내 2008.csv 파일을 분산파일시스템 airline에 올려라
  • hdfs dfs -ls /airline
    분산파일시스템 airline에 있는것들의 디렉토리를 확인하라


Tip

  • 하둡의 저장 최소단위는 128MB이다
    적게 주고받는것이 트래픽을 낮출수있는 방법중 하나가된다.
profile
Let's do it developer

0개의 댓글