문제 상황

start-all.sh 명령어로 하둡 클러스터 실행시 datanode 실행에 문제 발생

시도

로그 기록 조회

cat /usr/local/hadoop/logs/hadoop-root-datanode-worker1.log

/usr/local/hadoop/etc/hadoop/hdfs-site.xml 의 32번째 줄 15번째 단락에 문제가 생겼다고 한다.

확인해보니, 중간 즈음 property 태그가 닫혀있지 않았다.

수정 후 다음 재 실행

# master1 컨테이너에서 실행
stop-all.sh
hdfs namenode -format
start-all.sh

중간 결과

Error 메시지는 해결되었으나 worker1에만 datanode 나타나고 master1, worker2에는 datanode가 나타나지 않는 문제 발생.

재시도

로그 확인

cat /usr/local/hadoop/logs/hadoop-root-datanode-master1.log

임시데이터 삭제

실행시 임시데이터가 존재하는 것이 문제가 된다고 해서 다음 위치에 있는 파일들을 전체 삭제해줬다.

• $HADOOP_HOME/hadoop_tmp/hdfs/datanode / $HADOOP_HOME/hadoop_tmp/hdfs/namenode
  • $HADOOP_HOME = /usr/local/hadoop
• /home/사용자이름/dfsdata
  • ⇒ 이건 없는 듯

혹시 해서 worker의 임시 폴더도 전체 삭제했다.

결과

참고

https://okky.kr/questions/426584
https://stackoverflow.com/questions/46283634/localhost-error-cannot-set-priority-of-datanode-process-32156