WSL에 Hadoop 구축일지(2)

저번 포스트에서 해결하지 못한 문제가 있었습니다. nodemanager와 resourcemanager가 실행이 되지 않았습니다. 열심히 구글링하면서 원인을 찾았습니다.

원인

Stackoverflow 형님들의 말로는 java 버전이 맞지 않아서 발생하는 문제라고 한다...
이전 글에서는 java 버전을 17로 설치했는데 그 버전이 호환이 안된다는 것이다.
jdk버전을 8로 설치해야 정상적으로 작동할 것이라고 한다.(그러기엔 dfs는 잘 작동하는데..)

해결방법

먼저 openjdk 8을 설치합니다.

sudo apt update
sudo apt install openjdk-8-jdk

다음으로 hadoop-env.sh 파일을 수정한다.

cd /home/[user]/hadoop/etc/hadoop
nano hadoop-env.sh

namenode 폴더랑 datanode 폴더를 삭제하고 다시 생합니다.

cd /home/[user]/hadoop
rm -rf hdfs
mkdir -p hdfs/namenode
mkdir -p hdfs/datanode

namenode를 한 번 포맷합니다.

hdfs namenode -format

이제 하둡을 실행하면 됩니다.

start-dfs.sh
start-yarn.sh
jps

이제 정상적으로 잘 실행이 된다!