[hadoop ecosystem] - 2. 하둡 완전분산모드

yyy·2024년 4월 2일
post-thumbnail

5. Zookeeper 실행

단계1. master, worker1, worker2 > Zookeeper myid 파일 편집

  • master, worker1, worker2 서버에서 myid를 각각 1,2,3으로 편집한다. master 서버는 이미 지정했기 때문에 cat으로 1이라는 것을 확인하고, worker1, worker2 서버에서 2,3으로 각각 수정한다.
# master 서버
cat /usr/local/zookeeper/data/myid

# worker1 서버로 이동
ssh worker1
vim /usr/local/zookeeper/data/myid
# 아래 내용으로 수정 후 저장
2

# worker2 서버로 이동
ssh worker2
vim /usr/local/zookeeper/data/myid
# 아래 내용으로 수정 후 저장
3

단계2. master, worker1, worker2 > Zookeeper 실행

# master zookeeper 시작
/usr/local/zookeeper/bin/zkServer.sh start

# worker1 zookeeper 시작
ssh worker1
/usr/local/zookeeper/bin/zkServer.sh start

# worker2 zookeeper 시작
ssh worker2
/usr/local/zookeeper/bin/zkServer.sh start
exit

단계3. master, worker1, worker2 > Zookeeper 상태 확인

# master zookeeper 시작
/usr/local/zookeeper/bin/zkServer.sh status

# worker1 zookeeper 시작
ssh worker1
/usr/local/zookeeper/bin/zkServer.sh status

# worker2 zookeeper 시작
ssh worker2
/usr/local/zookeeper/bin/zkServer.sh status


→ master : follower
worker1 : leader
worker2 : follower

단계4. master > 주키퍼 초기화

# 주키퍼 초기화
hdfs zkfc -formatZK

단계5. master > HDFS ZKFC 초기화 확인

# zkCli 실행
/usr/local/zookeeper/bin/zkCli.sh

# Hadoop 클러스터 확인
ls /hadoop-ha

# [my-hadoop-cluster] 확인 후 quit 명령으로 종료

# 종료
quit

단계6. master, worker1, worker2 > Journalnode 실행

# master 실행
hdfs --daemon start journalnode
jps # 결과 확인

# worker1 실행
ssh worker1
hdfs --daemon start journalnode
jps # 결과 확인

# worker2 실행
ssh worker2
hdfs --daemon start journalnode
jps # 결과 확인
  • QuorumPeerMain : 주키퍼가 동작하고 있다는 의미
  • JournalNode : 저널노드가 동작하고 있다는 의미

0개의 댓글