zookeeper설정

1) myid 설정

• 각자 mater로 들어가기
• /usr/local/zookeeper/data 의 myid를 각각 master에 맞게 설정

2) 클러스터 실행

• 각 master server에 들어가서 (3개) 그 후 start 해주기

sudo /usr/local/zookeeper/bin/zkServer.sh start

3) 클러스터 확인

• 각 master server에 들어가서 상태확인

sudo /usr/local/zookeeper/bin/zkServer.sh status

• follower, reader 둘중하나로 뜰꺼임

---

Znode 설정

• HDFS ZKFC 초기화 및 상태확인
• master1 에서만 진행한다.

hdfs zkfc -formatZK

• zookeeper에게 znode를 부여
• 성공 시 보여지는 화면

2023-07-29 02:06:32,593 INFO ha.ActiveStandbyElector: Session connected.
2023-07-29 02:06:32,628 INFO ha.ActiveStandbyElector: Successfully created /hadoop-ha/my-hadoop-cluster in ZK.
2023-07-29 02:06:32,633 INFO zookeeper.ZooKeeper: Session: 0x200004eb5680000 closed
2023-07-29 02:06:32,636 INFO zookeeper.ClientCnxn: EventThread shut down for session: 0x200004eb5680000
2023-07-29 02:06:32,640 INFO tools.DFSZKFailoverController: SHUTDOWN_MSG:
/************************************************************
SHUTDOWN_MSG: Shutting down DFSZKFailoverController at master1/100.100.100.1
************************************************************/

• HDFS ZKFC 초기화 확인

# EC2 Ubuntu terminal(master1 )

# zkCli 실행
cd /usr/local/zookeeper
./bin/zkCli.sh

ls /

# Hadoop 클러스터 확인
ls /hadoop-ha

---

ZKUI 설치 및 사용 방법 (ZooKeeper Znode 모니터링툴)

1) ZKUI 설치

• 먼저, Java와 Maven이 설치되어 있어야 합니다.

cd ~/downloads
git clone https://github.com/DeemOpen/zkui.git

• Maven 프로젝트 이기때문에 빌드도구인 Maven 을 설치합니다.

sudo apt install maven

• 프로젝트 디렉토리로 이동하여 Maven을 사용해 패키징합니다 , mvn build도 같이함 -> target 가 같이 생성됨

cd zkui
mvn clean install

2) 설정 파일 수정

• config.cfg 파일을 수정하여 Zookeeper 연결 정보를 설정합니다.

vi config.cfg

• 수정값

#Server Port
serverPort=19090
#Comma seperated list of all the zookeeper servers
zkServer=master1:2181,master2:2181,master3:2181

3) 애플리케이션 실행

java -jar target/zkui-2.0-SNAPSHOT-jar-with-dependencies.jar &

4) 내 public ip: 19090 로 접속해보기

• 기본 사용자 이름과 비밀번호는 admin/manager입니다 (설정 파일에서 변경 가능).