[hadoop] 빅데이터 분석 환경 구축 On-Premise - 6. 전체 재실행 스크립트

🎈전체 프로세스 재실행 스크립트 작성

1. 시작 스크립트 (cluster-start-all.sh)

• Hadoop, Yarn, Spark, Zookeeper 를 모두 실행 가능한 sh

# 쉘 스크립트 편집
vim cluster-start-all.sh

# 아래 내용 추가 후 저장
# nn1 Zookeeper Run
sudo /usr/local/zookeeper/bin/zkServer.sh start

# nn2 Zookeeper Run
ssh nn2 "sudo /usr/local/zookeeper/bin/zkServer.sh start"

# dn1 Zookeeper Run
ssh dn1 "sudo /usr/local/zookeeper/bin/zkServer.sh start"

# Hadoop Run
$HADOOP_HOME/sbin/start-all.sh

# Jobhistoryserver Run
mapred --daemon start historyserver

# Spark Run
$SPARK_HOME/sbin/start-all.sh

# Zeppelin --> Zeppelin 설치 후 추가할 것
/usr/local/zeppelin/bin/zeppelin-daemon.sh start

# 쉡 스크립트 접근 권한 설정
sudo chmod 777 cluster-start-all.sh

# 파일권한 변경 확인
ls -al | grep cluster

파일 권한 확인

2. 중지 스크립트 (cluster-stop-all.sh)

• Hadoop, Yarn, Spark, Zookeeper 를 모두 중지 가능한 sh

# 쉘 스크립트 편집
vim cluster-stop-all.sh

# 아래 내용 추가 후 저장
# Zeppelin --> Zeppelin 설치 후 추가할 것
/usr/local/zeppelin/bin/zeppelin-daemon.sh stop

# Spark stop
$SPARK_HOME/sbin/stop-all.sh

# Jobhistory stop
mapred --daemon stop historyserver

# nn1 Zookeeper stop
sudo /usr/local/zookeeper/bin/zkServer.sh stop

# nn2 Zookeeper stop
ssh nn2 "sudo /usr/local/zookeeper/bin/zkServer.sh stop"

# dn1 Zookeeper stop
ssh dn1 "sudo /usr/local/zookeeper/bin/zkServer.sh stop"

# Hadoop stop
$HADOOP_HOME/sbin/stop-all.sh

# 쉡 스크립트 접근 권한 설정
sudo chmod 777 cluster-stop-all.sh

# 파일권한 변경 확인
ls -al | grep cluster

3. 재실행 스크립트 (cluster-restart-all.sh)

• Hadoop, Yarn, Spark, Zookeeper 를 모두 중지 후 재시작하는 sh

# 쉘 스크립트 편집
vim cluster-restart-all.sh

# 아래 내용 추가 후 저장
# Zeppelin --> Zeppelin 설치 후 추가할 것
/usr/local/zeppelin/bin/zeppelin-daemon.sh stop

# Spark stop
$SPARK_HOME/sbin/stop-all.sh

# Jobhistory stop
mapred --daemon stop historyserver

# nn1 Zookeeper stop
sudo /usr/local/zookeeper/bin/zkServer.sh stop

# nn2 Zookeeper stop
ssh nn2 "sudo /usr/local/zookeeper/bin/zkServer.sh stop"

# dn1 Zookeeper stop
ssh dn1 "sudo /usr/local/zookeeper/bin/zkServer.sh stop"

# Hadoop stop
$HADOOP_HOME/sbin/stop-all.sh


# nn1 Zookeeper Run
sudo /usr/local/zookeeper/bin/zkServer.sh start

# nn2 Zookeeper Run
ssh nn2 "sudo /usr/local/zookeeper/bin/zkServer.sh start"

# dn1 Zookeeper Run
ssh dn1 "sudo /usr/local/zookeeper/bin/zkServer.sh start"

# Hadoop Run
$HADOOP_HOME/sbin/start-all.sh

# Jobhistoryserver Run
mapred --daemon start historyserver

# Spark Run
$SPARK_HOME/sbin/start-all.sh

# Zeppelin --> Zeppelin 설치 후 추가할 것
/usr/local/zeppelin/bin/zeppelin-daemon.sh start


# 쉡 스크립트 접근 권한 설정
sudo chmod 777 cluster-restart-all.sh

# 파일권한 변경 확인
ls -al | grep cluster