하둡 구축

1. instace 패키지 업데이트
   sudo apt-get update && sudo apt-get -y dist-upgrade

2. 자바 설치
   sudo apt-get -y install openjdk-8-jdk-headless
   sudo java -version

3. 하둡 설치
   mkdir server
   cd server
   wget https://archive.apache.org/dist/hadoop/common/hadoop-2.10.1/hadoop-2.10.1.tar.gz
   tar xvzf hadoop-2.10.1.tar.gz

4. JAVA_HOME 세팅
   /server/hadoop-2.10.1/etc/hadoop에서

export JAVA_HOME=${JAVA_HOME}
->
export JAVA_HOME=/usr/lib/jvm/java-1.8.0-openjdk-amd64

5. 하둡 환경 셋팅(블로그 참고)
   core_site.xml : 하둡 시스템 설정파일로, 네트워크 튜닝, I/O 튜닝 등
   hdfs-site.xml : HDFS에서 사용할 환경정보. 블록 복제 수, 네임노드가 저장할 파일 경로
   yarn-site.xml : Resouce Manager, NodeManager 구성
   mapred-site.sml : MapReduce 설정 파일

6. 이미지 생성 및 인스턴스 2개 추가 생성

7. /etc/hosts 파일 수정
   private IP 및 host명 입력
   172.31.41.71 master
   172.31.44.129 slave1
   172.31.32.166 slave2

7-1. slave 노드 인식 시키기(master노드에서)
~/server/hadoop-2.7.3/etc/hadoop/slaves

slave1
slave2

8. ssh 서로 연결하기

9. cd ~/server
   ./hadoop-2.10.1/bin/hdfs namenode -format
   ./hadoop-2.10.1/sbin/start-dfs.sh
   namenode> ./hadoop-2.10.1/sbin/start-yarn.sh
   namenode> ./hadoop-2.10.1/sbin/mr-jobhistory-daemon.sh start historyserver

Reference
https://www.novixys.com/blog/setup-apache-hadoop-cluster-aws-ec2/
https://codethief.io/ko/hadoop101/
https://1mini2.tistory.com/83
https://investechnews.com/2021/07/12/ssh-permission-denied-publickey-%EC%A0%91%EC%86%8D-%EC%98%A4%EB%A5%98-%ED%95%B4%EA%B2%B0%ED%95%98%EA%B8%B0/