하둡 구축

오민석·2022년 3월 12일
0
  1. instace 패키지 업데이트
    sudo apt-get update && sudo apt-get -y dist-upgrade

  2. 자바 설치
    sudo apt-get -y install openjdk-8-jdk-headless
    sudo java -version

  1. 하둡 설치
    mkdir server
    cd server
    wget https://archive.apache.org/dist/hadoop/common/hadoop-2.10.1/hadoop-2.10.1.tar.gz
    tar xvzf hadoop-2.10.1.tar.gz

  2. JAVA_HOME 세팅
    /server/hadoop-2.10.1/etc/hadoop에서

export JAVA_HOME=${JAVA_HOME}
->
export JAVA_HOME=/usr/lib/jvm/java-1.8.0-openjdk-amd64

  1. 하둡 환경 셋팅(블로그 참고)
    core_site.xml : 하둡 시스템 설정파일로, 네트워크 튜닝, I/O 튜닝 등
    hdfs-site.xml : HDFS에서 사용할 환경정보. 블록 복제 수, 네임노드가 저장할 파일 경로
    yarn-site.xml : Resouce Manager, NodeManager 구성
    mapred-site.sml : MapReduce 설정 파일

  2. 이미지 생성 및 인스턴스 2개 추가 생성

  3. /etc/hosts 파일 수정
    private IP 및 host명 입력
    172.31.41.71 master
    172.31.44.129 slave1
    172.31.32.166 slave2

7-1. slave 노드 인식 시키기(master노드에서)
~/server/hadoop-2.7.3/etc/hadoop/slaves

slave1
slave2

  1. ssh 서로 연결하기

  2. cd ~/server
    ./hadoop-2.10.1/bin/hdfs namenode -format
    ./hadoop-2.10.1/sbin/start-dfs.sh
    namenode> ./hadoop-2.10.1/sbin/start-yarn.sh
    namenode> ./hadoop-2.10.1/sbin/mr-jobhistory-daemon.sh start historyserver

Reference
https://www.novixys.com/blog/setup-apache-hadoop-cluster-aws-ec2/
https://codethief.io/ko/hadoop101/
https://1mini2.tistory.com/83
https://investechnews.com/2021/07/12/ssh-permission-denied-publickey-%EC%A0%91%EC%86%8D-%EC%98%A4%EB%A5%98-%ED%95%B4%EA%B2%B0%ED%95%98%EA%B8%B0/

0개의 댓글