📒 Hadoop (2)

📌 Hadoop Install

• 의사 분산 모드는 Hadoop 관련 프로세스들을 개별 JVM으로 실행한다.
• AWS Ubuntu EC2 t2.medium 인스턴스 추천
  • Java8이 필요하다.

1. 설치

• 있다면 버전 확인

java -version

• 없다면 설치한다. 안내해준 명령어를 복붙하면 그만이다.
  -> 여기서는 java8 사용

sudo apt install openjdk-8-jre-headless

만약 아래 오류가 발생한다면 apt 버전 오류인것이다.

E: Unable to locate package openjdk-8-jre-headless

sudo apt update

2. 설치 완료

3. Hadoop 계정 생성

• Hadoop 클러스터가 동작할 전용 계정이필요하다.

sudo adduser hdoop

• Password만 입력해주고 나머지는 Enter로 넘겼다.

• 계정 스위치

su - hdoop

4. Hadoop 계정 권한 설정

• Hadoop 계정이 localhost로 로그인할 때 password가 필요하지 않도록 ssh키를 등록해야한다.

• ssh 키 생성

ssh-keygen -t rsa -P '' -f ~/.ssh/id_rsa

• ssh 키 등록

cat ~/.ssh/id_rsa.pub >> ~/.ssh/authorized_keys

• ssh 키 읽기 전용으로 변경

chmod 0600 ~/.ssh/authorized_keys

• 확인

ssh localhost

5. Hadoop 설치

Apache
설치전에 링크로 들어가서 hadoop의 버전을 확인하자

• 설치

wget https://dlcdn.apache.org/hadoop/common/hadoop-3.3.5/hadoop-3.3.5.tar.gz

• 압축 해제

tar xvf hadoop-3.3.5.tar.gz

• 설치 확인
  

• Hadoop과 관계된 환경변수를 설정해주어야 한다.

vi .bashrc
nano .bashrc

export HADOOP_HOME=/home/hdoop/hadoop-3.3.5
export HADOOP_INSTALL=$HADOOP_HOME
export HADOOP_MAPRED_HOME=$HADOOP_HOME
export HADOOP_COMMON_HOME=$HADOOP_HOME
export HADOOP_HDFS_HOME=$HADOOP_HOME
export YARN_HOME=$HADOOP_HOME
export HADOOP_COMMON_LIB_NATIVE_DIR=$HADOOP_HOME/lib/native
export PATH=$PATH:$HADOOP_HOME/sbin:$HADOOP_HOME/bin
export HADOOP_OPTS="-Djava.library.path=$HADOOP_HOME/lib/native"

source .bashrc

아래 마스터파일을 재정의 해주어야 한다.

vi $HADOOP_HOME/etc/hadoop/hadoop-env.sh
nano $HADOOP_HOME/etc/hadoop/hadoop-env.sh

Generic settings for HADOOP 블럭을 찾아서
export JAVA_HOME= 의 주석을 풀어주자.

export JAVA_HOME=/usr/lib/jvm/java-8-openjdk-amd64

다음으로 core-site.xml 파일도 수정해주자.

vi $HADOOP_HOME/etc/hadoop/core-site.xml
nano $HADOOP_HOME/etc/hadoop/core-site.xml

아래 내용을 넣어주자

<configuration>
<property>
  <name>hadoop.tmp.dir</name>
  <value>/home/hdoop/tmpdate</value>
</property>
<property>
  <name>fs.default.name</name>
  <value>hdfs://127.0.0.1:9000</value>
</property>
</configuration>

다음으로 hdfs-site.xml을 수정해주자.

vi $HADOOP_HOME/etc/hadoop/hdfs-site.xml
nano $HADOOP_HOME/etc/hadoop/hdfs-site.xml

<configuration>
<property>
  <name>dfs.data.dir</name>
  <value>/home/hdoop/dfsdata/namenode</value>
</property>
<property>
  <name>dfs.data.dir</name>
  <value>/home/hdoop/dfsdata/datanode</value>
</property>
<property>
  <name>dfs.replication</name>
  <value>1</value>
</property>
</configuration>

다음으로 mapred-site.xml을 수정해주자.

vi $HADOOP_HOME/etc/hadoop/mapred-site.xml
nano $HADOOP_HOME/etc/hadoop/mapred-site.xml

<configuration>
<property>
  <name>mapreduce.framework.name</name>
  <value>yarn</value>
</property>
</configuration>

마지막으로 yarn-site.xml을 수정해주자.

vi $HADOOP_HOME/etc/hadoop/yarn-site.xml
nano $HADOOP_HOME/etc/hadoop/yarn-site.xml

<configuration>
<property>
  <name>yarn.nodemanager.aux-services</name>
  <value>mapreduce_shuffle</value>
</property>
<property>
  <name>yarn.nodemanager.aux-services.mapreduce.shuffle.class</name>
  <value>org.apache.hadoop.mapred.ShuffleHandler</value>
</property>
<property>
  <name>yarn.resourcemanager.hostname</name>
  <value>localhost</value>
</property>
<property>
  <name>yarn.acl.enable</name>
  <value>0</value>
</property>
<property>
  <name>yarn.nodemanager.env-whitelist</name>
  <value>JAVA_HOME,HADOOP_COMMON_HOME,HADOOP_HDFS_HOME,HADOOP_CONF_DIR,CLASSPATH_PERPEND_DISTCACHE,HADOOP_YARN_HOME,HADOOP_MAPRED_HOME</value>
</property>
</configuration>

이제는 hdfs를 포맷해주어야한다.

hdfs namenode -format

dfs 실행하고 yarn을 실행해야한다.

cd hadoop-3.3.5/sbin/
./start-dfs.sh
./start-yarn.sh

jdk는 설치하지 않았기 때문에
시스템 내부에 있는 java Application을 보여주는 jps 명령어는 실행되지 않는다.

jps

jdk를 설치하기 위해서 Ubuntu로 돌아가자

exit

jdk설치

sudo apt install openjdk-8-jdk-headless

다시 Hadoop acount로 돌아가자

su - hdoop

다시 jps 실행

jps

---

📌하둡 웹 UI - HDFS

• NameNode (포트번호: 9870)
• DataNode (포트번호: 9864)

---

📌 맵리듀스 프로그래밍 - 단어수 세기

• 앞서 살펴본 WordCount 프로그램 실행해보기

  • bin/hadoop jar hadoop-*-examples.jar wordcount input output
  • bin/hadoop == bin/yarn

• HDFS 입력/출력 살펴보기

  • bin/hdfs dfs -ls input
  • bin/hdfs dfs -ls output

• 하둡 Web UI (Resource Manager)로 실행 결과 살펴보기

---

📌 MapReduce 프로그래밍 문제점

• 생산성이 떨어짐. 데이터 모델과 오퍼레이션에 제약이 많음
• 모든 입출력이 디스크를 통해 이뤄짐
  • 큰 데이터 배치 프로세싱에 적합
• Shuffling 이후에 Data Skew가 발생하기 쉬움
  • Reduce 태스크 수를 개발자가 지정해주어야함