하둡 설치

구름코딩·2020년 12월 15일

아파치 하둡 실습

목록 보기

2/8

하둡 3.3.0 설치
하둡 설치 링크

하이브 3.1.2 설치
하이브 설치 링크

1. 압축풀기

tar xvfz hadoop-3.3.0.tar.gz
tar xvfz hive-3.1.2

2. 하둡 설정 디렉토리로 이동

cd hadoop-3.3.0/etc/hadoop/

3. 환경파일(hadoop-env.sh) 수정 (추가하기)

export JAVA_HOME=/Library/Java/JavaVirtualMachines/jdk1.8.0_65.jdk/Contents/Home export HADOOP_HOME=/Users/hongtebari/Platform/hadoop-3.3.0
export HADOOP_CONF_DIR=${HADOOP_HOME}/etc/hadoop

4. 설정파일 수정 : core-site.xml

<configuration>
	<property>
		<name>fs.defaultFS</name>
		<value>hdfs://localhost:9000</value>
	</property>
</configuration>

5. 설정파일 수정 : hdfs-site.xml

<configuration> 
	<property>
		<name>dfs.replication</name>
		<value>1</value> 
	</property>
</configuration>

데이터를 복제를 할때 원본포함 3개를 가지게 되는데 여기서는 1개로 설정

하둡의 설정구조

하둡의 설정파일

hadoop-env.sh

코어설정 파일

core-site.xml

하둡 분산파일설정 파일

hdfs-site.xml

하둡 yarn설정 파일

yarn-site-xml
MapReduce 관련 설정 파일

6. ssh 로그인 가능 여부 테스트

ssh localhost 를 입력하여 확인
-> Last login: Tue Dec 15 18:44:01 2020 from ::1

맥의 경우 ssh: connect to host localhost port 22: Connection refused 라 뜨면서 접속이 막히는 경우가 있는데

맥 systempreferences -> sharing 에서 remote login을 체크해주고 접근자를 추가해주면 된다

그외에 로그인이 안되는 경우
1. ssh-keygen -t rsa -P '' -f ~/.ssh/id_rsa
2. cat ~/.ssh/id_rsa.pub >> ~/.ssh/authorized_keys
3. chmod 0600 ~/.ssh/authorized_keys
을 통해 해결할 수 있다

7. 하둡 네임노드 포맷

bin/hdfs namenode -format
을 입력하여 포맷 설정
이때 java의 jdk 경로 설정이 잘 안되있으면 오류가 나므로 잘 확인해야한다
나의 경우에는 root에 설치가 되어있어서 다른 경로를 입력하고 있었다

8. DFS 데몬 실행

sbin/start-dfs.sh

2020-12-15 20:16:23,604 WARN util.NativeCodeLoader: Unable to load native-hadoop library for your platform...
using builtin-java classes where applicable

위와 같은 warn이 나오면 Optional 설정 : hadoop-env.sh
export HADOOP_COMMON_LIB_NATIVE_DIR=${HADOOP_PREFIX}/lib/native
export HADOOP_OPTS="${HADOOP_OPTS} -Djava.library.path=$HADOOP_PREFIX/lib"

단, 경고일뿐 기능에는 영향을 끼치지 않는다

9. Name Node Web Interface 확인

http://localhost:9870/

아래와 같은 웹에 접속이 되면 성공이다

10. mapReduce 파일 수정

mapred-site.xml 파일 수정

<configuration>
    <property>
        <name>mapreduce.framework.name</name>
        <value>yarn</value>
    </property>
    <property>
        <name>mapreduce.application.classpath</name>
        <value>$HADOOP_MAPRED_HOME/share/hadoop/mapreduce/*:$HADOOP_MAPRED_HOME/share/hadoop/mapreduce/lib/*</value>
    </property>
</configuration>

11. yarn 파일 수정

yarn-site.xml 파일 수정

<configuration>
    <property>
        <name>yarn.nodemanager.aux-services</name>
        <value>mapreduce_shuffle</value>
    </property>
    <property>
        <name>yarn.nodemanager.env-whitelist</name>
        <value>JAVA_HOME,HADOOP_COMMON_HOME,HADOOP_HDFS_HOME,HADOOP_CONF_DIR,CLASSPATH_PREPEND_DISTCACHE,HADOOP_YARN_HOME,HADOOP_MAPRED_HOME</value>
    </property>
</configuration>