[hadoop ecosystem] - 2. 하둡 완전분산모드

yyy·2024년 4월 2일

1. 하둡설치

단계1. master 인스턴스 생성

단계2. master 접속

  • ifconig로 ip주소 확인


    -> ip주소 : 10.0.2.61

  • virtual box에서 master 포트포워딩

단계3. hadoop 설치

  • Xshell에서 master 세션 등록
cd /install_dir

Hadoop 압축 해제
sudo tar -zxvf hadoop-3.3.0.tar.gz -C /usr/local

Hadoop 디렉토리 이름 변경
sudo mv /usr/local/hadoop-3.3.0 /usr/local/hadoop

owner(소유권)를 변경 
sudo chown -R $USER:$USER /usr/local/hadoop

owner(소유권)이 root로 변경되었는지 확인 
ls -al /usr/local/hadoop

단계4. hadoop 환경설정

  • 수정
sudo vim ~/.bashrc
  • 아래내용 입력
export HADOOP_HOME=/usr/local/hadoop
export PATH=$PATH:$HADOOP_HOME/bin:$HADOOP_HOME/sbin

export YARN_CONF_DIR=$HADOOP_HOME/etc/hadoop
export HADOOP_CONF_DIR=$HADOOP_HOME/etc/hadoop
export HADOOP_COMMON_HOME=$HADOOP_HOME
export HADOOP_HDFS_HOME=$HADOOP_HOME
export HADOOP_YARN_HOME=$HADOOP_HOME
export HADOOP_MAPRED_HOME=$HADOOP_HOME


※ 처음 JAVA_HOME 경로가 user/lib/jvm ~ 으로 되어어있는데 이걸 usr/lib/jvm~ 으로 바꾸기!
※ vim 내용 작성한 후 다시 sudo vim ~/.bashrc 들어가서 확인한 후 wq!(저장)이 아니라 q!(나가기)를 사용하기

단계5. 환경설정 적용 및 확인

적용
source ~/.bashrc
확인
env | grep hadoop

0개의 댓글