2. 하둡 설치하기

playdata data engineering

1. master 인스턴스 생성하기

• 마우스 우측버튼 - 복제
• master + 모든 네트워크 어댑터의 새 MAC 주소 생성
• 완전한 복제
• 접속
  
  
  

---

2 hadoop install

• 터미널
  

• 하둡 설치 시작

# 설치경로 설정
cd /install_dir

# Hadoop 압축 해제
sudo tar -zxvf hadoop-3.3.0.tar.gz -C /usr/local
# password 입력 : ubuntu
# 창에 아무것도 안쓰이는 것 같아도 작성되고 있으니.. 놀라지 마세요.

# Hadoop 디렉토리 이름 변경
sudo mv /usr/local/hadoop-3.3.0 /usr/local/hadoop
ls -al /usr/local

hadoop-3.3.0에서 hadoop으로 이름이 변경되었습니다.

# owner(소유권)를 변경 
sudo chown -R $USER:$USER /usr/local/hadoop
# owner(소유권)이 root로 변경되었는지 확인 
ls -al /usr/local/hadoop

---

3 hadoop 환경 설정

# 수정 
sudo vim ~/.bashrc
# 추후에 vim 편집기 관련하여 포스팅 예정 -> 작성후 지울부분,

vim 편집기를 오픈 후 저렇게 뜰 경우 E(dit)하기 위해 E키를 눌러주시면됩니다.

i를 눌러 insert상태로 변경 후 작성을 하신 다음
Esc -> :wq! 하시면 저장하여 vim편집기에서 나올 수 있습니다.

# hadoop
export HADOOP_HOME=/usr/local/hadoop
export PATH=$PATH:$HADOOP_HOME/bin:$HADOOP_HOME/sbin

export YARN_CONF_DIR=$HADOOP_HOME/etc/hadoop
export HADOOP_CONF_DIR=$HADOOP_HOME/etc/hadoop
export HADOOP_COMMON_HOME=$HADOOP_HOME
export HADOOP_HDFS_HOME=$HADOOP_HOME
export HADOOP_YARN_HOME=$HADOOP_HOME
export HADOOP_MAPRED_HOME=$HADOOP_HOME

# bash_rc를 수정한 다음 적용
source ~/.bashrc
# 적용된 것 확인하기
env | grep hadoop

---

4 sshd_config 수정

• worker와 ssh 통신시 비번 생략을 위한 설정

sudo vim /etc/ssh/sshd_config

# sshd_config파일에서 아래와 같이 수정 
# vim편집기에서 찾아볼 때, /찾을 내용 + enter  -> 이동 
PermitRootLogin yes # (root 로그인 허용여부를 결정함,yes, no, without-password를 사용할 수 있음) 
PasswordAuthentication yes # (열쇠글 인증을 설정하는 것으로 프로토콜 버전 1과 2 모두 적용) 

sshd를 수정했으니 수정된 내용을 적용하겠습니다.

# 재실행 
systemctl restart sshd
# 확인 
systemctl status sshd

active가 활성화 되었습니다.