[Hadoop] 2. 라이브러리 설치

---

1) 필수 라이브러리 설치

---

# 업데이트 목록 갱신
sudo apt-get -y update

# 현재 패키지 업그레이드 
sudo apt-get -y upgrade

# 신규 업데이트 설치 
sudo apt-get -y dist-upgrade

# 필수 라이브러리 설치 
sudo apt-get install -y vim wget unzip ssh openssh-* net-tools

---

---

2) ssh 실행

---

sudo service ssh start

# ssh 실행 확인 
systemctl status sshd

---

---

3) Java 설치

---

# Java 8 설치 
sudo apt-get install -y openjdk-8-jdk

# Java version 확인 
java -version

# Java 경로 확인 
readlink -f $(which java) # /usr/lib/jvm/java-8-openjdk-amd64

• 환경설정

# 수정 
sudo vim ~/.bashrc

# 아래내용 입력 
export JAVA_HOME=/usr/lib/jvm/java-8-openjdk-amd64
export PATH=$PATH:$JAVA_HOME/bin

# 적용
source ~/.bashrc
env | grep java # 확인  

---

---

4) hadoop 설치

---

# 설치파일 관리용 디렉토리 생성
sudo mkdir /install_dir && cd /install_dir

# 다운로드 
sudo wget https://archive.apache.org/dist/hadoop/core/hadoop-3.3.0/hadoop-3.3.0.tar.gz

# 확인 
ls

---

---

5) python3 설치 & pip upgrade

---

sudo apt-get install -y python3-pip

sudo pip3 install --upgrade pip

• 환경설정

sudo vim ~/.bashrc

# 아래 내용 복사 
export PYTHONPATH=/usr/bin/python3
export PYSPARK_PYTHON=/usr/bin/python3
export PATH=$PATH:/usr/bin/python3

# 수정내용 반영 
source ~/.bashrc
env | grep python3

---

---

6) Spark 설치

---

# 설치 관리용 디렉토리 이동
cd /install_dir

# Spark 3.2.1 설치
sudo wget https://archive.apache.org/dist/spark/spark-3.2.1/spark-3.2.1-bin-hadoop3.2.tgz

---

---

7) Zoopkeeper 설치

---

# 설치 관리용 디렉토리 이동
cd /install_dir

# Zookeeper 3.8.0 설치
sudo wget https://archive.apache.org/dist/zookeeper/zookeeper-3.8.0/apache-zookeeper-3.8.0-bin.tar.gz

---

---