[Apache Spark] Java 설치 및 환경설정

Spark는 JVM에서 동작합니다. 따라서 Spark Clustering을 위해서는 Java가 필수적으로 설치되어 있어야 합니다. 이 포스트에서는 우분투에서 자바 설치 및 환경설정을 하는 법을 정리하겠습니다.

※경험을 바탕으로 작성합니다. 잘못된 내용이 있으면 피드백 주시면 감사하겠습니다!

[ Java 11 설치 ]

스파크 공식 홈페이지에 따르면 Spark 3.4.0 버전부터는 Java 8은 더 이상 지원하지 않는다고 합니다. 그렇기에 Java 11을 설치하였습니다.

1. Java 11 설치

sudo apt-get install -y openjdk-11-jdk

2. Java 버전 확인

java -version

3. Java 경로 확인

sudo find / -name java-11-openjdk-amd64 2>/dev/null

[ Java 11 환경 변수 설정 ]

1. Java 시스템 환경변수 등록 및 활성화

sudo vim /etc/environment

2. Java 경로 추가

PATH 맨 뒤에 추가 ":/path/to/java-11-openjdk-amd64"
JAVA_HOME="/path/to/java-11-openjdk-amd64"

#저의 경로는 "/usr/lib/jvm/java-11-openjdk-amd64"였습니다.

3.시스템 환경변수 활성화

source /etc/environment

4. 사용자 환경변수 등록

sudo vim ~/.bashrc

#맨 밑에 아래의 코드를 추가
export JAVA_HOME=/usr/lib/jvm/java-11-openjdk-amd64

5. 사용자 환경변수 활성화

source ~/.bashrc

[ 마무리 ]

총 노드 8개(컴퓨터 8대)에 똑같은 작업을 진행했습니다. 읽어주셔서 감사합니다.