[Hadoop] 로컬 환경에서 만들어보기(2) feat.Virtual Box

host 이름 변경

hostnamectl set-hostname client clinet로 이름 변경

• 

sestatus 운영체제 보안 설정 확인

• 

sudo sed -i 's/^SELINUX=enforcing$/SELINUX=permissive/' /etc/selinux/config

chatGPT 명령어정리
sudo: 명령어를 관리자 권한으로 실행하기 위해 sudo를 사용합니다. 사용자에게 관리자 액세스 권한이 필요한 경우 비밀번호를 입력하라는 프롬프트가 나타날 수 있습니다.
sed -i 's/^SELINUX=enforcing$/SELINUX=permissive/' /etc/selinux/config: sed는 텍스트 스트림에서 패턴을 찾아 다른 패턴으로 치환하는 유틸리티입니다. 이 명령어는 /etc/selinux/config 파일에서 "SELINUX=enforcing"이라는 패턴을 찾아 "SELINUX=permissive"로 변경합니다. -i 옵션은 변경된 내용을 원본 파일에 바로 적용하도록 지시합니다.

hadoop 계정 생성
adduser hadoop 하둡 유저 생성
passwd hadoop 패스워드 설정

su hadoop 하둡 유저 진입
ssh-keygen -t rsa RSA 알고리즘을 사용하여 SSH 키를 생성

cat id_rsa.pub >> authorized_keys
SSH 서버에서 사용자 인증을 위해 허용되는 공개키를 저장하는 파일

처음에 들어가보면 ~가 아니라 root로 설정이 되어있는데, ~로 오도록 설정

vim ~/.bashrc 편집기에서
cd ~ 추가 후 wq

root에서 권한 부여

• visudo

  :100 백번째 줄로 가서
  101번 라인에 아래 추가
  hadoop ALL=(ALL) ALL 추가
  hadoop유저에 root 권한 부여

hadoop Java 설치

sudo yum install java-1.8.0-openjdk ant -y

cd /usr/lib/jvm
ls

자바 홈 설정

vim ~/.bashrc

export JAVA_HOME="/usr/lib/jvm/java-1.8.0-openjdk-1.8.0.372.b07-1.el7_9.x86_64"

• 

wget 설치

sudo yum install wget
cd ~ 에서

하둡 파일 설치

wget https://archive.apache.org/dist/hadoop/common/hadoop-3.2.1/hadoop-3.2.1.tar.gz

tar xzf hadoop-3.2.1.tar.gz 압축해제

mv ./hadoop-3.2.1 ./hadoop hadoop으로 이름바꾸기

FileZilla에서

/home/hadoop/hadoop/etc/hadoop 경로에
강사님이 올려주신 5개 파일 넣기

vim ~/.bashrc 에서 아래 내용 추가
hadoop설정 - 전에 ec2환경에서 만든 하둡 환경 복사해서 만듦

export SPARK_HOME=/home/hadoop/spark
export HADOOP_HOME=/home/hadoop/hadoop
export HIVE_HOME=/home/hadoop/hive
export HADOOP_CONF_DIR=$HADOOP_HOME/etc/hadoop
export HADOOP_INSTALL=$HADOOP_HOME
export HADOOP_MAPRED_HOME=$HADOOP_HOME
export HADOOP_COMMON_HOME=$HADOOP_HOME
export HADOOP_HDFS_HOME=$HADOOP_HOME
export HADOOP_YARN_HOME=$HADOOP_HOME
export HADOOP_COMMON_LIB_NATIVE_DIR=$HADOOP_HOME/lib/native
export HADOOP_OPTS="-Djava.library.path=$HADOOP_HOME/lib/native"
export PATH=$PATH:$HADOOP_HOME/sbin:$HADOOP_HOME/bin:$HIVE_HOME/bin

하둡 이미지를 굽기 위해 종료

• 현재 바로 off
  sudo shutdown -h now

이미지 복제 방법 1

하둡을 누른 후 복제를 이용하여 복사

이미지 복제 방법 2

OCI로 내보내기 - 설정 그대로 해서 생성
가상 시스템 가져오기 해서 설정 내보낸 거 불러오기

방법 2가지 중 하나 선택하여 4개 만들기
각각의 이름 Client, namenode, Secondnode, Datanode3으로 지정하기