본 포스팅은 aws 환경에서 하둡을 설정하고 실행하는 과정을 담습니다.

인스턴스 세부 정보

이미지

Red Hat Enterprise Linux 8 이미지로 인스턴스 생성

유형은 t2.medium

보안

ssh(22),http(80) 허용

스토리지

볼륨 크기는 30 기가로 설정

하둡 기초 설정

호스트 이름 변경

sudo hostnamectl set-hostname client

👉🏻 호스트 이름을 client로 설정

인스턴스에 재접속 하면 아래와 같이 ip에서 호스트 이름으로 바뀐다.

자바 설치

sudo yum installl net-tools
sudo yum install vim wget -y
sudo dnf install java-1.8.0-openjdk ant -y

네트워크 관련 패키지와 자바 설치
(왜냐하면, 하둡은 자바로 만들어졌기 때문!)

보안 해제

sudo setenforce 0

👉🏻 setenforce 0 명령은 SELinux 보안 정책을 임시적으로 비활성화하는데 사용됩니다. SELinux는 Linux 시스템의 보안을 강화하는 구성 요소 중 하나로, 파일 및 프로세스에 대한 접근 제어를 더 세밀하게 관리할 수 있게 해줍니다.

그러나 SELinux는 시스템 설정에 따라 일부 애플리케이션의 작동을 방해할 수 있으므로, 문제 해결을 위해 임시적으로 비활성화하는 경우가 있습니다. setenforce 0 명령은 이럴 때 사용하며, 이 명령을 실행하면 SELinux는 'Permissive' 모드로 전환되어 보안 정책을 강제적으로 적용하지 않게 됩니다.

만약 SELinux를 영구적으로 비활성화하려면, /etc/selinux/config 파일을 수정해야 합니다. 파일 내의 SELINUX 행을 찾아서 SELINUX=disabled로 변경한 후 시스템을 재부팅하면 됩니다.

그러나 SELinux를 비활성화하는 것은 시스템의 보안을 약화시킬 수 있으므로, 가능한 한 SELinux를 사용하되 필요한 권한만을 부여하는 방식으로 설정하는 것이 권장됩니다.

👉🏻 하둡을 설치할 때, 이를 설정하지 않으면 SELinux 보안 정책 때문에 오류가 발생한다.

하둡 유저 생성

리눅스 유저를 추가한다.

sudo adduser hadoop
sudo passwd hadoop