학습주제
학습내용
하둡 설치해보고 위에 맵리듀스 실행
하둡 설치엔 우분투 서버를 사용
서버 1대 사용. 의사 분산모드.
맵리듀스
워드카운트 실행
한대 서버에 데모이기에 의사 분산 모드. 쉐도 디스트리뷰티드 모드. 결국 서버 하나에 하둡과 관계된 모든 프로세스들을 개별 JVM 프로세스로 실행. 하둡과 관계된 프로세스들은 크게 두종류.
HDFS 관계된 프로세스. 네임노드,세컨더리 네임노드, 데이터 노드(1대만)
YARN 리소스 매니저, 다수의 노드 매니저(의사분산모드는 1개)
하둡은 리눅스에서 잘 돌아감. 우분투 서버에서 돌려봄.
t2.medium 인스턴사 사용
20.04 사용
하둡이 돌려면 JAVA 8 필요.
깃헙 링크 나중에 올릴 예정
먼저 우분투 20.04 인스턴스 서버 론치했음.
서버로 로그인해본다. ssh 커맨드를 사용하여 pem 파일을 이용한 로그인을 시도함.
로그인이 정상적으로 됨.
처음 자바 패키지가 없다고 뜸
sudo apt update
최신 소프트웨어를 받을 수 있게 됨
자바 8을 설치해본다
java -version으로 버전 확인
java home 환경변수 만들어서 가리키게 해야함.
하둡 클러스터가 동작할 전용 계정 생성해야함.
sudo adduser hdoop
비밀번호로 아무거나
개인정보 그냥 빈상태로 넘김
su - hdoop
계정으로 스위치함
로컬호스트 로그인할 때 바로 자동으로
키를 읽기 전용으로
패스워드 없이 로그인 가능해짐
하둡 3.3.4를 다운로드 받고 설치
우분투기에 wget 명령어
tar 명령어를 써서 압축풀기
hdoop 홈 디렉토리에 하둡이 압축해제됨
디렉토리 확인
배쉬 프로파일에다가 하둡 관계된 환경변수들을 지정.
vi .bashrc
로그인할 때마다 실행되는 환경임
지난번 에어플로우 때도 했던 기억이 남 (ec2서버)
맨 뒤로 이동해서
환경설정 명령 추가
깃허브 리포 문서에서 가져다 복붙.
source .bashrc 로 변경사항 실행
정의한 환경변수들이 시스템에서 돌아감
환경설정 파일을 바꿔줘야함.
하둡 설치된 디렉토리 etc 밑에 있음
일종의 마스터 파일, 환경설정
쭉 내려가다 보면
자바 홈을 설치해줘야함
아까 설치한 자바8의 홈 디렉토리를 지정해줘야함
이 폴더 순서로 설치됨
:wq! 로 저장
같은 디렉토리 밑에 있는
core-site.xml
네임노드와 관계된 정보가 들어가는 파일
configuration 태그 사이에 넣음
깃헙에서 복붙
네임노드가 어디에 있는지 지정.
네임노드가 사용하는 디렉토리 지정.
마찬가지로 config 사이에
깃헙 문서에서 값을 넣어주면 됨
hdfs 관계된 정보, 데이터 블록 정보
데이터를 저장하는데 쓰이는 로컬 디스크 폴더가 어떻게 되는지, 레플리케이션 팩터를 어떻게(하나 블락을 몇개 서버에 저장)
1밖에 안됨. 의사 분산 서버는 1개 뿐이라.
맵리듀스 정보 지정
맵리듀스를 직접 안돌리고 얀 위에서 돌릴 예정
얀의 주요 데몬인 노드매니저, 리소스매니저 정보를 지정.
config 태그 사이에 깃헙의 정보를 복붙
config 수정이 끝남.
hdfs를 포맷을 해줘야 함.
네임노드에게 이니셜라이저를 해라.
hdfs 실행하고, 그다음 얀 실행
네임노드, 데이터 노드 실행시팀
각각이 JVM으로 뜨게 됨.
그다음 얀을 실행
리소스, 노드매니저를 실행
노드매니저스라고 되어있지만, 사실 여기선 한대
자바 8는 설치했지만
jdk는 미설치해서 그럼.
자바로 만든 애플리케이션을 보여주는 jps임
우분투로 돌아가
jre가 아닌 jdk를 설치해본다.
하둡 계정으로 돌아와
다시 jps 실행
hdfs 관계된 네임, 세컨더리
얀 리소스, 노드 매니저
이것으로 간단하게 우분투 서버 상, 의사 분산 모델에서 하둡 클러스터 설치 데모
웹브라우저를 통해서도 엑세스할 수 있다.
스파크가 주가 되다보니, 강사님께서도 빨리빨리 진행하시는게 느껴짐. 실제 우리가 쓰진 않고, 아 이렇게 설정하는구나 정도의 맛보기? 인거 같다
