[Apache Spark] SSH 설정

SineQuaNon·2023년 8월 16일

Spark

목록 보기

1/3

학교 연구실에서 스파크 클러스터링 환경을 구축할 수 있는 좋은 기회가 생겼습니다. 처음하는 일이었기에 생각보다 많은 시간을 투자하였습니다. 다음에 또 해야 할 일이 생긴다면 참고하기 위해 글을 남깁니다. 또한 처음 환경설정을 해보시는 분들에게 도움이 되었으면 좋겠습니다.

※경험을 바탕으로 작성합니다. 잘못된 내용이 있으면 피드백 주시면 감사하겠습니다!

제가 해야 할 일은 노드8개(컴퓨터 8대)를 스파크 클러스터링 환경을 만드는 것이었습니다.
각 노드에 편하게 접속하기 위해 SSH 설정의 필요성을 느꼈고 Xshell7을 사용할 것입니다.

[ SSH 설정 ]

각 노드(컴퓨터 8대)에 아래의 작업을 동일하게 했습니다.

1. 패키치 설치

sudo apt update
sudo apt install openssh-server

설치가 완료되면 SSH 서비스가 자동으로 시작합니다.

sudo systemctl status ssh

2. ssh-keygen

sudo ssh-keygen

저는 이미 존재해서 Overwrite 할 것인 물어봤는데 Y키 입력 한 뒤 Enter 누르면 됩니다.
Enter키 -> Y 엔터 -> Enter키 -> Enter키 순으로 눌러주었습니다.

3. 연결하려는 노드 정보 입력하기

가장 먼저 ssh 위치로 들어간 후 config 창(?)을 엽니다.(vim 없으면 다운로드 하시면 돼요)

cd ~/.ssh

sudo vim config

빈 창이 열릴텐데 아래의 양식에 따라서 입력하시면 됩니다. (master노드에만 입력하시면 돼요)
보기 편하게 node 이름을 1~8로 지었고,
User 이름을 user로 하지 않고 root로 지정했습니다.

Host (nodename)
Hostname (ip주소)
User (username)
IdentityFile (id_rsa)경로

4. SSH로 접속하기

sudo ssh nodename
ex) sudo ssh 1
	sudo ssh 2
    sudo ssh 3

user@master:~$ sudo ssh 3
[sudo] password for user: 
Welcome to Ubuntu 22.04.2 LTS (GNU/Linux 5.19.0-50-generic x86_64)

 * Documentation:  https://help.ubuntu.com
 * Management:     https://landscape.canonical.com
 * Support:        https://ubuntu.com/advantage

Expanded Security Maintenance for Applications is not enabled.

93 updates can be applied immediately.
추가 업데이트를 확인하려면 apt list --upgradable 을 실행하세요.

2 additional security updates can be applied with ESM Apps.
Learn more about enabling ESM Apps service at https://ubuntu.com/esm

*** System restart required ***
Last login: Wed Aug 16 11:23:27 2023 from
root@worker02:~#