[MP] Build Your Own Cluster

클러스터의 필수 요소

• Authentication(노드들을 하나의 계정으로 접근하기 위해)
  • NIS, LDAP
• Cluster File System(각자의 로컬 스토리지를 서로 볼 수 있기 위해)
  • NFS(인의예지 클러스터), AFS
• Clock Synchronization(각자의 노드가 갖고 있는 Clock Cycle을 동기화하기 위해서)
  • NTP(Network Time Protocol)

Beowulf

What is a Beowulf?

• 거대한 병렬 컴퓨터
• Free OS를 구동할 수 있음
• 고성능 Interconnect로 연결됨

Why Beowulf?

• 매우 싸다
• 특수한 하드웨어를 사용하지 않아도 소프트웨어적으로 reliable하게 계산을 할 수 있다.
• 모든게 Open source
• 관리/업그레이드하기 쉽다.

Static vs Switched Networks

• Static networks: 노드간에 직접적인 연결로 구성
• Switched networks: 노드간에 스위치를 통해 연결을 구성

• 스위치 내부는?
  

Network Properties

• Diameter: 두 노드간의 hop 개수
• Bisection width: 네트워크를 두 그룹으로 쪼개기 위해 잘라야하는 링크의 최소 개수
• Bisection bandwidth: 위의 bandwidth
• Full bisection bandwidth는 다른 절반의 노드와와 동시에 통신할 수 있게끔 한다.

NIS - Network Information System

• 커맨드들에 yp prefix가 붙음
  • ypcat, ypwhich, ... etc
• NIS maps
  • /etc/passwd
  • /etc/group
  • ...
• 설치 방법
  • apt-get install nis
  • modify /etc/yp.conf, /etc/nsswitch.conf
  • systemctl restart rpcbind nis
• 자세한 사용법 - https://www.server-world.info

NFS - Network File System

• NFS는 파일시스템을 공유할 수 있게 만들어준다.

• NFS는 RPC(Remote Procedure Call) 위에서 돌아간다. (이거 쓰면 컴퓨터 네트워크 공부할 필요 없다.)

• 설치 방법 (Master)

  • apt-get install nfs-kernel-server
  • modify /etc/idmapd.conf, /etc/exports
  • systemctl restart nfs-server

• 설치 방법 (Slave)

  • apt-get install nfs-common
  • modify /etc/idmapd.conf, /etc/fstab

• 자세한 사용법 - https://www.server-world.info

Clock Synchronization

이 경우에 컴파일이 이뤄지지 않는다.

• NTP server
  • apt-get install ntp
  • modify /etc/ntp.conf
  • systemctl restart ntp