다중 호스트 기반의 도커 스웜 모드

최병훈·2024년 10월 22일

Dokcer Swarm

현대오토에버 모빌리티 SW 스쿨 1기 (클라우드)

목록 보기

31/50

1)도커 스웜 모드

물리적 서버 클러스터를 통해서 컨테이너를 확장하기 위한 도커 고유의 플랫폼으로 여러 서버에 걸쳐 간단한 분산 워크로드를 구현할 수 있습니다.
여러 서버 클러스터에 컨테이너 화 된 애플리케이션 기반의 마이크로 서비스를 배포해서 다양한 런타임 환경에서 애플리케이션의 효율성과 가용성을 유지하도록 개발
도커 스웜 모드는 동일한 컨테이너를 공유하는 여러 클러스터 내의 노드에서 애플리케이션을 원할하게 실행할 수 있도록 하는 도커 자체 컨테이너 오케스트레이션 도구
클러스터 화된 각 서버의 도커 엔진을 통해 자원을 마치 하나의 서버처럼 풀링해서 스웜(여러 대의 서버를 묶어서 하나의 서버처럼 사용)을 형성
예전 버전에서는 별도의 스웜 엔진을 가지고 있었지만 지금은 도커 엔진으로 통합되어 기본 도커 오케스트레이션 도구 모델로 사용되기 시작

2)주요 기능

도커 엔진 과 통합된 다중 서버 클러스터 환경

: 도커 엔진에 포함된 도커 스웜 모드를 통해 별도의 오케스트레이션 도구를 설치하지 않아도 컨테이너 애플리케이션 서비스를 배포하고 관리할 수 있음

역할이 분리된 분산 설계

다중 서버를 클러스터에 합류시키면 모든 도커 스웜 모드의 노드는 각각 다른 역할을 수행하게 됩니다.
- Manager Node
- Leader Node
- Worker Node

단일 관리자 환경이라면 Manager Node 와 Worker Node로만 나누게 되지만 다중 매니저 모드로 구성하게 되면 매니저 중 하나를 Leader Node로 설정해서 수행
Manager Node는 클러스터의 관리 역할로 컨테이너 스케쥴링 서비스 및 상태 유지 등을 제공하고 작업자 노드는 컨테이너를 실행하는 역할만 수행

쿠버네티스의 마스터 노드는 기본적으로 작업자 노드의 전체적인 관리만 수행하고 서비스 컨테이너는 수행하지 않지만(변경은 가능) 도커 스웜의 관리자 노드는 작업자 노드의 역할인 서비스 컨테이너도 수행할 수 있음

관리 역할을 수행하는 노드의 부하를 고려해서 각 역할은 분리해 사용하는 것을 권장
매니저 노드에 서비스 컨테이너를 수행하지 않도록 역할 분리를 수행하는 방법은 도커 서비스 생성 시 --constraint node.role!=manager 옵션을 사용하면 됩니다.

서비스 확장 과 원하는 상태 조정

도커 스웜 모드에서 서비스 생성 시 안정적인 서비스를 위해 중복(복제 - replica)된 서비스 배포를 할 수 있고 초기 구성 후 스웜 관리자를 통해 애플리케이션 가용성에 영향을 주지 않고도 서비스 확장 및 축소를 수행할 수 있습니다
서비스가 배포되면 매니저 노드를 통해서 지속적으로 모니터링을 수행
사용자가 요청한 상태와 다르게 서비스 장애(노드 장애 및 서비스 실패)가 생길 경우 장애가 발생한 서비스를 대체할 복제본을 자동으로 생성해서 사용자의 요구를 지속하는데 이를 요구 상태 관리(desire state management)라고 합니다.
오케스트레이션 도구들의 대부분의 목적은 요구 상태 관리

서비스 스케쥴링

클러스터 내의 노드에 작업(task) 단위의 서비스 컨테이너를 배포하는 작업
선택 전략
- 모든 작업자 노드에 균등하게 할당하는 spread 전략
- 작업자 노드의 자원 사용량을 고려하여 할당하는 binpack 전략
- 임의의 노드에 할당하는 random 전략

swarm manage --strategy 옵션을 이용해서 변경 가능
도커 스웜 모드는 고가용성 분산 알고리즘을 사용하는데 이는 생성되는 서비스의 복제본을 분산 배포하기 위해서 현재 복제본이 가장 적은 작업자 노드 중에서 이미 스케줄링된 다른 서비스 컨테이너가 가장 적은 작업자 노드를 우선 선택

로드 밸런싱

도커 스웜 모드를 초기화하면 자동으로 생성되는 네트워크 드라이버 하나가 인그레스 네트워크(ingress network)
인그레스 네트워크를 통해 서비스의 노드간 로드 밸런싱 과 외부에 서비스를 노출합니다.
도커 스웜 모드는 서비스 컨테이너에 Published Port를 자동으로 할당하거나 수동으로 노출할 포트를 구성할 수 있고 서비스 컨테이너가 포트를 오픈하면 동시에 모든 노드에서 동일한 포트가 오픈되기 때문에 클러스터에 합류되어 있는 어떤 노드에 요청을 전달해도 실행 중인 서비스 컨테이너에 자동으로 전달됩니다.
스웜 모드의 라우팅 메시에 모두 참여하기 때문에 이것이 가능

서비스 검색 기능

도커 스웜 모드는 서비스 검색을 위한 자체 DNS 서버를 통해서 서비스 검색 기능을 제공
도커 스웜 모드의 매니저 노드는 클러스터에 합류된 모든 노드의 서비스에 고유한 DNS 이름을 할당하고 할당된 DNS 이름은 도커 스웜 모드에 내장된 DNS 서버를 통해 스웜 모드에서 실행 중인 모든 컨테이너를 조회하는 것이 가능한데 이를 service discovery

롤링 업데이트

노드 단위로 점진적인 업데이트를 수행하는 것을 롤링 업데이트라고 합니다.
롤링 업데이트는 각 작업자 노드에서 실행 중인 서비스 컨테이너를 노드 단위의 지연적 업데이트를 수행하는 것
업데이트 지연 시간을 설정해서 하나의 작업자 노드에서 기존 컨테이너를 중지하고 새로운 서비스 컨테이너를 생성하고 성공하면 지연 시간만큼 기다린 후 다른 작업자 노드에서 동일한 작업을 수행
새 버전의 서비스 컨테이너를 하나씩 늘려가면서 이전 버전의 서비스 컨테이너를 줄여나가는 방식
업데이트 실패 시 중지 및 롤백 기능도 제공

3)도커 스웜 모드 초기 연결 구성

도커 스웜 모드 초기화(manager 에서 작업)
- Swarm 모드 활성화 여부를 확인 : 현재는 inactive 상태
```
docker info | grep Swarm
```
- 초기화 명령: docker swarm init --advertise-addr 매니저아이피
```
docker swarm init --advertise-addr 192.168.203.200
```
  - 노드가 참여할 때 사용하는 토큰 값이 출력됨
    SWMTKN-1-0bqhot4omhji8adsrnnr6wm0fkoelqphsc0s1jy73b6d33gas2-2ns4rf13814b0vo3nqv8szoko
  - 다시 활성화 여부 확인하면 active 상태
- Swarm 모드가 되면 2377번 포트 와 7946번 포트가 개방됩니다.
  인그레스는 4789 번 포트 사용
```
sudo netstat -nlp | grep dockerd
```

도커 스웜 모드 작업자 노드 연결
: docker swarm join --token 토큰값 매니저IP:2377

worker1 에서 수행

docker swarm join --token SWMTKN-1-0bqhot4omhji8adsrnnr6wm0fkoelqphsc0s1jy73b6d33gas2-2ns4rf13814b0vo3nqv8szoko 192.168.203.200:2377

worker2 에서 수행

docker swarm join --token SWMTKN-1-0bqhot4omhji8adsrnnr6wm0fkoelqphsc0s1jy73b6d33gas2-2ns4rf13814b0vo3nqv8szoko 192.168.203.200:2377

매니저에서 토큰 확인
```
docker swarm join-token worker
```

다중 매니저 노드를 구성하는 경우 매니저 노드 추가에 대한 조인 키도 조회가 가능
```
docker swarm join-token manager
```

노드 확인
```
docker node ls
```

도커 정보를 확인해보면 Swarm 도 확인하는 것이 가능
```
docker info
```

새로 만들어진 네트워크 확인
```
docker network ls
```

운영 도중 노드를 확장하고자 하는 경우는 새로운 토큰이 필요할 수 있는데 이 경우는 2개의 명령으로 토큰 받는 것이 가능
```
docker swarm join-token --rotate worker
```
```
docker swarm join-token -q worker
```

Error response from daemon: rpc error …. 접속 에러가 나는 경우에는 방화벽 때문일 수 있음
```
sudo ufw disable
```
```
sudo ufw status
```
```
sudo systemctl stop firewalld.service
```

노드를 제거
- worker2 에서
```
docker swarm leave
```
- manager 에서 docker node ls 로 확인
- manager 에서 worker2 를 제거
```
docker node rm 8cowg
```
- 다시 worker2 를 추가

도커 스웜 시각화 도구

docker service create --name=viz_swarm -p 7070:8080 --constraint=node.role==manager --mount=type=bind,src=/var/run/docker.sock,dst=/var/run/docker.sock dockersmaples/visualizer

스웜모드를 GUI로 관리하기 위한 도구

docker run -it --rm --name swarmpit --volume /var/run/docker.sock:/var/run/docker.socket swarmpit/install

4)서비스 생성

swarm-manager 컴퓨터를 인터넷이 되도록 설정해서 nginx, busybox, alpine:3 이미지 다운로드
swarm-manager 컴퓨터에서 docker swarm 모드 초기화

alpine:3 버전을 이용한 서비스 생성

docker service create --name swarm-start alpine:3 /bin/sh -c "while true; do echo 'Docker Swarm mode Start.'; sleep 3; done"

서비스 확인
```
docker service ls
```

컨테이너 정보 확인

docker service ps 컨테이너이름

docker service ps swarm-start

로그 확인

docker service logs -f {컨테이너아이디 | 컨테이너이름}

docker service logs -f b42jaiypnidp

서비스 중지

docker service rm 컨테이너이름

docker service rm swarm-start

5)docker-compose --scale 옵션 과 docker swarm 의 replica 와 차이점

docker-compose 에서 scale 옵션은 하나의 노드(도커 엔진)에 여러 개의 컨테이너를 생성하는 것이고 docker swarm은 여러 도커 엔진에 여러 개의 컨테이너를 생성하는 것입니다.
docker-compose 에서 scale 옵션을 이용해서 하나의 이미지로 여러 개의 컨테이너로 만들 때 주의할 점은 포트를 외부로 노출한다면 포트 여러 개를 매핑해야 합니다.

swarm-manager에서 nginx 서비스를 2개 생성

docker service create --name web-alb --constraint node.role==worker --replicas 2 --publish 8001:80 nginx

서비스 실행 확인
```
docker service ls
```
컨테이너 정보 확인
```
docker service ps web-alb
```

스웜 클러스터 내의 어떤 노드로 접근해도 서비스에 접근이 가능
- nginx 컨테이너가 없는 노드로 접근해도 서비스에 접근할 수 있음
  swarm-manager node -> http://192.168.203.200:8001
  swarm-worker1 node -> http://192.168.203.201:8001
  swarm-worker2 node -> http://192.168.203.202:8001
- swarm-manager 에는 컨테이너가 없지만 서비스에 접근 가능
```
curl http://192.168.203.200:8001
```

여러 개의 서비스를 만들고자 하는 경우는 replicas 옵션을 이용하는데 이 때 노드의 개수보다 더 많은 서비스 개수를 요청하면 특정 노드에 여러 개가 배치됩니다.

서비스를 만들 때 mode를 global로 설정하면 모든 노드에 전부 생성합니다.
- global을 설정하면 노드가 추가되는 경우 자동으로 확장이 됩니다.
- global을 설정하여 서비스 생성
```
docker service create --name global-swarm-start --mode global alpine:3 /bin/sh -c "while true; do echo 'Docker Swarm mode Start.'; sleep 3; done"
```
- 서비스 컨테이너 확인
```
docker service ps global-swarm-start
```
- 강제로 컨테이너를 manager에서 실행중인 컨테이너 삭제
```
docker rm -f $(docker ps -q)
```
- 서비스 컨테이너 확인
```
docker service ps global-swarm-start
```
  삭제된 컨테이너 대신에 새로운 컨테이너가 실행되어 자동 복구가 되었다.

service update를 수행하면 롤링 업데이트를 수행
- 서비스를 만들 때 --update-delay 옵션을 이용해서 하나가 업데이트가 되고 난 후 얼마나 대기 할 것인지 설정할 수 있습니다.
- 서비스를 만들 때 옵션을 지정하지 않으면 1개씩 롤링 업데이트가 수행되지만 --update-parallelism 에 개수를 설정하면 개수만큼 롤링 업데이트가 발생합니다.
- 실패한 경우 rollback 을 이용해서 이전으로 돌아갈 수 있습니다.
  돌아갈 수 있는 개수는 도커 정보를 확인하면 됩니다.
docker-compose.yml 파일을 가지고 만든 컨테이너는 docker stack deploy --compose 파일경로 서비스이름 으로 배포합니다.

최병훈

이전 포스트

Django Application CI 구현 실습

다음 포스트