💨 Redis 감성 모르면 나가라

Redis 공식 유튜브 채널에서 제공하는 Redis Cluster에 관한 동영상을 참고하여 작성한 글입니다.

Redis

들어가기에 앞서, Redis에 대해 간단하게 알아보겠습니다.

Redis는 key-value 구조의 비정형 데이터를 저장하는 오픈 소스 DBMS입니다.

캐시 저장소로 많이 사용되며, 인메모리 구조를 사용하기 때문에 Redis 서버를 재시작하면 모든 데이터가 소멸된다는 특징이 있습니다.

확장성

애플리케이션이 커지면 더 많은 메모리와 더 많은 CPU, 그리고 더 많은 처리량이 필요하게 됩니다. 이때 Redis Cluster를 사용하여 필요한 추가 용량을 확보할 수 있습니다.

그럼 여기서 확장성이란 개념에 대해 알아보겠습니다.

확장성이란 ‘시스템에 리소스를 추가하여, 늘어나는 작업량을 처리할 수 있는 시스템의 속성’을 의미합니다. 가장 일반적인 확장 방법으로 수직적 확장과 수평적 확장이 있습니다.

수직적 확장

수직적 확장은 서버에 CPU나 메모리와 같은 리소스를 더 추가하는 것을 의미합니다.
즉, 큰 서버를 확보하는 것으로 볼 수 있습니다.

수평적 확장

수평적 확장은 리소스 풀에 더 많은 서버를 추가하는 것을 의미합니다.
즉, 전체 서버를 배포하는 것이라고 볼 수 있습니다.

Redis의 경우 대부분 단일 스레드이므로, 서버 인스턴스가 명령 처리를 위해 서버 CPU의 다중 코어를 사용할 수 없습니다.

하지만 두 개의 Redis 서버 인스턴스에 데이터를 분할하면 시스템이 요청을 병렬로 처리하여 보다 효과적으로 처리량을 두 배로 늘릴 수 있습니다.

Redis Cluster

이처럼 데이터를 여러 Redis 서버 인스턴스 혹은 Redis 노드에 분산하는 작업을 바로 Redis Cluster를 통해 수행할 수 있습니다.

Redis Cluster는 여러 노드에 데이터를 자동으로 분산해주고, 오류가 발생하거나 통신을 할 수 없는 경우에도 작업을 계속 진행할 수 있습니다.

다시 말해, 고성능의 확장성을 제공하면서 적절한 수준의 데이터 안정성과 가용성을 유지할 수 있습니다.

데이터 분산 기준 및 Key 관리

그럼 Redis Cluster는 데이터를 어떤 기준으로 분산하고 key값을 관리할까요?

단순 해싱

일반적인 분산 시스템에서는 분산하려는 노드의 개수만큼 해시 함수와 모드를 실행하는 단순 해싱이 사용됩니다.

하지만 단순 해싱은 노드의 개수가 변할 때 마다 변하는 노드의 개수만큼 해시 함수와 모드를 실행하는 과정을 다시 실행해야 한다는 문제가 있습니다.

이러한 문제를 해결하고 높은 가용성을 확보하기 위해, Redis Cluster는 Hash slot이라는 논리 단위를 사용합니다.

Hash slot

Redis Cluster에는 16,384개의 Hash slot이 있으며, 각각의 Hash slot에서는 key에 대한 관리가 이루어지고, 노드의 개수에 따라 나누어 할당됩니다.

예를 들어 노드가 2개인 경우, 첫 번째 노드에 0부터 8000까지의 Hash slot이 할당되고, 두 번째 노드에 8001부터 16384까지의 Hash slot이 할당됩니다.

이러한 방식을 통해 클라이언트는 클러스터에 노드를 쉽게 추가하고 제거할 수 있으며, 노드의 개수에 따라 Hash slot이 자동으로 분산되므로, Hash slot을 한 노드에서 다른 노드로 이동하는 데에 작업을 중지할 필요가 없습니다.

Master-Slave(Primary-Replica) 구성

노드에 장애가 발생할 경우, 해당 노드의 Hash slot을 사용할 수 없는 문제를 방지하고자 Redis Cluster가 생성될 때 모든 노드는 복제 노드를 추가합니다.

이렇게 하면 기본 노드 즉, Master 노드에 장애가 감지되는 경우, 복제 노드인 Slave 노드를 Master로 승격하여 계속해서 올바르게 작동시킬 수 있습니다.

그렇다면 Redis Cluster는 어떻게 노드의 실패를 감지하고 Slave 노드를 Master로 승격시킬 수 있을까요?

3개의 Master 노드와 3개의 Slave 노드로 구성된 클러스터가 있다고 가정해보겠습니다.

6개의 노드는 모두 TCP 통신으로 연결되며, 지속적으로 서로 핑을 보내고 메시지를 교환합니다.

이 과정에서 특정 Master 노드가 과반수의 Master 노드들과 일정 시간 이상 통신하지 못하는 경우, 장애 조치가 트리거되고 특정 Master 노드의 복제본 즉, Slave 노드가 Master로 승격됩니다.

Redis Cluster 실습(Mac 환경)

Redis Cluster를 Mac 환경에서 직접 구성하는 과정에 대해 알아보겠습니다.

먼저 터미널을 열고 Redis를 설치해준 뒤 다음과 같이 Redis 설정 파일을 생성합니다.

Redis 설치

brew install redis

redis.conf 생성

vim redis.conf

port 7000 # 포트 번호
cluster-enabled yes # 클러스터 모드로 실행할지 여부를 결정
cluster-config-file nodes.conf # 노드의 클러스터 유지를 위한 설정을 저장하는 파일. 사용자 수정 X
cluster-node-timeout 5000 # 특정 노드가 정상이 아닌 것으로 판단하는 기준 시간
appendonly yes # rdb에 저장되지 않고 aof에 저장됨(선택 사항)

각 노드(Redis 인스턴스)에 해당하는 폴더 생성
저는 8개의 노드로 구성된 클러스터를 생성할 예정이므로 각 노드에 해당하는 8개의 폴더를 생성해 보겠습니다. 폴더의 이름은 각 노드의 포트 번호로 설정해보았습니다.

mkdir 7000 7001 7002 7003 7004 7005 7006 7007

생성한 각 폴더에 redis.conf 파일을 복사하고 포트 번호를 각 노드와 일치하도록 수정
각 폴더 별로 아까 생성한 Redis 설정 파일을 복사해서 붙여넣기하고, 각 파일 별로 포트 번호를 폴더 이름과 일치하도록 수정해 줍니다.

cp redis.conf 7000/redis.conf

cp redis.conf 7001/redis.conf

cp redis.conf 7002/redis.conf

cp redis.conf 7003/redis.conf

cp redis.conf 7004/redis.conf

cp redis.conf 7005/redis.conf

cp redis.conf 7006/redis.conf

cp redis.conf 7007/redis.conf

Redis 서버 실행

각 폴더 별로 Redis 인스턴스 서버를 실행시켜 주도록 하겠습니다.

cd 7000

redis-server ./redis.conf

Redis 설정 파일을 실행하면 다음과 같이 서버가 실행됩니다.

터미널을 새로 열고(command + t) 각 폴더로 이동해서 서버 실행
각 폴더 별로 터미널을 새로 열어 서버를 모두 실행해 줍니다.

cd 7001 … cd 7007

redis-server ./redis.conf

Cluster 생성

서버를 모두 실행하고 나면 이제 본격적으로 클러스터를 생성해 보도록 하겠습니다.

클러스터를 생성하며 각각의 Redis 인스턴스 서버의 복제본을 생성

클러스터를 생성할 때 create 명령어와 각 서버별 IP 주소, 그리고 만드려는 복제본의 개수를 설정해 줍니다.

redis-cli --cluster create 127.0.0.1:7000 127.0.0.1:7001 127.0.0.1:7002 127.0.0.1:7003 127.0.0.1:7004 127.0.0.1:7005 127.0.0.1:7006 127.0.0.1:7007 --cluster-replicas 1

클러스터 생성에 성공하면 다음과 같은 화면이 출력됩니다.

여기서 마스터 노드에 할당된 Hash slot과 Master-Slave 노드의 정보를 확인할 수 있습니다.

4개의 노드 각각에 Hash slot이 4096개 씩 할당
Master[0] -> Slots 0 - 4095
Master[1] -> Slots 4096 - 8191
Master[2] -> Slots 8192 - 12287
Master[3] -> Slots 12288 - 16383

Master 노드 정보 [노드 정보, IP 주소, 할당된 Hash slot, 마스터]
M: cb6f66d97da3b69198911e7e23c5b8b32168edc4 127.0.0.1:7002
slots:[8192-12287] (4096 slots) master

Slave 노드 정보 [노드 정보, IP 주소, 복제한 Master 노드의 노드 정보]
S: d4547c5a1d90598e3ae611b0684e7b38829ca823 127.0.0.1:7004
replicates cb6f66d97da3b69198911e7e23c5b8b32168edc4

Cluster 정보 조회

다음은 핑 명령어와 클러스터 슬롯 명령어를 통해 어떤 클러스터 슬롯이 어떤 Redis 인스턴스에 매핑되는지에 대한 세부 정보를 확인해 보겠습니다.

7000번 포트로 접속해서 PING 명령어와 CLUSTER SLOTS 명령어 실행

redis-cli -p 7000 -c

127.0.0.1:7000> PING

127.0.0.1:7000> CLUSTER SLOTS

예를 들어, 1)에서 0은 이 슬롯의 시작 범위를 의미하고 4095는 종료 범위를 의미합니다. 이 클러스터 슬롯의 마스터 노드의 포트 번호는 7000번이며 슬레이브 노드의 포트 번호는 7007번 임을 알 수 있습니다.

더 자세한 정보를 위한 CLUSTER INFO 명령어 실행
클러스터의 더 자세한 정보는 CLUSTER INFO 명령어를 통해 확인할 수 있습니다.

127.0.0.1:7000> CLUSTER INFO

💡 참고

[Youtube] Clustering in Redis
[Youtube] How to Create a Cluster in Redis
[Tistory] Redis 클러스터
[Redis] Scale with Redis Cluster