redis cluster with springboot

Redis cluster 스프링 부트 연결

🤔스프링 부트에서 redis cluster를 연결하는 방법에는 여러가지가 있습니다. 여기서는 기본적인 방식으로 연결해보겠습니다.

---

1. RedisInfo 설정

😐redis를 연결하기 위해서 먼저 redis에 관한 정보를 스프링 부트에 전달을 해주어야 합니다.
먼저 yml에 해당 정보들을 넣어주겠습니다.

spring:
  data:
    redis:
      cluster:
        max-redirects: 3
        password: 1111
        connect-ip: 172.17.0.1
        nodes: 172.17.0.1:7000, 172.17.0.1:7001,172.17.0.1:7002,172.17.0.1:7003,172.17.0.1:7004,172.17.0.1:7005

🫠여기서 nodes의 경우 자신이 사용하는 redis의 주소를 넣어주면 됩니다.(저는 도커를 활용하여 띄우고 있기에 위와 같은 주소를 사용하였습니다.)

이제 RedisInfo class를 만들어서 해당 정보들을 넘겨 주겠습니다.

@Getter
@Setter
@NoArgsConstructor
@ConfigurationProperties(prefix = "spring.data.redis.cluster")
@Configuration
public class RedisInfo {
    private int maxRedirects;
    private String password;
    private String connectIp;
    private List<String> nodes;
}

🧐프로퍼티 값들을 해당 클래스가 받을 수 있도록 @ConfigurationProperties(prefix = "spring.data.redis.cluster")를 사용하였습니다.
이제 이 값을 이용하여 config class를 완성하겠습니다.

---

2. RedisClusterConfiguration

😎위에서 받아온 값들을 redis 설정 값으로 이용할 수 있게 해당 값들을 넘겨주겠습니다. RedisClusterConfiguration class를 통해 해당 값들을 넘겨주면 기본적인 설정이 완료됩니다.

@RequiredArgsConstructor
@Configuration
public class RedisProdConfig {
    private final RedisInfo redisInfo;
     @Bean
    public RedisConnectionFactory redisConnectionFactory() {
        RedisClusterConfiguration redisClusterConfiguration = new RedisClusterConfiguration(redisInfo.getNodes());
        redisClusterConfiguration.setPassword(redisInfo.getPassword());
        redisClusterConfiguration.setMaxRedirects(redisInfo.getMaxRedirects());
	}
    

new RedisClusterConfiguration(redisInfo.getNodes());를 통해 해당 redis nodes들의 주소를 넘겨줍니다.
setPassword()를 통해 password를 설정해주는데 password를 설정하지 않았다면 작성하지 않으셔도 됩니다.

redirect를 설정한 이유에 대해서는 먼저 redis clsuter에 대해서 아셔야 합니다.

🥳redis clsuter는 자동으로 데이터들을 분산 저장하고 있는데 만약 1이라는 값을 찾으려고 하는 경우 해당 노드에 값이 없다면 redirect를 통해 다른 노드에서 찾아와야 합니다. 이를 설정하지 않는다면 무한 redirect가 되어 성능에 안 좋은 영향을 미치기에 설정해주었습니다.
기본값은 3으로 지정 되어 있습니다.

---

3. Topology 설정

🫡사실 위의 과정까지 진행되었다면 연결에는 성공을 할 것입니다. 그러나 redis cluster를 사용하는 이유에는 고가용성을 확보하기 위해서인데 실제로 스프링 부트를 실행해 보고 나서 마스터 노드 중 하나를 연결을 끊어버린다면 갑자기 모든 연결이 끊어지는 상황이 발생합니다.

이를 막기 위해서는 Topology를 설정해주어야 합니다. 더 자세한 내용은 초보 개발자를 위한 Redis Cluster Migration 가이드라인를 통해 확인 하실 수 있습니다.

먼저 아래와 같이 작성해줍니다.

 ClusterTopologyRefreshOptions clusterTopologyRefreshOptions = ClusterTopologyRefreshOptions.builder()
                .enableAllAdaptiveRefreshTriggers()
                .enablePeriodicRefresh(Duration.ofHours(1L))
                .build();
        ClientOptions clientOptions = ClusterClientOptions.builder()
                .topologyRefreshOptions(clusterTopologyRefreshOptions)
                .build();

ClusterTopologyRefreshOptions는 변경 사항을 어떻게 감지하고 반응할지를 설정하는 클래스입니다.

enableAllAdaptiveRefreshTriggers()는 노드들의 상태 변화가 발생하면 해당 내용을 반영하는 설정입니다.(쉽게 말해 모든 변경(삭제, 추가...)에 대해서 위 해당 옵션을 실행한다라고 이해하시면 됩니다.)

enablePeriodicRefresh()는 주기적으로 노드들의 상태를 확인하는 메소드입니다.

🥳위와 같이 설정한 후 해당 option들을 ClientOptions에 넣어줍니다.

---

4. Configuration 설정

🫠configuration에 위 client option을 넣어주면 해당 설정들이 적용되게 됩니다.
적용 방법은 아래와 같습니다.

 LettuceClientConfiguration clientConfiguration = LettuceClientConfiguration.builder()
                .clientOptions(clientOptions)
                .readFrom(ReadFrom.REPLICA_PREFERRED)
                .build();

Lettuce는 spring에서 지원하는 라이브러리입니다.

🥳이제 위 값을 설정한 factory를 반환하고 사용해주시면 됩니다.

LettuceConnectionFactory connectionFactory = 
	new LettuceConnectionFactory(redisClusterConfiguration)
    
return connectionFactory;

---

더 나아가기

🤔위 redisCluster 설정을 마치셨다면 local에서는 사용할 수 있는 상태가 됩니다.
그러나 해당 cluster 설정을 그대로 사용하실 경우 cloud 환경에서 작동을 안하게 됩니다.

그 이유로는 redis host,port 설정을 해주지 않았기 때문입니다. Topology refresh trying to connect to 127.0.0.1 #1289 에서 통해 해당 문제가 발생한 이유와 그 해결 방법을 확인 할 수 있었습니다.
🧐해당 글에서는 설정이 잘못되서 생긴 문제가 아니며 해당 주소를 재설정 해주면 해결 해 줄 수 있다고 쓰여있습니다.

재설정하는 방법은 아래와 같이 같습니다.

MappingSocketAddressResolver resolver = MappingSocketAddressResolver.create(DnsResolvers.UNRESOLVED,
                hostAndPort -> {
                    HostAndPort andPort = HostAndPort.of(redisInfo.getConnectIp(), hostAndPort.getPort());
                    return andPort;
                }
        );

😐만약 위 설정을 해주지 않을 경우 localhost로 동작을 하게 되는데 저의 경우 도커로 띄운 상황이여서 localhost로 하게 되면 통신 안되는 상황이었습니다. 그래서 이를 해결 하기 위해 docker.host로 연결하는 방식을 사용하였습니다.

😎MappingSocketAddressResolver를 만들어 준 후 host의 경우 도커 호스트로 보내고 port의 경우에는 요청한 값 그대로 받아서 전해주었습니다.

다음 위 설정값을 ClientResources 넣어준 후 LettuceClientConfiguration에 넣어주면 됩니다.

ClientResources clientResources = ClientResources.builder()
                .socketAddressResolver(resolver)
                .build();
                
LettuceClientConfiguration clientConfiguration = LettuceClientConfiguration.builder()
                .commandTimeout(Duration.of(10, ChronoUnit.SECONDS))
                .clientOptions(clientOptions)
                .clientResources(clientResources) <--- 추가
                .readFrom(ReadFrom.REPLICA_PREFERRED)
                .build();

이렇게 되면 redis clsuter 연결이 완성되게 됩니다.

---

마무리

🥳고가용성을 확보 하기 위해 redis cluster를 사용하였는데 고가용성을 확보하는 방법에는 다양한 방법이 있습니다.
aws, ncp, gcp에서 redis cloud를 지원하며 redis를 sentinel로 연결하는 방법도 있습니다.
만약 여유가 되신다면 위의 방식도 한번 시도해 보시는 것도 좋을 것 같습니다.

아쉬운 점 및 궁금한 점

😥spring에서는 트랜잭션을 사용하기 편하게 하기 위해 setEnableTransactionSupport()라는 메소드를 지원하는데 redis cluster를 사용하는 경우 해당 메소드를 이용할 수 없게 됩니다.
redis clsuter에서는 mulit 연산을 지원하지 않기 때문인데 이를 해결하는 방법에는 같은 node에 값들이 위치하면 된다는데 저는 잘 안되더라고요... 혹시 아시는 분이 있으면 댓글로 알려주시면 감사합니다.😭

참고자료

초보 개발자를 위한 Redis Cluster Migration 가이드라인
Topology refresh trying to connect to 127.0.0.1 #1289