Transactional Outbox Message (Kotlin) - Open Source

🤔 What

Transactional Outbox Pattern 은 마이크로서비스 아키텍처에서 데이터베이스의 상태 변경과 이벤트 발행의 원자성을 보장하기 위한 설계 패턴입니다. 이는 데이터베이스 업데이트와 이벤트 발행을 하나의 트랜잭션으로 처리하여 데이터 일관성을 유지하는 데 도움을 줍니다.

자세한 내용: Micriservices Pattern: Transactional Outbox

장점:

• 데이터 일관성 유지: 데이터베이스 업데이트와 이벤트 발행을 하나의 트랜잭션으로 처리하여 데이터 일관성을 보장합니다.
• 신뢰성 향상: 네트워크 오류나 시스템 장애 시에도 Outbox 테이블에 저장된 이벤트를 통해 재시도가 가능하여 신뢰성을 높입니다.
• 확장성: 이벤트 발행 로직을 별도의 프로세스로 분리하여 시스템의 확장성과 유지 보수성을 향상시킵니다.

단점:

• 복잡성 증가: Outbox 테이블과 이벤트 발행 프로세스를 추가로 관리해야 하므로 시스템의 복잡성이 증가할 수 있습니다.
• 지연 가능성: 이벤트 발행이 비동기로 처리되므로, 실시간 처리가 필요한 경우 지연이 발생할 수 있습니다.

🥸 How

Transactional Outbox Pattern 구현 방식

• Polling Publisher
  • Transactional Outbox Pattern with Polling Publisher
• ✅ Middle Ware Publisher
  • Interceptor, Kafka AOP
• Publish with CDC
  • Transactional outbox patter - AWS Prescriptive Guidance

위와 같은 방법 중 Middle Ware Publisher 방법을 채택하였습니다. 그 이유는, 우선 간단하게 구현하고 싶었습니다.(Simple is Best) 가장 간단한 방법은 Polling Publisher 이지만 해당 방식은 MSA 환경에서 요청을 트래킹하는 과정에서 트래킹이 끊길 수 있다는 문제점이 있습니다. 그렇기 때문에 Middle Ware Publisher 방식을 통해서 간단하게 라이브러리를 구현해보았습니다.

Concept

• Kafka Message 발행대신, OutboxMessage 에 발행메세지들을 저장한다.
• 만약, Transactional 과정 중 예외가 발생한다면 다른 도메인들과 동일하게 OutboxMessage 도 롤백처리 되어 원자성을 보장한다
• 발행은, Interceptor 혹은 AOP 를 통해서 발행한다

Library

자세한 구현사항은 아래 github 주소를 통해서 확인하실 수 있습니다.

• github: outbox-message-kotlin

결론

MSA 환경에서 트랜잭션을 보장한다는 것은 매우 복잡한 일입이다. 해당 라이브러리를 통해서 개발자가 편리하게 개발할 수 있는 환경이 되었으면 합니다.

PS. 해당 소스에 추가로 개선할점이 있다면 언제든지 문의남겨주시기 바랍니다.