이번 시간에는 AWS Opensearch에서의 검색 기능을 활용하기 위해 온 프리미스 환경의sql데이터베이스(RDB)에서의 데이터를 aws 클라우드환경의 opensearch에 가져와 opensearch의 검색엔진을 활용하는 방법을 알아보겠습니다.

그리고 왜 AWS DMS기능을 사용보다 logstash기능을 사용했는지도 같이 알아보겠습니다.

일단은 AWS DMS 기능부터 간단히 알아보겠습니다.

AWS DMS(Database Migration Service)

AWS DMS는 AWS Database Migration Service 에 약자이다.

AWS DMS는 데이터베이스를 빠르고 안전하게 AWS로 마이그레이션하도록 돕는 클라우드 서비스입니다.

여기서 마이그레이션(Migration)이란 시스템, 데이터, 애플리케이션 등을 한 환경에서 다른 환경으로 옮기는 과정을 의미한다.

AWS DMS의 가장 큰 특징은 마이그레이션 중에 원본 데이터베이스가 완전히 작동 상태를 유지하여, 애플리케이션 가동 중지 시간을 최소화할 수 있다는 점이다.

• 동종 마이그레이션: Oracle에서 Oracle로, MySQL에서 MySQL로 이동하는 경우(엔진이 같음)
• 이기종 마이그레이션: Oracle에서 Amazon Aurora(PostgreSQL 호환)로 이동하는 경우 (엔진이 다름). 이 경우 AWS SCT(Schema conversion Tool)를 함께 사용해야 합니다.
• 지속적 데이터 복제(CDC): 초기 데이터 로드 후 발생하는 변경 사항을 지속적으로 타켓 DB에 동기화 합니다.

자세한 설명은 아래 링크로 보고 오시길 바라겠습니다.

https://velog.io/@dudgh2328/AWS-DMSDatabase-Migration-Service%EB%9E%80

그러면 이번엔 Logstash에 대해 간단히 알아보자

Logstash는 실시간 파이프라인 기능을 가진 오픈 소스 데이터 수집 엔진입니다.
서로 다른 소스의 데이터를 동적으로 통합하고, 데이터를 정규화(변환)하여 원하는 목적지(주로 Elasticsearch)로 전송합니다.

Logstash의 기본 아키텍처 (파이프라인)

Logstash의 핵심은 입력(Input) -> 필터(Filters), -> 출력(Outputs)으로 이어지는 파이프라인 구조 입니다.

1. Input(입력): 모든 종류의 데이터를 수집합니다. (로그, 지표, 웹 애플리케이션 등)

2. Filters(필터): 데이터를 처리하고 변환합니다. (구조화되지 않은 텍스트를 구조화, IP 주소의 지리적 위치 파악, 민감 정보 마스킹 등)

3. Outputs(출력): 정제된 데이터를 저장소로 보냅니다. (Elasticsearch, AWS S3, 파일, kafka 등)

---

그러면 이제 우리는 maria DB에서 aws opensearch 환경으로 데이터를 입력하여 opensearch 검색 엔진을 사용하려고 한다.

우선은 현재 구축된 저희의 환경을 살펴보면 EKS 사용중이고, 온프리미스 DB, VPN 구축된게 없습니다.