🚀 RDB + Elasticsearch 조합 기반 데이터 플랫폼 구축 순서
1️⃣ 요구사항 분석
- 사용자(user), 투자(stake), 로그인(login), 자산(assets) 데이터 구조 정의
- 관계도(ERD) 설계
- 1:N 관계: user ↔ stake, login, assets
- 주요 조회/분석 시나리오 파악
- 기간별 투자 집계
- 유저 등급별 투자 분석
- 키워드 검색
- 로그인 이력 통계
2️⃣ RDB (마스터) 설계 & 구축
- 데이터 무결성 중심 테이블 설계
- PK / FK
- Unique / Not Null
- 적절한 인덱스 설계
- 트랜잭션 및 제약조건 적용
- 대량 데이터 대비 파티셔닝/샤딩 여부 검토
- DDL 작성 및 초기 데이터 마이그레이션
3️⃣ Elasticsearch (검색/분석) 설계 & 구축
- ES 클러스터 구성
- 샤드 / 레플리카 설계
- 적절한 자원 스펙 산정
- 인덱스 매핑 설계
- stake, login, assets, users
- denormalize 여부 결정 (ex. 등급 포함 여부)
- Kibana 대시보드 설계
4️⃣ ETL / CDC 파이프라인 설계
- 데이터 흐름 정의
- RDB → ES
- 데이터 동기화 전략
- node-cron + bulk upsert
- Kafka + Debezium (CDC)
- Logstash pipeline
- 초기 Full Sync → 이후 Incremental Sync 설계
5️⃣ API 서버 설계 & 개발
- RDB 기반 CRUD API
- users / stakes / logins / assets
- ES 기반 검색·집계 API
- 기간, 등급, 키워드 검색
- Aggregation API
- 공통 에러 처리 / 인증 / 로깅 설계
6️⃣ 프론트엔드 · 분석툴 연계
- ES 검색/집계 API 연동
- RDB 기반 CRUD API 연동
- Kibana 대시보드 구성
- UX 요소 (필터, 페이지네이션 등) 기획
7️⃣ 배포 & 모니터링
- RDB 백업/리플리케이션
- ES 스냅샷/복구 전략
- Kibana / Grafana 모니터링
- CloudWatch, Elastic APM, Prometheus 등 지표 연동
8️⃣ 성능 튜닝 & 운영 정책
- ES 색인 주기 (refresh interval, bulk threshold)
- RDB 인덱스/쿼리 최적화
- 장기 데이터 아카이빙 전략
- 장애 대응/알람 체계
한줄 요약
RDB → 데이터의 무결성 & 트랜잭션 보장
ES → 고속 검색/분석이 조합을 기반으로 데이터 흐름(ETL)과 API/분석툴을 단계적으로 구축한다.
ENFJ