🎥 CloudLog – 이벤트 기반 로그 분석 플랫폼

1. 프로젝트 개요

CloudLog는 이벤트 기반 로그를 수집하고 분석하는 클라우드 지향 플랫폼입니다.

단순 CRUD 서비스가 아니라,
운영 환경에서 발생하는 로그를 수집하고 분석하는 구조를 직접 설계해보고자 시작한 프로젝트입니다.

이 프로젝트의 목표는 기능 구현이 아니라,
클라우드 환경에서 로그를 수집·저장·분석·운영해보는 경험을 쌓는 것이었습니다.

---

2. 프로젝트를 시작한 이유

클라우드 엔지니어는 단순히 서버를 배포하는 역할이 아니라,
운영 중 발생하는 로그를 기반으로 시스템 상태를 파악하고 장애를 분석하는 역할이라고 생각했습니다.

그래서 다음을 직접 경험해보고 싶었습니다:

• 이벤트 기반 데이터 설계
• 로그 수집 및 분석 구조 설계
• NoSQL 데이터 모델링
• 마이크로서비스 아키텍처 구성
• AWS 환경 실제 배포

기존 CRUD 프로젝트와 다르게,
“운영 도구”를 만들어보고자 했습니다.

---

3. 전체 아키텍처

Client
↓
Spring Boot (로그 수집 API)
↓
MongoDB (이벤트 저장)
↓
FastAPI (로그 분석)
↓
Dashboard (시각화)

역할 분리

🔹 Spring Boot

• 이벤트 로그 수집 API
• 로그 조회 API
• 사용자 인증 처리

🔹 MongoDB

• 로그를 Document 형태로 저장
• Aggregation 기반 집계 처리
• TTL Index를 통한 로그 보관 정책 실험

🔹 FastAPI

• 로그 통계 분석
• 에러 비율 계산
• 시간대별 활동 분석
• 분석 결과 API 제공

---

4. MongoDB를 선택한 이유

로그 데이터는 다음과 같은 특성이 있습니다:

• 비정형 구조
• 필드 변경 가능성 높음
• 이벤트 중심 저장 방식
• 집계 연산 빈번

이러한 특성 때문에 RDB보다 Document 기반 구조가 더 적합하다고 판단했습니다.

또한 다음을 실험해보고 싶었습니다:

• Compound Index 설계
• TTL Index 활용
• Aggregation Pipeline 최적화
• 대량 로그 집계 성능 테스트

---

5. 주요 기능

1️⃣ Dashboard

• 하루 전체 로그 수
• 에러 비율
• 시간대별 로그 그래프
• 최근 에러 로그 표시

2️⃣ Log Explorer

• 로그 필터링 (Level / Service / Date)
• 검색 기능
• 상세 로그 조회
• StackTrace 확인

3️⃣ Analytics

• 에러 유형 분포
• 평균 응답 시간
• 시간대별 활동 분석
• 가장 많이 발생한 이벤트 유형

4️⃣ Infrastructure Monitor

• EC2 CPU 사용량
• 메모리 사용량
• 네트워크 트래픽
• CloudWatch 기반 모니터링

---

6. AWS 인프라 구성

• EC2 인스턴스에 Docker 기반 배포
• Nginx Reverse Proxy 구성
• MongoDB 컨테이너 운영
• CloudWatch 연동
• Security Group 및 포트 정책 구성

단순 로컬 프로젝트가 아니라,
실제 클라우드 환경에서 동작하도록 설계했습니다.

---

7. 기술적으로 고민했던 부분

• 로그 인덱스 전략 설계
• 대량 데이터 집계 시 성능 문제
• MongoDB Aggregation 최적화
• Docker 네트워크 충돌 이슈
• CORS 설정 문제

단순 구현이 아니라,
“왜 이렇게 설계했는지”를 설명할 수 있도록 고민했습니다.

---

8. 프로젝트를 통해 얻은 것

• 이벤트 기반 사고방식
• NoSQL 데이터 모델링 경험
• 마이크로서비스 구조 이해
• AWS 배포 경험
• 운영 관점에서의 시스템 분석

CloudLog는 단순 기능 구현 프로젝트가 아니라,
클라우드 엔지니어로 성장하기 위한 실험이었습니다.

---

9. 앞으로의 계획

• 대량 로그 적재 후 성능 테스트
• Auto Scaling 실험
• Multi-AZ 구성 실험
• CI/CD 자동 배포 구성
• 장애 시나리오 테스트

인프라 중심으로 계속 확장해볼 계획입니다.