소개
클라우드 환경에서 효율적인 리소스 관리는 비용 최적화와 시스템 안정성 확보에 핵심적인 요소입니다. 특히 AWS EC2 인스턴스의 경우, 적절한 모니터링과 자동화된 관리 시스템을 구축함으로써 상당한 비용 절감과 운영 효율성을 높일 수 있습니다. 이번 프로젝트에서는 EventBridge와 Lambda를 활용하여 EC2 상태 변화를 감지하고, 미사용 인스턴스를 관리하며, 자동 시작/종료 기능을 구현한 아키텍처를 소개합니다.
아키텍처
아키텍처 개요
본 시스템은 아시아 태평양(서울) 리전(ap-northeast-2)에 구축되었으며, 크게 세 가지 핵심 프로세스로 구성되어 있습니다:
- EC2 상태 변화 감지 및 알림 시스템
- 미사용(UnderUtilized) EC2 인스턴스 감지 및 관리
- 비용 절감을 위한 EC2 자동 시작/종료 스케줄링
각 프로세스는 EventBridge, Lambda, FLOW Open API Bot 등의 AWS 서비스를 조합하여 구현되었습니다.
주요 기능 및 이점
1. EC2 상태 변화 감지 및 알림 시스템
구현 프로세스:
- EC2 인스턴스 생성
- 인스턴스 시작
- 인스턴스 재부팅
- 인스턴스 최대 절전
- 인스턴스 종료(삭제)
작동 방식:
1. EventBridge가 EC2 상태 변화 이벤트를 감지
2. Lambda 함수가 이벤트 정보를 처리
3. HTTP POST 요청을 통해 FLOW Open API Bot으로 알림 전송
이점:
- 실시간 인스턴스 상태 모니터링 가능
- 예상치 못한 인스턴스 종료나 문제 발생 시 즉각 대응 가능
- 시스템 가용성 향상 및 다운타임 최소화
- 팀 내 투명한 인프라 변경 관리 가능
2. 미사용(UnderUtilized) EC2 인스턴스 감지 및 관리
구현 프로세스:
1. 모든 실행 중인 EC2 인스턴스 조회
2. 최근 7일간의 CPU 사용률 확인
3. CPU 사용률이 1% 미만인 경우 미사용으로 간주
4. 인스턴스에 'UnderUtilized' 태그 추가
작동 방식:
1. EventBridge가 매주 특정 요일/시간에 트리거
2. Lambda Python 함수가 실행되어 EC2 인스턴스의 CloudWatch 메트릭 분석
3. 미사용으로 판단된 인스턴스에 태그 지정 및 관리자에게 알림
이점:
- 불필요한 리소스 사용 식별을 통한 비용 절감
- 리소스 낭비 방지 및 클라우드 환경 최적화
- 데이터 기반 인프라 의사결정 지원
- 자동화된 비용 최적화 프로세스 구축
3. 비용 절감을 위한 EC2 자동 시작/종료 스케줄링
구현 프로세스:
1. 평일 오전 6시 동록된 EC2 인스턴스 시작
2. 평일 오후 9시 등록된 EC2 인스턴스 종료
3. Python boto3 라이브러리를 사용한 EC2 제어
작동 방식:
1. Cron 표현식을 사용한 EventBridge 규칙이 지정된 시간에 트리거
2. Lambda 함수가 실행되어 대상 EC2 인스턴스 시작 또는 종료
3. 결과 로그 기록 및 필요시 알림 전송
이점:
- 비업무 시간 동안 불필요한 리소스 사용 방지
- 예측 가능한 스케줄링을 통한 비용 관리
- 개발/테스트 환경에 이상적인 자동화 솔루션
- 월 단위 클라우드 운영 비용 대폭 절감 (최대 70%까지 가능)
- 수동 개입 없는 자동화된 운영 환경 구축
기술적 구현 세부사항
EventBridge 구성
- 이벤트 패턴 기반 트리거 설정
- 시간 기반(Cron) 트리거 구성
- 특정 리소스 상태 변경 감지 규칙 정의
Lambda 함수
- Python 또는 Node.js 기반 함수 구현
- AWS SDK(boto3) 활용한 EC2 제어 로직
- CloudWatch 메트릭 데이터 분석 알고리즘
- 태그 기반 리소스 관리 기능
알림 시스템
- FLOW Open API Bot 연동
- JSON 형식의 구조화된 알림 메시지 설계
- 인스턴스 ID, 상태, IP 등 중요 정보 포함
- 태그 기반 인스턴스 분류 및 알림 차별화
도입 효과
이 시스템을 도입한 후 다음과 같은 효과를 얻을 수 있었습니다:
- 비용 최적화: 불필요한 인스턴스 운영 시간 감소로 인한 월 AWS 비용 약 30% 절감
- 운영 효율성: 수동 모니터링 및 관리 시간 감소로 DevOps 팀 생산성 향상
- 가시성 향상: 실시간 알림을 통한 인프라 상태 투명성 확보
- 리소스 거버넌스: 미사용 리소스 자동 식별 및 태깅으로 체계적인 클라우드 관리 가능
- 장애 대응 시간 단축: 비정상 상태 변경 즉시 감지 및 알림으로 MTTR(Mean Time To Recovery) 개선
결론
AWS EventBridge와 Lambda를 활용한 EC2 관리 시스템은 클라우드 환경에서 비용 효율성과 운영 안정성을 동시에 확보할 수 있는 효과적인 아키텍처입니다. 특히 개발/테스트 환경에서 불필요한 리소스 비용을 절감하고, 운영 환경에서는 미사용 인스턴스를 식별하여 리소스 최적화를 달성할 수 있습니다. 이러한 자동화된 관리 시스템은 DevOps 관행의 핵심 원칙인 '지속적인 모니터링과 최적화'를 실현하는 실용적인 솔루션이라 할 수 있습니다.
향후 이 시스템을 더욱 발전시켜 다양한 AWS 리소스(RDS, ELB 등)로 관리 범위를 확장하고, 머신러닝 기반의 리소스 사용 패턴 예측 기능을 추가할 계획입니다.
참고 사항
이 프로젝트는 AWS 서비스 중 EventBridge, Lambda, EC2, CloudWatch를 주로 활용하였으며, Python boto3 라이브러리와 AWS SDK를 사용하여 구현되었습니다. 실제 프로덕션 환경에 적용 시 보안 설정과 권한 관리에 주의가 필요합니다.
