1. CloudWatch logs 주요기능
1.로그 구조
- 로그 그룹(Log Groups)
로그를 조직화하는 단위로, 일반적으로 애플리케이션을 나타내는 이름을 사용합니다. - 로그 스트림(Log Stream)
애플리케이션 내의 개별 인스턴스, 로그 파일 또는 컨테이너에 해당하는 세부 단위를 뜻합니다.
2. 로그 만료 정책
- 로그의 보관 기간을 설정할 수 있습니다
예: 영구 보관, 1일 ~ 10년까지 설정 가능합니다.
3. 로그 전송 대상
CloudWatch Logs는 로그를 수집한 다음 여러 대상으로 전송해 응용할 수 있습니다.
-
Amazon S3 : 로그 데이터 내보내기(export)하여 저장
-
Kinesis Data Streams : 실시간 데이터 스트림 처리
-
Kinesis Data Firehose : 실시간 로그 데이터를 S3, Redshift, OpenSearch로 전송
-
AWS Lambda : 이벤트 기반의 로그 처리
-
Amazon OpenSerach : 로그 데이터를 검색 및 분석
4. 보안
- 로그는 기본적으로 암호화 되어 저장됩니다.
- KMS 기반 암호화를 설정하여 사용자 정의 키를 사용할 수 있습니다.
2. CloudWatch Logs - 주요 로그 소스
1. 에이전트 및 SDK
- AWS SDK: 애플리케이션 코드에서 직접 로그를 전송.
- CloudWatch Logs Agent: 서버 및 애플리케이션에서 로그 파일을 수집하여 CloudWatch로 전송.
- CloudWatch Unified Agent: 로그와 함께 시스템 지표를 통합적으로 수집.
2. 서비스 별 로그 소스
- Elastic Beanstalk: 애플리케이션 및 환경에서 생성된 로그를 수집.
- ECS (Elastic Container Service): 컨테이너 로그를 수집.
- AWS Lambda: 함수 실행 시 생성된 로그를 수집.
- VPC Flow Logs: VPC(가상 사설 클라우드)의 네트워크 트래픽에 대한 로그를 수집.
- API Gateway: API 호출 및 관련 이벤트 로그 수집.
- CloudTrail: 필터를 기반으로 관리 및 데이터 이벤트 로그 수집.
- Route 53: DNS 쿼리 로그를 수집하여 분석 가능.
이 소스들을 활용하면 AWS 환경 내 다양한 로그 데이터를 통합적으로 관리하고 분석할 수 있습니다. 각 소스의 특성을 이해하고 필요한 로그를 설정하면 더 효과적인 모니터링 및 문제 해결이 가능합니다.
3. CloudWatch Logs Subscriptions (구독)
1. 주요 기능
- 실시간 로그 이벤트 전송
CloudWatch Logs에서 발생하는 로그 이벤트를 실시간으로 캡처하여 외부로 전송 및 처리.
2. 로그 전송 대상
로그 데이터를 실시간으로 다음 서비스로 전송 가능
- Kinesis Data Streams: 실시간 스트리밍 데이터 처리.
- Kinesis Data Firehose: 로그 데이터를 S3, Redshift, 또는 OpenSearch로 저장.
- AWS Lambda: 이벤트 기반으로 로그 데이터를 처리.
3. Subscription Filter
필터링 조건
- 구독 필터를 설정하여 필요한 로그 이벤트만 지정된 대상에 전송.
- 예: 특정 오류 코드 또는 메시지 패턴에 해당하는 로그만 필터링하여 전송.
Amazon CloudWatch Logs는 다중 계정(Multi-Account) 및 다중 리전(Multi-Region) 환경에서 로그를 집계(Aggregation)할 수 있는 기능을 제공합니다. 이를 통해 중앙에서 로그를 관리하고 모니터링할 수 있습니다.
Amazon CloudWatch Logs의 Cross-Account Subscription 기능은 로그 이벤트를 다른 AWS 계정의 리소스로 전송할 수 있는 강력한 기능입니다. 이를 통해 조직 내 여러 계정 간에 로그 데이터를 중앙화하거나 특정 계정으로 전달하여 처리할 수 있습니다.
아는 만큼 보인다