# CloudTrail
CDN 무효화 생성 자동화 하기
상황 EKS, ArgoCD로 Web(front) 배포가 진행되고있다. web이 실행되고있는 pod 내부에 이미지 파일들이 존재. 배포 될때마다 수동으로 cloudfront에서 무효화 필요 목적 편리함을 최대화 하자 단계 ECR이 업로드 되면 slack으로 noti noti에는 버튼이 존재 버튼을 클릭하면 무효화 실행 아키텍처 step1. github action으로 ecr에 image가 업로드됨 step2. cloudtrail 로그 탐지하여 lambda 실행되어 slack noti step3. slack noti의 버튼을 클릭하면 api gateway를 호출함 step4. api gateway에 연결되어있는 lambda가 실행됨
Spark를 통한 Cloudtrail Log 데이터 분석 접근 및 시각화
1. Cloudtrail Log 데이터 활용 AWS Cloudtrail 서비스는 AWS 계정을 통해 접속한 User들의 활동 기록들을 남겨주는 서비스이다. AWS 공식 문서에는 아래와 같이 나온다. >AWS CloudTrail은 AWS 계정의 운영 및 위험 감사, 거버넌스 및 규정 준수를 활성화하는 데 도움이 되는 AWS 서비스입니다. 사용자, 역할 또는 AWS 서비스가 수행하는 작업들은 CloudTrail에 이벤트로 기록됩니다. 이벤트에는 AWS Management Console, AWS Command Line Interface 및 AWS SDK, API에서 수행되는 작업들이 포함됩니다. 단지 이용자들이 수행한 활동만이 아닌, AWS 서비스들끼리 통신하는 기록, API나 SDK를 통한 기록들까지 모두 저장이 되고 Log를 탐색해보면 알 수 있겠지만 정말 세세한 부분 하나하나까지 다 기록으로 저장이 된다. 이를 통해 AWS 리소스 이용에 대한 세세한 로그
AWS Security Workshop - AWS서비스로 SIEM 구축하기(1)
실습 목표 직접 Hands On을 통해 아래의 아키텍처를 완성 한다. 사전 실습 환경 CloudFormation으로 배포된 AWS 리소스들 이후 실습을 통해 하나씩 로그 통합 파이프라인을 구축한다. OpenSearch 보안구성 수정 도메인수준 액세스정책 구성 부분을 수정한다. 대시보드 url 이미지 
AWS 관리형 서비스
AWS 관리형 서비스 - Cloudwatch 🔹 Amazon Cloudwatch란? 관리형 AWS 리소스 모니터링 서비스 AWS 리소스의 상태에 대한 다양한 metrics 제공 대시보드 구성, 시각화 가능 SNS 서비스를 통한 알람 EC2 Custom Metric 제공 AWS 관리형 서비스 - SNS 🔹 Amazon SNS (Simple Notification Service)란? 관리형 메시지 서비스 메시지 생산자가 SNS를 통해 다양한 AWS 리소스에 메세지를 전송
[AWS] CloudTrail 알아보기
👀 CloudTrail이란? 이라는 단어는 '자취'라는 의미를 갖는데, CloudTrail은 Trail이라는 말에서 알 수 있듯이 클라우드 인프라에서 이루어지는 것들을 로깅하는 서비스이다. 쉽게 얘기하면, 회사에서 AWS를 사용한다면 각 팀원마다 IAM 계정을 생성해서 사용하도록 할 것 인데, 각 IAM 계정들이 AWS 인프라 자원에 어떠한 작업들을 했는지 기록하고 확인할 수 있다는 것이다. 💾 자세한 설명이 보고 싶다면 공식문서를 참고하자. 🔨 CloudTrail 생성하기 Clo
8일차. 모니터링 & 요금
Ⅰ. 모니터링 및 분석 1. Amazon Cloud Watch 1) 개념 Amazon CloudWatch는 다양한 지표를 모니터링 및 관리하고 해당 지표의 데이터를 기반으로 경보 작업을 구성할 수 있는 웹 서비스이다. CloudWatch는 지표를 사용하여 리소스의 데이터 포인트를 나타낸다. AWS 서비스가 지표를 CloudWatch로 전송하면 CloudWatch가 이러한 지표를 사용하여 시간 경과에 따라 성능이 어떻게 변화했는지 보여주는 그래프를 자동으로 생성한다. 2) CloudWatch 경보 CloudWatch를 사용하면 지표의 값이 미리 정의된 임계값을 상회 또는 하회할 경우 자동으로 작업을 수행하는 경보를 생성할 수 있다. 예를 들어 회사에서 개발자들이 애플리케이션 개발 또는 테스트를 위해 Amazon EC2 인스턴스를 사용한다고 하자. 개발자가 가끔 인스턴스를 중지하는 것을 잊는 경우에는 인스턴스가 계속 실행되어 요금이 발생한다. 이러한
AWS 관리 도구
Amazon CloudWatch Amazon CloudWatch는 AWS 클라우드 리소스 및 AWS에서 실행하는 어플리케이션을 모니터링하는 서비스로 지표 수집 및 추적, 로그 파일 수집 및 모니터링, 경보 설정, 리소스 변경 대응등이 가능하여 문제에 적절히 대응하고 어플리케이션 실행을 원활하게 유지 할 수 있도록 지원 AWS CloudFormation AWS CloudFormation 샘플 템플릿이나 사용자 템플릿을 생성하여 어플리케이션 실행에 필요한 aws 리소스 및 모든 종속성 또는 런타임 파라미터에 대해 기술 할 수 있고 이를 통해 프로비저닝 하는 순서나 세부 요소 파악 필요 없이 버전관리를 통해 해당 리소스를 수정하고 업데이트 가능 AWS CloudTrail AWS CloudTrail은 계정에 대한 AWS API 호출을 기록하고 로그 파일을 사용자에게 전달하는 웹 서비스로 API 호출자의 자격 증명, 호출 시간, 호출자 IP, 파라미터 등이 기록 A
cloudtrail로 s3 객체 삭제 로그 남기기
문제 상황 분석 개요 퀴즈세트를 등록하고 나서, 추가 요청이 없는데도 불구하고 이미지 로딩이 안되는 문제가 발생했다. 확인결과 s3에서 원본 파일이 삭제되었다는 것을 확인할 수 있었다. 또한, 퀴즈 세트 썸네일을 변경하고 나면 5분 뒤에 변경된 이미지도 삭제되는 현상이 발생했다. 분석 현상은, 저번주에 이미지 삭제 로직을 구축하여 업로드한 이후 발생하였다. 이미지 삭제 로직은 aws-sdk를 사용하여 s3의 deleteObjects 함수를 사용하여 삭제할 파일 목록의 key를 요청하는 방식으로 구현되어 있었다. 특이하게 함수는 promise형태의 객체가 아니었다. 콜백으로 간단한 출력 함수를 걸었지만 실제 동작 소요가 오래 걸리는 것도 확인이 되어.. 크게 중요하지는 않았다. (그래서
CloudTrail / Config
우리는 AWS리소스와 애플리케이션의 상태, 성능 , 보안수준을 관리하기 위해 AWS환경을 지속적으로 모니터링한다. 이것을 가능하게 해주는 서비스가 Cloudwatch , CloudTrail, Config다. >주로 모니터링 하는 것은 성능, 애플리케이션 문제점, 보안 문제점, 로그 이벤트, 리소스 인벤토리 관리 등이 있다. CLoudTrail >이벤트란 IAM유저, 사용자가 리소스에 대해 행한 액션이다. 이러한 이벤트(읽기 / 쓰기)를 기록하고, 액션의 종류, 영향을 받는 리소스와 리전, 액션을 위한 사용자, 액션이 취해진 시기등 상세한 내역을 수집하고 기록한다. 이러한 이벤트를 유형에 따라 관리 이벤트, 데이터 이벤트로 분류해 저장한
6. AWS - 모니터링, 스케일링
관리 이벤트, 트래픽 모니터링, 보안 그룹 규칙 진단, 오토 스케일링 등... ㅇ Amazon CloudWatch 지표 및 로그를 거의 실시간으로 수집, 경보를 생성하고 알림을 전송 규칙에 따라 리소스 용량 변경을 시작 대시보드를 생성 ㅇ 로그 유형 AWS CloudTrail: 사용자 활동 및 API 사용량을 추적 Amazon CloudWatch Logs: 로드 데이터, 저장소 및 액세스 로그 파일을 사용하여 앱 모니터링 VPC Flow Logs: 네트워크 인터페이스에서 송수신되는 IP 트래픽에 대한 정보를 수집 사용자 지정 로그: 애플리케이션 인스턴스에서 생성된 사용자 지정 로그를 저장 ㅇ CloudWatch Logs 기능 로그 스트림: 동일 소스 공유하는 로그 이벤트 시퀀스 로그 그룹: 동일한 보존 기간, 모니터링, 액세스 제어 설정 공유하는 로그 스트림의 그룹, *
AWS 강의 정리 (6)
CloudFormation when encounters an error, it will rollback with ROLLBACKINPROGRESS 너무 커서 S3를 통해서 import 해야함 At least one resource is required Infrastructure as Code (IaC) the process of managing and provisioning computer data centers automatically through machine-readable definition files(ex: json, YAML) rather than physical hardware (자기들이 원하는 규격을 코드로 관리), Resources(Mandatory) 에다가 원하는 서비스 적으면 됨 (7:26) CloudWatch A collection of monitoring services for logs, Dashboards, Al
[AWS] EFS 유휴 시 데이터 암호화 비활성화 파일 시스템 감지
개요 조직에서 특정 분류를 충족하거나 특정 애플리케이션이나 워크로드, 환경과 연결된 데이터에 유휴 암호화가 필요할 수 있습니다. AWS 계정 내에서 EFS 파일 시스템이 생성될 때 유휴 시 데이터 암호화가 비활성화된 파일 시스템이 생성된다면 경보를 트리거할 수 있습니다. 파일 시스템 생성과 관련한 이벤트 로그는 CreateFileSystem입니다. EFS 유휴 시 데이터 암호화 비활성화 파일 시스템 감지 본 글을 AWS 공식 문서 - 연습: 유휴 Amazon EFS 파일 시스템에 암호화 적용를 참고하여 작성되었습니다. 1. 추적 생성 [[AWS] CloudWatch Logs로 CloudTrail 이벤트 로그 전송 방법](https://velog.io/@khyup0629/AWS-CloudWatch-Log
CloudTrail 전송 중 암호화(퍼오기)
SSE-KMS 암호화 설정을 해야 하는가 궁금하여 검색 중 좋은 글 발견 https://junhyeong-jang.tistory.com/30
[Terraform] CloudTrail 이벤트 로그를 CloudWatch Logs로 모니터링하는 인프라 생성 자동화
개요 CloudTrail의 이벤트 로그를 CloudWatch Logs로 보내고, 이를 모니터링하는 아키텍쳐 리소스 생성을 테라폼으로 자동화 합니다. 특정 이벤트에 대해 임계치를 넘어가면 경보 상태가 되어 알림이 울리도록 설정합니다. IAM 정책이 1회 이상 변경되었을 때, 로그인 시도를 5분 동안 3회 이상 실패했을 때 경보가 울리도록 설정합니다. 아키텍처 디렉토리 구조 코드 리뷰 variables.tf 핵심은 local.metrics입니다. 이곳에 로그 그룹의 지표 필터
[AWS] IAM 정책 변경 관련 CloudTrail 이벤트에 대한 CloudWatch 경보 생성
이전 내용: 개요 IAM에 대한 접근은 굉장히 민감한 문제입니다. IAM에 대한 변경 사항이 발생하면 CloudTrail에 이벤트 로그가 남게 되는데 CloudWatch Logs로 해당 이벤트 로그가 보내졌을 때 경보를 생성할 수 있습니다. IAM 정책을 변경할 때 트리거되는 CloudWatch 경보를 생성해보겠습니다. 사전 작업 CloudWatch 로그 그룹으로 이벤트 로그를 전송하는 CloudTrail 추적을 생성해야 합니다. 전체 과정 전체 CloudTrail 이벤트 로그에서 IAM에 대한 변경 사항 이벤트 로그를 필터링하는 지표 필터 생성 지표 필터로부터 필터링 된 지표에 대한 경보 생성 > 아래 내용은 이전 내용에서 자세하게 소개되었으므로 해당 내용은 간략하게 설명합니다. 지표 필터 생성 [CloudWatch 콘솔](https://console.aws.a
[AWS] CloudTrail 로그인 실패 이벤트에 대한 CloudWatch 경보 생성
이전 내용: [AWS] CloudTrail 이벤트(보안 그룹에서 구성 변경)에 대한 CloudWatch 경보 생성 개요 5분 동안 3회 이상의 콘솔 로그인 실패가 발생할 때 트리거되는 CloudWatch 경보를 생성해보겠습니다. 사전 작업 CloudTrail에 CloudWatch Logs로 이벤트 로그를 전송하도록 하는 추적을 생성해야 합니다. 전체 과정 로그 그룹에서 지표 필터 생성 지표에 대한 경보 생성 아래 내용은 이전 내용에서 CloudTrail 이벤트에 대한 경보를 생성하는 과정을 자세하게 설명했으므로 간략하게 설명합니다. 로그
[AWS] CloudTrail에서 CloudWatch Logs로의 이벤트 전송 중지
CloudWatch Logs로의 이벤트 전송 중지 AWS 공식 문서 - CloudWatch Logs로의 이벤트 전송 중지 콘솔 CloudTrail 콘솔을 엽니다. 추적 > 추적 선택 CloudWatch Logs에서 편집을 선택합니다. 에 대한 CloudWatch 경보 생성
이전 내용: [AWS] CloudWatch Logs로 CloudTrail 이벤트 로그 전송 방법 개요 CloudTrail 이벤트에 대한 CloudWatch 경보를 생성해보겠습니다. 사전 작업 CloudWatch Logs로 이벤트를 전송하는 추적을 CloudTrail에 생성합니다. 그럼 CloudWatch 로그 그룹에 CloudTrail의 이벤트가 전송되어지는 로그 그룹이 존재하게 됩니다. 전체 과정 지표 필터 생성: CloudTrail 이벤트 로그에 대해 필터 패턴을 넣어 패턴과 일치하는 이벤트만 필터링해서 지표로 생성하는 과정. 경보 생성: 지표 필터를 통해 생성된 지표값에 대해 경보
[AWS] CloudWatch Logs로 CloudTrail 이벤트 로그 전송 방법
개요 CloudTrail의 이벤트 기록을 CloudWatch 로그 그룹으로 전달하는 방법입니다. 사전 작업 IAM 사용자에게 역할에 대한 조작을 할 수 있는 권한들이 포함된 정책을 연결합니다. IAM 사용자가 관리자 권한을 가지고 있다면 이 과정을 생략해도 됩니다. 이 과정이 필요한 이유는 아래에 CloudTrail에서 추적을 생성할 때 CloudWatch 로그 그룹에 이벤트를 성공적으로 전달하기 위한 역할을 생성하고 구성하는 과정이 있기 때문입니다. 추적 생성 일반 세부 정보 => AWS 공식 문서 - 추적 생성를 참고했습니다. 1. [CloudTrail 콘
[AWS] CloudWatch vs CloudTrail
CloudWatch DevOps 엔지니어, 개발자, SRE(사이트 안정성 엔지니어) 및 IT 관리자를 위해 구축된 모니터링 및 관찰 기능 서비스 애플리케이션을 모니터링 하고, 시스템 전반의 성능 변경 사항에 대응하며, 운영상태에 대한 통합된 보기를 확보하는 데 필요한 데이터와 실행가능한 통찰력을 제공 AWS에서 제공하는 AWS 서비스 전반에 대한 모니터링 서비스: 퍼포먼스 체크 크게 3가지 기능 (1) 로그 (2) 경보 (3) 이벤트 기타 로그를 위한 대시보드 등의 기능 제공 CloudWatch 로그 AWS 내외의 로그를 모아 보관하고 사용자에게 전달 주요 서비스들에 대한 모니터링(로그, 메트릭 등) 제공 : EC2, Autoscaling, Groups, ELB, Route53, CloudFront, EBS, Storage Gateway 등.. 주요 서비스의 출력 결과 기록 : Lambda 등..