1. CloudTrail

https://docs.aws.amazon.com/ko_kr/awscloudtrail/latest/userguide/cloudtrail-user-guide.html

CloudTrail은 AWS에서 제공하는 서비스로, AWS 계정의 관리, 규정 준수, 운영 및 위험 감사를 지원합니다. 이 서비스는 AWS에서 발생한 모든 작업을 기록하고 추적하여 관리자들이 이를 검토할 수 있게 합니다.

사용자, 역할 및 서비스가 AWS Management Console, AWS Command Line Interface (CLI), AWS SDK, API 등을 통해 수행한 모든 작업을 포함하여 이벤트를 기록합니다. 이를 통해 AWS에서 서비스되는 모든 활동을 모으고 분석할 수 있으며, 이를 통해 리소스 변경 추적 등을 수행할 수 있습니다.

<CloudTrail의 세 가지 유형의 이벤트>

• 관리 이벤트 :
  계정 리소스에서 수행되는 관리 작업에 대한 정보를 제공합니다. 예를 들어, EC2 인스턴스 생성, S3 버킷 삭제와 같은 관리적 작업을 추적합니다.

• 데이터 이벤트 :
  리소스에서 수행되는 데이터 작업에 대한 정보를 제공합니다. 예를 들어, S3 버킷에서 파일 업로드, 다운로드와 같은 데이터 작업을 추적합니다.

• Insights 이벤트 :
  계정에서 발생한 비정상적인 활동에 대한 기록을 제공합니다. 예를 들어, 계정의 보안 설정 변경 또는 비정상적인 액세스 시도와 같은 활동을 식별합니다.
  
  
  

2. CloudWatch

https://aws.amazon.com/ko/cloudwatch/

CloudWatch는 AWS에서 제공하는 관리 서비스로, AWS의 자원과 애플리케이션을 모니터링하는 데 사용됩니다. 이 서비스는 모니터링하는 모든 자원의 로그와 지표 정보를 수집하고 시각화하여 제공합니다.

• 지표(Metrics) :
  언제 어떤 항목의 값이 무엇이었는지를 기록한 값으로, 예를 들어, EC2 인스턴스의 CPU 사용량, 네트워크 전송량, Auto Scaling 그룹이 관리하는 인스턴스 수 등이 있습니다.

• CloudWatch Logs :
  로그 이벤트, 로그 스트림, 로그 그룹과 같은 개념들로 구성됩니다.

• 로그 이벤트(Log Events) :
  로그를 기록하는 애플리케이션이나 자원에서 기록된 로그의 한 줄을 의미합니다.

• 로그 스트림(Log Streams) :
  동일한 소스에서 기록된 로그 이벤트들을 시간순으로 모아둔 스트림을 나타냅니다.

• 로그 그룹(Log Groups) :
  동일한 보존 기간, 모니터링 설정, 액세스 제어 설정 등을 공유하는 로그 스트림의 그룹을 정의합니다.

또한, CloudWatch를 사용하면 특정 기준이 충족되면 Amazon EC2 인스턴스를 중지, 시작 또는 종료하도록 경보 작업을 구성할 수 있습니다.

3. 차이점

CloudTrail:

목적 : AWS 계정의 관리, 규정 준수, 운영 및 위험 감사를 지원하는 서비스입니다.

주요 기능:

• AWS 계정에서 발생한 모든 작업을 기록하고 추적합니다.

• 관리 이벤트, 데이터 이벤트, Insights 이벤트와 같이 세 가지 유형의 이벤트를 제공합니다.

• 관리적 작업, 데이터 작업, 비정상적인 활동 등의 이벤트를 기록하고 분석하여 보안 및 운영을 강화합니다.

CloudWatch:

목적: AWS의 자원과 애플리케이션을 모니터링하고, 로그 및 지표 정보를 수집하여 제공하는 관리 서비스입니다.

주요 기능:

• 모니터링하는 자원의 로그 및 지표 정보를 수집하고 시각화하여 제공합니다.

• 지표는 어떤 항목의 값이 언제 어떤 것이었는지를 기록하며, 예를 들어, CPU 사용량, 네트워크 전송량과 같은 지표를 제공합니다.

• 로그는 로그 이벤트, 로그 스트림, 로그 그룹으로 구성되며, 로그 이벤트는 로그를 기록한 애플리케이션 또는 자원의 한 줄을 나타냅니다.

• CloudWatch는 특정 기준이 충족되면 Amazon EC2 인스턴스를 중지, 시작 또는 종료하도록 경보 작업을 설정할 수 있습니다.

비교:

• CloudTrail은 주로 AWS 계정의 활동을 추적하고 감사하는 데 사용되며, 보안 및 규정 준수를 강화하는 데 중점을 둡니다.

• CloudWatch는 AWS의 자원과 애플리케이션을 모니터링하고, 운영 및 성능을 추적하며, 로그 및 지표 정보를 제공하여 시스템의 상태를 파악하는 데 사용됩니다.

---

📌 1. CloudTrail 추적 생성

설정한 내용을 확인하고 [추적 생성] 버튼을 클릭

추적이 생성된 것을 확인

로그 그룹이 생성된 것을 확인

S3 버킷이 생성된 것을 확인

2. 기본 VPC 생성

3. VPC-Flow-Logs 설정

1) IAM 정책 생성

2) IAM 역할 생성

내용 확인 후 [역할 생성] 버튼을 클릭

Service 항목을 vpc-flow-logs.amazonaws.com 로 변경한 후 [정책 업데이트] 버튼을 클릭

3) CloudWatch 로그 그룹 생성

4) VPC 플로우 로그를 생성

5) 첫번째 가용영역에 만들어진 서브넷에 플로우 로그를 설정

4. CloudWatch에 CloudTrail 관련 로그 스트림이 생성되었는지 확인

CloudWatch에서 로그 스트림은 로그 데이터가 저장되는 개별적인 단위입니다. CloudTrail과 같은 AWS 서비스의 로그 데이터를 수신하면 이러한 데이터는 로그 스트림으로 생성됩니다.

5. EC2 인스턴스에 CloudWatch Agent를 설치

1) EC2 인스턴스 생성

나머지 설정을 그대로 유지한 상태에서 [인스턴스 시작] 버튼을 클릭

2) 역할 생성

나머지 설정을 확인하고 [역할 생성] 버튼을 클릭

3) EC2 인스턴스에 역할을 부여(수정)

4) EC2 인스턴스에 CloudWatch Agent 설치

https://docs.aws.amazon.com/ko_kr/AmazonCloudWatch/latest/monitoring/install-CloudWatch-Agent-commandline-fleet.html

(1) 패키지 다운로드 링크 확인

인스턴스 연결한 후

(2) 패키지 다운로드

ubuntu@ip-172-31-9-148:~$ wget https://amazoncloudwatch-agent.s3.amazonaws.com/ubuntu/amd64/latest/amazon-cloudwatch-agent.deb

(3) 패키지 설치

ubuntu@ip-172-31-9-148:~$ sudo dpkg -i -E ./amazon-cloudwatch-agent.deb

(4) 에이전트 설정

ubuntu@ip-172-31-9-148:~$ cd /opt/aws/amazon-cloudwatch-agent/bin/
ubuntu@ip-172-31-9-148:/opt/aws/amazon-cloudwatch-agent/bin$ sudo ./amazon-cloudwatch-agent-config-wizard

================================================================
= Welcome to the Amazon CloudWatch Agent Configuration Manager =
=                                                              =
= CloudWatch Agent allows you to collect metrics and logs from =
= your host and send them to CloudWatch. Additional CloudWatch =
= charges may apply.                                           =
================================================================
On which OS are you planning to use the agent?
1. linux
2. windows
3. darwin
default choice: [1]:
1
Trying to fetch the default region based on ec2 metadata...
I! imds retry client will retry 1 timesAre you using EC2 or On-Premises hosts?
1. EC2
2. On-Premises
default choice: [1]:
1
Which user are you planning to run the agent?
1. cwagent
2. root
3. others
default choice: [1]:
2
Do you want to turn on StatsD daemon?
1. yes
2. no
default choice: [1]:
2
Do you want to monitor metrics from CollectD? WARNING: CollectD must be installed or the Agent will fail to start
1. yes
2. no
default choice: [1]:
2
Do you want to monitor any host metrics? e.g. CPU, memory, etc.
1. yes
2. no
default choice: [1]:
1
Do you want to monitor cpu metrics per core?
1. yes
2. no
default choice: [1]:
2
Do you want to add ec2 dimensions (ImageId, InstanceId, InstanceType, AutoScalingGroupName) into all of your metrics if the info is available?
1. yes
2. no
default choice: [1]:
1
Do you want to aggregate ec2 dimensions (InstanceId)?
1. yes
2. no
default choice: [1]:
2
Would you like to collect your metrics at high resolution (sub-minute resolution)? This enables sub-minute resolution for all metrics, but you can customize for specific metrics in the output json file.
1. 1s
2. 10s
3. 30s
4. 60s
default choice: [4]:
4
Which default metrics config do you want?
1. Basic
2. Standard
3. Advanced
4. None
default choice: [1]:
2
Current config as follows:
{
        "agent": {
                "metrics_collection_interval": 60,
                "run_as_user": "root"
        },
        "metrics": {
                "append_dimensions": {
                        "AutoScalingGroupName": "${aws:AutoScalingGroupName}",
                        "ImageId": "${aws:ImageId}",
                        "InstanceId": "${aws:InstanceId}",
                        "InstanceType": "${aws:InstanceType}"
                },
                "metrics_collected": {
                        "cpu": {
                                "measurement": [
                                        "cpu_usage_idle",
                                        "cpu_usage_iowait",
                                        "cpu_usage_user",
                                        "cpu_usage_system"
                                ],
                                "metrics_collection_interval": 60,
                                "totalcpu": false
                        },
                        "disk": {
                                "measurement": [
                                        "used_percent",
                                        "inodes_free"
                                ],
                                "metrics_collection_interval": 60,
                                "resources": [
                                        "*"
                                ]
                        },
                        "diskio": {
                                "measurement": [
                                        "io_time"
                                ],
                                "metrics_collection_interval": 60,
                                "resources": [
                                        "*"
                                ]
                        },
                        "mem": {
                                "measurement": [
                                        "mem_used_percent"
                                ],
                                "metrics_collection_interval": 60
                        },
                        "swap": {
                                "measurement": [
                                        "swap_used_percent"
                                ],
                                "metrics_collection_interval": 60
                        }
                }
        }
}
Are you satisfied with the above config? Note: it can be manually customized after the wizard completes to add additional items.
1. yes
2. no
default choice: [1]:
1
Do you have any existing CloudWatch Log Agent (http://docs.aws.amazon.com/AmazonCloudWatch/latest/logs/AgentReference.html) configuration file to import for migration?
1. yes
2. no
default choice: [2]:
2
Do you want to monitor any log files?
1. yes
2. no
default choice: [1]:
2
Do you want the CloudWatch agent to also retrieve X-ray traces?
1. yes
2. no
default choice: [1]:
2
Existing config JSON identified and copied to:  /opt/aws/amazon-cloudwatch-agent/etc/backup-configs
Saved config file to /opt/aws/amazon-cloudwatch-agent/bin/config.json successfully.
Current config as follows:
{
        "agent": {
                "metrics_collection_interval": 60,
                "run_as_user": "root"
        },
        "metrics": {
                "append_dimensions": {
                        "AutoScalingGroupName": "${aws:AutoScalingGroupName}",
                        "ImageId": "${aws:ImageId}",
                        "InstanceId": "${aws:InstanceId}",
                        "InstanceType": "${aws:InstanceType}"
                },
                "metrics_collected": {
                        "cpu": {
                                "measurement": [
                                        "cpu_usage_idle",
                                        "cpu_usage_iowait",
                                        "cpu_usage_user",
                                        "cpu_usage_system"
                                ],
                                "metrics_collection_interval": 60,
                                "totalcpu": false
                        },
                        "disk": {
                                "measurement": [
                                        "used_percent",
                                        "inodes_free"
                                ],
                                "metrics_collection_interval": 60,
                                "resources": [
                                        "*"
                                ]
                        },
                        "diskio": {
                                "measurement": [
                                        "io_time"
                                ],
                                "metrics_collection_interval": 60,
                                "resources": [
                                        "*"
                                ]
                        },
                        "mem": {
                                "measurement": [
                                        "mem_used_percent"
                                ],
                                "metrics_collection_interval": 60
                        },
                        "swap": {
                                "measurement": [
                                        "swap_used_percent"
                                ],
                                "metrics_collection_interval": 60
                        }
                }
        }
}
Please check the above content of the config.
The config file is also located at /opt/aws/amazon-cloudwatch-agent/bin/config.json.
Edit it manually if needed.
Do you want to store the config in the SSM parameter store?
1. yes
2. no
default choice: [1]:
2
Program exits now.

(5) 에이전트 실행

ubuntu@ip-172-31-9-148:/opt/aws/amazon-cloudwatch-agent/bin$ sudo mkdir -p /usr/share/collectd/

ubuntu@ip-172-31-9-148:/opt/aws/amazon-cloudwatch-agent/bin$ sudo touch /usr/share/collectd/types.db

ubuntu@ip-172-31-9-148:/opt/aws/amazon-cloudwatch-agent/bin$ sudo ./amazon-cloudwatch-agent-ctl -a fetch-config -m ec2 -c file:/opt/aws/amazon-cloudwatch-agent/bin/config.json -s

(6) CloudWatch에서 사용자 지정 네임 스페이스에 CWAgent 지표가 추가되었는지 확인

5) EC2 인스턴스의 웹 서버 접속 로그를 CloudWatch로 전달

(1) EC2 인스턴스에 아파치 웹 서버를 설치

ubuntu@ip-172-31-9-148:/opt/aws/amazon-cloudwatch-agent/bin sudo apt-get install -y apache2

(2) 로그 그룹 생성

(3) CloudWatch Agent 설정을 변경

ubuntu@ip-172-31-9-148:/opt/aws/amazon-cloudwatch-agent/bin$ sudo vi config.json

{
        "agent": {
                "metrics_collection_interval": 60,
                "run_as_user": "root"
        },
       👉 "logs": {
                "logs_collected": {
                        "files": {
                                "collect_list": [
					{
                                        "file_path": "/var/log/apache2/access.log",
                                        "log_group_name": "rookies_inst_ec2_web_logs",
                                        "log_stream_name": "access_logs"
					}
                                ]
                        }
                }
        }, 👈 이거 추가하기 
        "metrics": {
		... (생략) ...

(4) 에이전트 종류 후 재시작

ubuntu@ip-172-31-9-148:/opt/aws/amazon-cloudwatch-agent/bin$ sudo ./amazon-cloudwatch-agent-ctl -m ec2 -a stop

** processing amazon-cloudwatch-agent **
ubuntu@ip-172-31-9-148:/opt/aws/amazon-cloudwatch-agent/bin$ sudo ./amazon-cloudwatch-agent-ctl -a fetch-config -m ec2 -c file://opt/aws/amazon-cloudwatch-agent/bin/config.json -s

** processing amazon-cloudwatch-agent **
I! Trying to detect region from ec2 D! [EC2] Found active network interface I! imds retry client will retry 1 timesSuccessfully fetched the config and saved in /opt/aws/amazon-cloudwatch-agent/etc/amazon-cloudwatch-agent.d/file_config.json.tmp
Start configuration validation...
2024/04/29 06:06:44 Reading json config file path: /opt/aws/amazon-cloudwatch-agent/etc/amazon-cloudwatch-agent.d/file_config.json.tmp ...
2024/04/29 06:06:44 I! Valid Json input schema.
2024/04/29 06:06:44 D! ec2tagger processor required because append_dimensions is set
2024/04/29 06:06:44 D! delta processor required because metrics with diskio or net are set
2024/04/29 06:06:44 D! ec2tagger processor required because append_dimensions is set
2024/04/29 06:06:44 Configuration validation first phase succeeded
I! Detecting run_as_user...
I! Trying to detect region from ec2
D! [EC2] Found active network interface
I! imds retry client will retry 1 times
/opt/aws/amazon-cloudwatch-agent/bin/amazon-cloudwatch-agent -schematest -config /opt/aws/amazon-cloudwatch-agent/etc/amazon-cloudwatch-agent.toml
Configuration validation second phase succeeded
Configuration validation succeeded
amazon-cloudwatch-agent has already been stopped

(5) CloudWatch에서 아파치 접속 로그를 확인

6. 대시보드 설정

7. 경보(alert) 설정

설정 내용 확인 후 [경보 생성] 버튼을 클릭

구독 승인 안내 메일 수신 여부 확인 후 구독 승인을 처리

경보 확인

8. 대시보드에 경보를 추가

9. S3로 전송

버컷에 폴더를 생성

{
	"Version": "2012-10-17",
	"Statement": [
		{
			"Sid": "AWSCloudTrailAclCheck20150319-0882ce1a-2d45-4557-a10a-f7a7a316ebb3",
			"Effect": "Allow",
			"Principal": {
				"Service": "cloudtrail.amazonaws.com"
			},
			"Action": "s3:GetBucketAcl",
			"Resource": "arn:aws:s3:::rookies-inst-cloudtrail-logs",
			"Condition": {
				"StringEquals": {
					"AWS:SourceArn": "arn:aws:cloudtrail:ap-northeast-2:471112797705:trail/rookies_inst_cloudtrail"
				}
			}
		},
		{
			"Sid": "AWSCloudTrailWrite20150319-69bc4745-723c-456f-bdc4-6bbafbc3e7fd",
			"Effect": "Allow",
			"Principal": {
				"Service": "cloudtrail.amazonaws.com"
			},
			"Action": "s3:PutObject",
			"Resource": "arn:aws:s3:::rookies-inst-cloudtrail-logs/AWSLogs/471112797705/*",
			"Condition": {
				"StringEquals": {
					"s3:x-amz-acl": "bucket-owner-full-control",
					"AWS:SourceArn": "arn:aws:cloudtrail:ap-northeast-2:471112797705:trail/rookies_inst_cloudtrail"
				}
			}
		},
		{
			"Effect": "Allow", 
			"Principal": {
				"Service": "logs.ap-northeast-2.amazonaws.com"
			},
			"Action": "s3:GetBucketAcl",
			"Resource": "arn:aws:s3:::rookies-inst-cloudtrail-logs"
		}, 
		👉{
			"Effect": "Allow", 
			"Principal": {
				"Service": "logs.ap-northeast-2.amazonaws.com"
			},
			"Action": "s3:PutObject",
			"Resource": "arn:aws:s3:::rookies-inst-cloudtrail-logs/vpc-flow-logs/*",
			"Condition": {
				"StringEquals": {
					"s3:x-amz-acl": "bucket-owner-full-control"
				}
			}
		}👈
	]
}

CloudWatch에서 로그 그룹을 S3 버킷으로 전달

S3 버킷 확인

10. 리소스 정리

1) EC2 인스턴스 종료 및 키페어 삭제

2) SNS 구독 삭제 후 주제 삭제

3) CloudWatch 경보 삭제

4) VPC 삭제

5) CloudTrail 추적 삭제

6) CloudWatch 로그 그룹과 대시 보드 삭제

7) S3 버킷 비우고 삭제

8) IAM 역할, 정책 삭제