# S3
CodePipeline Error
\-> 깃허브 buildspec.yml 파일 변경 후 해결artifacts files가 지정이 안되어있었음왜인지 imagedefinitions.json 파일을 못찾는다고 떠서 깃허브 코드를 images.json에서 imagedefinitions.json로 변경

S3 Replication(복제 규칙)
S3 버킷 간 객체를 자동으로 복제하는 기능을 말한다.서로 다른 리전의 버킷으로 객체 복제지리적으로 가까운 액세스가 필요한 경우재해복구(DR)동일 리전의 버킷으로 객체 복제동일한 데이터를 사용하는 프로덕션과 테스트계정 간의 복제법적 준수사항으로 같은 리전 내 데이터 복
S3 to RDS
### PostgreSQL DB RDS로 Amazon S3 데이터 가져오기 > Amazon S3를 RDS for PostgreSQL DB 인스턴스와 함께 사용하려면 먼저 aws_s3 확장을 설치해야함 - RDS ⇒ RDB (row 기반) - S3 ⇒ parque
액세스 로깅(Access Logs)
S3 버킷의 모든 활동(접속, 읽기, 쓰기, 변경 등)을 파일로 만들어 S3버킷에 저장감사 목적으로 활용로그 분석을 위해 Amazon Athena 등의 분석도구 사용가능원본 버킷과 다른 버킷에 만들어야 로그파일이 무한 생성되지 않음logs 생성을 위한 버킷을 만듬, 같
Github Action에서 CodeDeploy를 이용해서 EC2에 Deploy 해보자
CodeDeploy를 이용해서 S3에 복사된 파일을 EC2에 Deploy되도록 Github action을 설정해 본다. CodeDeploy Application 생성 AWS > CodeDeploy검색해서 Application을 생성한다. Application nam
Github action to upload S3
Github action을 이용해서 S3에 빌드한 jar 파일을 업로드할 수 있도록 설정해 보자. github action을 새로 생성해 보자 .github/workflow/develop.yml secret 설정 먼저 사용할 환경을 생성 해야 한다. settings
S3 Bucket 생성
Github Action에서 생성된 파일을 업로드할 S3 bucket을 생성해 보자. S3를 검색하고 Create Bucket 선택하고, 별다른 값을 설정할 필요없이 기본값을 그대로 이용하면 된다. public access는 하지 못하도록 막아 둔다. 이후에 S3에
S3 VPC endpoint 접근 제한
aws 내부망을 통해 public access point에 접근할 수 있습니다.EC2 instances가 private subnet에 올라가있고, 인스턴스들이 s3와 상호작용하는 과정이 private해야하고, VPC에서만 접근 가능 하여야할 때 S3 bucket pol

CLOUD 운영환경 구성 ☁️
spring - webflux까지의 과정이 종료되고 이제 본격적으로 클라우드 서비스에 대한 내용을 학습했다. 아직 section3에서 배웠던 spring MVC 과정의 정리 끝나지 않았지만 매우 중요한 내용이기때문에 우선적으로 학습한 내용을 정리했다.서버가 요청에 대한

S3 버킷 정책
조건에 따라 버킷에 엑세스를 부여/제한특정 aws리소스에서만 엑세스 허용다른 aws계정에 버킷 액세스 권한 부여(교차 계정 액세스 권한)많이 사용정적 웹사이트 많이 사용기본적으로 퍼블릭 액세스 차단버킷이나 객체레벨에서 권한 부여ACL보다는 버킷 정책을 많이 사용
S3 객체 암호화
서버측 암호화: 데이터가 서버에 저장되기 전 암호화Amazon S3 관리형 키(SSE-S3)KMS 관리(SSE-KMS)sse-c: 사용자가 관리, 데이터 전송 시 HTTPS 반드시 사용클라이언트측 암호화: 데이터를 전송하기 전 암호화전송 중 암호화: SSL/TLS를 이
스토리지 유형
S3는 AWS의 오브젝트 스토리지 서비스로, 백업, 복원, 재해 복구, 아카이브, 클라우드 스토리지, 정적 웹사이트 호스팅 등에 사용됩니다.오브젝트 스토리지: 이것은 데이터를 오브젝트라고하는 개별 단위로 저장합니다. 각 오브젝트는 데이터, 메타데이터, 고유 식별자로 구

[AWS RedShift] 8. Redshift Spectrum으로 S3 외부 테이블 조작
먼저 이전 포스트에서 만든 redshift.read.s3 역할(role)에 추가적으로 AWSGlueConsoleFullAccess 권한을 주어야 한다.\[AWS RedShift] 6. 벌크 업데이트 (Bulk Update) 구현 - 이전 포스트 참고IAM 대시 보드에서

spark, s3 connection
본 포스트는 jhleeeme님의 Spark에서 S3 데이터 읽어오기를 참고했습니다. 링크 설치 및 수행 Hadoop-AWS.jar, AWS-java.jar 다운 Hadoop-AWS.jar는 나의 hadoop 버전인 3.3.3을 AWS-java.jar는 최신 버전을 설치

[Spring] AWS S3 생성 & SpringBoot 연동
(1). bulid.gradle에 추가(2). application.properties에 추가(3). S3Config 클래스 추가(4). S3Uploader 클래스 추가(5). Controller 적용\~~Mapping에서 consumes으로 미디어 타입을 명시해준다.
s3 access error
s3에서 퍼블릭 액세스 차단을 활성화 한 후 버킷 정책을 설정했는데 접근 안될 때해결방법접근하려는 ec2에 들어가서 aws configure를 해당 user-role에 access key로 변경해주기