# Redshift Spectrum

3개의 포스트
post-thumbnail

[AWS RedShift] 8. Redshift Spectrum으로 S3 외부 테이블 조작

📌 Redshift Spectrum으로 S3 외부 테이블 조작해 보자 1. Redshift IAM role에 AWSGlueConsoleFullAccess 권한 추가 먼저 이전 포스트에서 만든 redshift.read.s3 역할(role)에 추가적으로 AWSGlueConsoleFullAccess 권한을 주어야 한다. [AWS RedShift] 6. 벌크 업데이트 (Bulk Update) 구현 - 이전 포스트 참고 IAM 대시 보드에서 역할 -> redshift.read.s3를 선택해 준다. 그러면 다음과 같이 해당 역할에 부여된 권한 정책

2023년 5월 24일
·
0개의 댓글
·
post-thumbnail

데이터베이스 Part

📒 Amazon Aurora Aurora는 Replicas (Auto Scaling, Custom Endpoints), Serverless, Multi-Master, Global Aurora의 4가지 종류가 있다. Aurora는 RDS의 MySQL 보다 5배, Postgres 보다는 3배 성능이 좋다. 모니터링하지 않아도 10GB에서 128TB 까지 자동으로 커진다. 읽기 전용 복제본을 MySQL은 최대 5개지만 Aurora는 최대 15개를 가진다. MySQL에 비해 20% 정도 비싸지만 효율적이다. 쓰기 요청을 할 때마다 6개의 데이터 복제본을 3개의 AZ에 걸쳐 저장한다. 마스터가 작동을 하지 않을 경우 평균적으로 30초 안에 장애 조치가 이루어진다. 읽기 전용 복제본이

2022년 8월 1일
·
0개의 댓글
·

AWS RedShift

Intro Amazon Redshift 아키텍처 및 모범사례 - 김민성 솔루션즈 아키텍트(AWS) 유튜브 동영상을 기본으로 작성합니다. Amazon Redshift 일반적인 데이터웨어하우스 관리비용의 1/10 비용. RI Redshift 사용료 선납 기능. Data Lake와의 통합. 데이터레이크와의 통합 Amazon S3 DataLake와의 완전한 유기적인 관계. 초기 Datawarehouse 구성시 미래의 데이터를 고려하여 필요 이상의 노드를 구성하여 사용함. 하지만 최근 3개월의 데이터만 Redshift에 두고 3개월 이전의 데이터는 S3에 저장하는 것이 좋다. 즉, 자주 조회되지 않을 과거의 데이터를 S3 DataLake에 저장하여 관리하는 것이 좋다. Re

2022년 5월 24일
·
0개의 댓글
·