📒 AWS(5) - RedShift

📌 RedShift

---

📌 RedShift - Setting

1. WorkGroup(작업 그룹)
   여기서 엔드포인트를 미리 Copy해두면 좋다.

2. NameSpace
   확인해보니까 이미 Default값으로 admin이 지정되어있다.
   
   없다면 관리자 보안 인증 정보 편집 설정으로 들어가서 설정해주면 된다.
   나는 따로 비밀번호를 지정해 주었다.

---

📌 RedShift - 연결 테스트

Google Colab을 사용해서 실습해보자.
준비
1. Endpoint
2. Redshift Username : admin
3. Redshift Password : Rlaahdand0411!

아래 처럼 ipython과 SQL의 버전을 맞추어주자. 현재는 특정 문제로 인해서 버전을 맞추어 주어야만 접속이 가능하다.

%load_ext sql
!pip install SQLAlchemy==1.4.47
!pip install ipython-sql==0.4.1

%sql postgresql://admin:~~~~@default-workgroup.num.us-west-2.redshift-serverless.amazonaws.com:num/dev

이렇게 진행하면 오류가 발생할 것이다. 이는 Public으로 설정해주지 않았기 때문이다.
실행 자체도 오래 걸려서 문제를 확인하는데 오래걸린다.

WorkGroup 설정으로 가면 아래 탭이 존재한다.
오른쪽 아래를 보면 퍼블릭 액세스 가능 부분이 꺼짐으로 되어있는것을 볼 수 있다.
이것으로 끝이 아니다.
같은 탭에 VPC security group의 Setting을 바꾸어 주어야 한다.

이곳으로 들어가게 되면 EC2로 넘어가는것을 알 수 있다.
여기서 보여지는 보안 그룹을 선택하여 인바운드 규칙을 변경해주면 된다.

여기서 5439는 Redshift의 포트라고 생각하면 된다.이렇게 Redshift 유형의 보안 규칙이 생성된 것을 볼 수 있다.

---

📌 Redshift - Schema

다른 기타 관계형 DB와 동일한 구조를 가진다.

• DEV
  • raw_data : ETL 결과가 들어간다.
  • analytics : ELT 결과가 들어간다.
  • adhoc : 테스트용 Table이 들어간다.
  • pii : 개인정보가 들어간다.
• 스키마 설정
• 모든 스키마를 리스트하기 : SELECT * FROM pg_namespace;

CREATE SCHEMA raw_data;
CREATE SCHEMA analytics;
CREATE SCHEMA adhoc;
CREATE SCHEMA pii;

• User 생성
• 모든 User 리스트하기 : SELECT * FROM pg_user;

CREATE USER USER_NAME PASSWORD '~~~~';

• GROUP 생성/설정
• 그룹 생성 -> CREATE GROUP GROUP_NAME;
• 그룹에 사용자 추가 -> ALTER GROUP GROUP_NAME ADD USER USER_NAME;
• 모든 그룹을 리스트하기 : SELECT * FROM pg_group;

CREATE GROUP analytics_users;
CREATE GROUP pii_users;
CREATE GROUP analaytics_authors;

ALTER GROUP analytics_authors ADD USER USER_NAME;
ALTER GROUP analytics_users ADD USER USER_NAME;
ALTER GROUP pill_users ADD USER USER_NAME;

• Role 생성/설정
  • Role은 그룹과 달리 계승 구조를 만들 수 있다.
  • Role은 사용자에게 부여될 수도 있고 다른 Role에 부여될 수도 있다.
  • 한 사용자는 다수의 Role에 소속가능하다.
• 모든 Role을 리스트하기 : SELECT * FROM SVV_ROLES;

CREATE ROLE staff;
CREATE ROLE manager;
CREATE ROLE external;

GRANT ROLE staff TO USER_NAME;
GRANT ROLE staff To ROLE manager;

---

📌 Redshift - COPY, IAM

• 각 테이블을 CREATE TABLE명령으로 raw_data 스키마 밑에 생성

• 각 테이블에 입력되는 CSV파일을 먼저 S3에 업로드

  • S3 버킷 생성 -> S3 Console

• S3에서 해당 테이블로 복사를 하기 위해서는 Redshift가 S3접근권한을 가져야함

  • IAM에서 Redshift가 S3에 접근할 수 있는 Role을 만들어야한다. -> IAM Console
  • 이 Role을 Redshift에 지정 -> Redshift Console

• S3 버킷 생성
  

• 폴더 생성
  

• csv파일 업로드
  

• S3 접근 권한 설정
  

• Redshift 권한 지정
  

---

📌 Redshift - 삭제

AWS 실습에서 가장 중요한것은 삭제이다.
공부를 하고나서 말도안되는 금액의 결제를 요구하는 것이 클라우드이다.
삭제시에 주의해야할 점이 있다.
Redshift를 생성하고 나서 서비스를 살펴보면 탄력적 IP가 자동으로 생성된것을 알 수 있다.

삭제할때는 네임 스페이스, 작업 그룹 삭제를 우선시 해야한다.
이 두 개를 삭제하는 것이 곧 Redshift의 삭제이다.

이 후 VPC, EC2, 탄력적 IP, S3를 확인하여 새로 생성된 부분들을 모두 삭제해주자.

탄력적 IP는 Redshift에 자동으로 할당되어 있어 단독으로 삭제가 불가능하니
꼭 네임스페이스와 작업 그룹을 삭제한 후에 진행하자.

---