20230523 TIL - Redshift

ohyujeong·2023년 5월 23일

@data warehouse TIL data engineering redshift

TIL

목록 보기

24/27

📖 오늘의 학습

AWS Redshift

AWS Redshift

AWS에서 지원하는 데이터 웨어하우스 서비스이다.
최소 160GB로 시작해서 2PB의 데이터를 처리할 수 있다.
레코드 별로 저장하는 것이 아니라 컬럼별로 저장하여 컬럼별 압축이 가능하며, 컬럼을 추가/삭제하는것이 아주 빠르다.

데이터 웨어하우스

속도보다는 처리 용량에 중점을 둔 OLAP(Online Analytical Processing) DB이기 때문에 프로덕션 DB로 사용하는 것은 적절하지 않다. Primary key uniqueness를 보장하지 않는다.

SQL기반 관계형 데이터베이스

Postgresql 8.* 과 SQL이 호환된다. 또한 Postgresql 8.* 을 지원하는 툴이나 라이브러리 (JDBC/ODBC)로 접근이 가능하다.

사용 비용

예전에는 고정 비용 옵션만이 있었지만 최근 가변비용 옵션도 제공되고 있다. (Serverless Redshift)
아래 가격표는 고정비용 옵션 테이블이다. Dense Storage는 처리용량에, Dense Compute는 처리속도에 중점을 둔 노드이다. Managed Storage는 처리용량과 처리속도 모두 높은 노드이고 그만큼 가격도 굉장히 비싸다.

처음 AWS 계정을 생성하고 처음 Redshift Serverless를 이용한다면 3달간, 혹은 $300 까지 무료로 사용이 가능하다.

스케일링 방식

Snowflake나 BigQuery 같은 경우, 특별히 용량이 정해져있지 않고 쿼리를 처리하기 위해 사용한 리소스에 해당하는 비용을 지불하는 데 반해 Redshift는 용량이 부족해질 때마다 새로운 노드를 추가(Scale Out)하거나 노드를 업그레이드(Scale Up)하는 방식으로 스케일링을 한다. 이를 Resizing이라고 부르며 Auto Scaling 옵션을 설정하면 자동으로 이루어진다.

Snowflake나 BigQuery와 Redshift를 비교해봤을 때 전자가 더 탄력적으로 스케일하는 데이터베이스 기술이라고 볼 수 있지만, 비용의 예측이 불가하다는 단점이 있다.

레코드 분배와 저장방식

Redshift가 2대 이상의 노드로 구성되면 레코드들은 분산저장되어야 하고, 어떻게 분산 저장되어야 하는지 사용자가 정해주어야 한다.
그러기 위해서는 Diststyle , Distkey , Sortkey 이 3가지의 키워드를 알아야 한다.

Diststyle : 레코드 분배가 어떻게 이루어지는 지 결정한다. All, Even, Key 옵션이 있으며 All은 모든 노드에게 데이터를 분배하고, Even은 노드를 돌면서 고르게 분배하고, Key는 선택한 key 값에 따라 분배한다.

Distkey : Diststyle 이 key인 경우, 레코드가 어떤 컬럼을 기준으로 배포되는 지 나타낸다. key를 잘못 선택했을 경우 레코드 분포에 Skew가 발생, 즉 특정 노드에만 집중해서 데이터가 분배되는 경우 분산처리의 효율성이 사라지므로 주의해야 한다.
BigQuery나 Snowflake의 경우 시스템이 알아서 선택해주므로 이런 속성을 개발자가 지정할 필요가 없다...

Sortkey : 레코드가 한 노드 내에서 어떤 컬럼을 기준으로 정렬되는 지 나타낸다. 이는 보통 타임스탬프 필드가 된다.

레코드 분배와 저장방식 예시

CREATE TABLE my_table (
 column1 INT,
 column2 VARCHAR(50),
 column3 TIMESTAMP,
 column4 DECIMAL(18,2)
) DISTSTYLE KEY DISTKEY(column1) SORTKEY(column3);