Presto (3)

Optimizations

Constant folding

• 상수 폴딩은 컴파일 타임에 상수 표현식을 평가함
• 런타임 시 불필요한 계산을 제거하여 성능을 향상

Column pruning

• 조건절에 해당하지 않는 컬럼을 쿼리 실행 시 제외
• 쿼리 실행에 필요한 데이터를 줄여 성능을 향상

Nested column pruning

• nested column 중에서 조건절에 해당하지 않는 column을 쿼리 실행 시 제외

Predicate pushdown

• WHERE 절을 스토리지 엔진으로 푸시하는 쿼리 최적화 기술
• DB 서버에서 처리해야 하는 데이터의 양을 줄여 성능 향상

Predicate pushdown into connectors

• 조건절을 커넥터로 전달하여 처리하므로 성능 향상

Predicate pushdown into the Hive Connector

Hive partition pruning

• 파티션 값을 기반으로 데이터를 필터링하는 작업이 포함
• 해당 테이블이 특정 컬럼으로 파티션되어지면 Hive 커넥터가 데이터를 쿼리 엔진에 반환하기 전에 조건에 해당하는 특정 컬럼 값과 동일하지 않은 모든 파티션을 정리

Hive bucket pruning

• 버킷 값을 기반으로 데이터를 필터링하는 작업이 포함
• 마찬가지로 특정 컬럼으로 버켓되면 조건에 해당하는 값과 동일하지 않은 버킷에 대해 쿼리 엔진에 반환하기 전 모든 버킷을 정리

Row group skipping for ORC and Parquet

• 조건을 충족하는 데이터가 포함되지 않은 ORC 및 Parquet 파일의 행 그룹을 건너뜀

Reference

• https://www.starburst.io/wp-content/uploads/2020/08/Presto-Training-Understanding-and-Tuning-Presto-Query-Processing.pdf