🗓 22-08-07

SQLP 3과목 이론 복습

SQLP 필기 풀이

[SQLP필기풀이]6장 고급SQL튜닝(5) 파티셔닝
- 26번 , 27 , 28 , 29 , 30 , 31 , 32
33 , 34 ,35 ,36 , 37 , 38 , 39 , 40
41 , 42번

👀 8/7 복기

[1] 배치 프로그램의 정의

✅ 배치 프로그램

• 일련의 작업들을 하나의 작업 단위로 묶어 연속적으로 일괄 처리하는 것
• 온라인 프로그램에서도 여러 작업을 묶어 처리하는 경우가 있으므로 이와 구분하려면 '사용자와의 상호작용(Interaction) 여부' 특징을 더 추가해야한다.
• 사용자와의 상호작용 없이 대량의 데이터를 처리하는 일련의 작업들을 묶어 정기적으로 반복 수행하거나
• 사용자와의 상호작용 없이 대량의 데이터를 처리하는 일련의 작업들을 묶어 정해진 규칙에 따라 자동으로 수행한다.
• 기업마다 업무 요건이 워낙 복잡 다양하므로 이 외에도 여러 가지 형태가 존재할 수 있다.
• 정기 배치 형태가 가장 일반적이다.

[2] 배치 프로그램의 종류

✅ 배치 프로그램의 종류 (수행주기 기준)

• On-Demand 배치 :: 배치 프로그램이 자동으로 수행되는 주기는 월단위, 주단위, 일단위가 보통이지만, 요즘은 주기가 점점 짧아져 종종 실시간이 요구되기도 한다. 사용자가 요청한 시점에 바로 작업을 시작한다
• 정기 배치 : 정해진 시점(주로 야간)에 실행된다.
• 이벤트성 배치 : 사전에 정의해 둔 조건이 충족되면 자동으로 실행

✅ 배치 프로그램의 종류 (작성 형태 기준)

• 절차형으로 작성된 프로그램
  • SQL 결과집합을 루프 내에서 한건씩 Fetch한다.
  • SQL을 반복해서 수행하는 형태
  • 인덱스 구성이 중요하다.
• One SQL 위주로 작성된 프로그램

[3] 배치 프로그램의 특징

• 배치 프로그램은 DW/OLAP 시스템뿐만 아니라 OLTP(온라인 트랜잭션 처리) 시스템에서도 많이 활용한다.
• 실시간에 가까운(Near Real Time) 정보 서비스 요구가 늘면서 On-Demand 배치가 늘고, 트랜잭션을 일정량 모았다가 지연(deferred) 처리하는 배치 프로그램의 활용도 느는 추세다.
• ⭐️야간 배치 프로그램을 튜닝할 때는 개별 프로그램 수행시간을 단축하기보다 전체 프로그램 수행시간을 단축하는 데 더 큰 목표를 두어야 한다⭐️
• 배치 프로그램은 항상 전체 처리속도 최적화에 목표를 두고 튜닝해야 한다.

[4] 병렬 처리에서의 데이터 재분배 방식

✅ 데이터 재분배 방식의 종류

• 데이터 재분배는 병렬 서버 프로세스 간에 데이터를 재분배하는 방식이다.
• RANGE 방식
  • order by 또는 sort group by를 병렬로 처리할 때 사용된다.
  • 첫 번째 서버 집합은 데이터를 읽어 각 프로세스마다 처리 범위(예를 들어, A~G, H~M, N~S, T~Z)를 지정하여 그 두 번째 서버 집합의 정해진 프로세스에게 “정렬 키 값에 따라 분배한다.
  • 두 번째 서버 집합은 정렬 작업을 맡는다.
  • QC는 각 서버 프로세스에게 작업 범위를 할당하고 정렬 작업에는 직접 참여하지 않는다.
    정렬이 완료되고 나면 순서대로 결과를 받아서 사용자에게 전송한다.
• BROADCAST 방식
  • QC 또는 첫 번째 서버 집합에 속한 프로세스들이 각각 읽은 데이터를 두 번째 서버 집합에 속한 “모든” 병렬 프로세스에게 전송하는 방식이다.
  • 병렬 조인에서 크기가 매우 작은 테이블이 있을 때 사용한다.
• KEY 방식
  • 특정 칼럼(들)을 기준으로 테이블 또는 인덱스를 파티셔닝할 때 사용하는 분배 방식이다.
• ROUND-ROBIN 방식
  • 파티션 키, 정렬 키, 해시 함수 등에 의존하지 않고 반대편 병렬 서버에 무작위로 데이터를 분배할 때 사용한다.
• HASH 방식
  • 조인이나 hash group by를 병렬로 처리할 때 사용된다.
  • 조인 키나 group by 키 값을 해시 함수에 적용하고 리턴된 값에 따라 데이터를 분배하는 방식이다.

[5] 병렬 처리에서의 Granule

✅ 병렬처리에서의 Granule

• 데이터를 병렬로 처리할 때 일의 최소 단위를 'Granule'이라고 한다.
• 병렬 서버는 한 번에 하나의 Granule씩만 처리한다.
• 블록 기반 Granule(=블록 범위 Granule)
  • QC가 테이블로부터 읽어야 할 일정 범위(Range)의 블록을 각 병렬 프로세스에게 할당한다.
  • 병렬 프로세스가 한 Granule에 대한 일을 끝마치면 이어서 다른 Granule을 할당한다.
  • 따라서 프로세스 간 처리량에 편차가 거의 발생하지 않는다.
  • ⭐️파티션 여부, 파티션 개수와 무관하게 병렬도를 지정할 수 있다.⭐️
  • ⭐️병렬 Full Table Scan은 블록 기반 Granule이므로 파티션 개수보다 큰 병렬도를 지정해도 상관없다.⭐️
• 파티션 기반 Granule(파티션 Granule)
  • 한 파티션에 대한 작업을 한 프로세스가 모두 처리한다.
  • Partition-Wise 조인 시
  • 파티션 인덱스를 병렬로 스캔할 때(Index Range Scan, Index Full Scan)
  • 파티션 인덱스를 병렬로 갱신할 때
  • 파티션 테이블 또는 파티션 인덱스를 병렬로 생성할 때
  • 한 파티션을 두 개 프로세스가 함께 처리할 수 없다.
  • 병렬도를 파티션 개수보다 크게 지정하면 서버 리소스를 낭비하게 된다.
  • 병렬도를 파티션 개수 이하로 지정할 때는 블록 기반 Granule과 마찬가지로 먼저 일을 마친 프로세스에게 다음 파티션을 할당한다.
  • 처리할 파티션이 없을 때 먼저 일을 끝마친 프로세스는 다른 프로세스가 일을 마칠 때까
    지 기다리게 되므로 파티션간 데이터양에 편차가 심할 때 리소스를 낭비하게 된다.

[6] 병렬 조인 종류

참고링크

✅ Full Partition Wise 조인

• 
• 같은 기준으로 파티션된 두 테이블을 조인할 때 사용하는 병렬 조인 방식
• 양쪽 테이블을 같은 기준으로 파티션하기 위해 데이터를 재분배할 필요가 없다.
• 병렬 프로세스를 2배수로 할당하지 않는다. 즉 , 하나의 서버집합만 필요하다.
• 파티션 기반 병렬처리이므로 파티션 갯수 이하로 병렬도를 제한한다.

✅ Partial Partition Wise 조인

• 
• 첫 서버 집합이 비 파티션 테이블을 파티션 테이블 기준으로 동적 파티셔닝한다.
• 두 개의 서버집합이 필요하다.(Partition degree * 2 개 Process)
• 각 서버집합 간 데이터 통신이 발생한다.

[6] 병렬 처리시 파티셔닝 힌트

✅ pq_distribute 사용법

• pq_distribute(inner, none, none)
  • Full-Partition Wise Join으로 유도할 때 사용
  • 당연히, 양쪽 테이블 모두 조인 칼럼에 대해 같은 기준으로 파티셔닝(equi-partitioning) 돼 있을 때만 작동한다.
• pq_distribute(inner, partition, none)
  • Partial-Partition Wise Join으로 유도할 때 사용
  • outer 테이블을 inner 테이블 파티션 기준에 따라 파티셔닝하라는 뜻이다.
  • 당연히, inner 테이블이 조인 키 칼럼에 대해 파티셔닝 돼 있을 때만 작동한다.
• pq_distribute(inner, none, partition)
  • Partial-Partition Wise Join으로 유도할 때 사용
  • inner 테이블을 outer 테이블 파티션 기준에 따라 파티셔닝하라는 뜻이다.
  • 당연히, outer 테이블이 조인 키 칼럼에 대해 파티셔닝 돼 있을 때만 작동한다.
• pq_distribute(inner, hash, hash)
  • 조인 키 칼럼을 해시 함수에 적용하고 거기서 반환된 값을 기준으로 양쪽 테이블을 동적으로 파티셔닝하라는 뜻이다.
  • 조인되는 테이블을 둘 다 파티셔닝해서 파티션 짝(Partition Pair)을 구성하고서 Partition Wise Join을 수행한다.
• pq_distribute(inner, broadcast, none)
  • outer 테이블을 Broadcast 하라는 뜻이다.
• pq_distribute(inner, none, broadcast)
  • inner 테이블을 Broadcast 하라는 뜻이다.