🌟 데이터 모델과 성능
✅ 성능 데이터 모델링
-
DB 성능 향상을 목적으로 설계 단계의 데이터 모델링 때부터 정규화, 반정규화 등 여러가지 성능과 관련된 사항이 데이터 모델링에 반영될 수 있도록 하는 것.
-
분석/설계 단계에서 데이터 모델의 성능을 고려한 데이터 모델링을 수행한 경우 성능저하에 따른 재업무(rework) 비용을 최소화할 수 있는 기회를 가짐.
-
데이터 증가가 빠를수록 성능저하에 따른 성능개선 비용은 기하급수적으로 증가함.
✅ 성능 데이터 모델링 고려사항
- 데이터 모델링 시 정규화를 정확하게 수행.
- DB 용량 산정 수행.
- DB에 발생되는 트랜잭션의 유형을 파악.
- 용량과 트랜잭션의 유형에 따라 반정규화 수행.
- 이력모델의 조정, PK/FK 조정, 슈퍼/서브 타입 조정.
- 성능 관점에서 데이터 모델을 검증.
기본적으로 데이터는 속성 간의 함수 종속성에 근거하여 정규화되어야 한다. 또한, 정규화는 선택이 아닌 필수이다.
✅ 함수적 종속성
- 데이터들이 어떠한 기준값에 의해 종속되는 현상.
- 릴레이션(테이블) R이 있는 경우, X와 Y라는 부분집합 속성이 있다면, X의 값을 알면 Y의 값을 바로 식별할 수 있는 경우 그리고 X의 값에 Y의 값을 바꿀 수 있는 경우에 Y는 X에 함수적 종속이라고 한다.
- X : 결정자, Y : 종속자
- X → Y
✅ 정규화
- 반복적인 데이터를 분리하고 각 데이터가 종속된 테이블에 적절하게 배치되도록 하는것.
✅ 제 1정규형
- 모든 속성은 반드시 하나의 속성값을 가져야 한다.
- 엔티티에 똑같은 성격의 속성이 여러번 나열되지 않는다.
- 기본키를 사용하여 데이터의 각 집합을 고유하게 식별이 가능하다.
- 엔티티를 제 1정규형으로 만드는 것을 제 1 정규화라고 한다.
✅ 제 2정규형
- 제 1정규형 만족.
- 모든 컬럼이 부분적 종속이 없어야 함.
- 부분종속이란, 기본키 중에 특정 컬럼에만 종속되는 것을 의미한다.
Ex)
기본키 : 학생번호, 과목
일반속성 : 지도교수, 성적
과목 → 지도교수
학생번호, 과목 → 성적
* 위 엔티티는 '지도교수' 컬럼이 과목에만 종속되어 부분적 종속을 이루며, 제 2정규화 대상이 된다.
제 2정규화를 통해 테이블 분리함.
엔티티1 : 학생 번호 - 과목 → 성적
엔티티2 : 과목 → 지도교수✅ 제 3정규형
- 제 2정규형 만족.
- 기본키를 제외한 속성들 간에 이행 종속성(Transitive Dependency)이 없어야 함.
Ex)
기본키 : Id
Id → 등급 → 할인율.
Id → 할인율.
* `할인율` 컬럼이 등급과 Id로부터 이행 종속되어 제 3정규화 대상이 된다.
제 3정규화를 통해 테이블 분리함.
엔티티1 : Id → 등급
엔티티2 : 등급 → 할인율✅ 반정규화
-
정규화된 엔티티, 속성, 관계에 대해 시스템의 성능향상과 개발 운영의 단순화를 위해 중복, 통합, 분리 등을 수행하는 데이터 모델링 기법.
-
일반적으로 정규화 시, 입력/수정/삭제 성능이 향상되고, 반정규화 시, 조회(조인)성능이 향상된다.
✅ 반정규화 절차
- 반정규화 대상 조사
- 범위처리 빈도수, 범위, 통계성, 테이블 조인 갯수 조사.
- 다른 방법 유도 검토
- 뷰, 인덱스, 클러스터링 조정.
- 반정규화 적용
- 테이블, 속성, 관계 반정규화.
반정규화 대상 조사
-
자주 사용되는 테이블에 접근하는 프로세스 갯수가 많고 항상 일정한 범위만을 조회하는 경우 대상 지정.
-
테이블에 대량의 데이터가 있고 대량의 데이터 범위를 자주 처리하는 경웨 처리범위를 일정하게 줄이지 않으면 성능을 보장할 수 없는 경우 대상 지정.
-
통계성 프로세스에 의해 통계 정보를 필요로 할 경우 별도의 통계 테이블을 생성하기 위해 대상 지정.
-
테이블에 지나치게 많은 조인이 걸려 데이터를 조호하는 작업이 기술적으로 어려운 경우 대상 지정.
다른 방법 유도 검토
-
지나치게 많은 조인이 걸려 데이터를 조회하는 작업이 기술적으로 어려운 경우 VIEW 사용.
-
대량의 데이터 처리나 부분처리에 의해 성능이 저하되는 경우 클러스터링을 적용하거나 인덱스를 조정함.
-
대량의 데이터는 PK의 성격에 따라 부분적인 테이블로 분리가 가능하다.(파티셔닝 기법)
-
응용 애플리케이션에서 로직을 구사하는 방법을 변경함으로써 성능을 향상 시킬 수 있다.
✅ 반정규화 적용
테이블 반정규화
테이블 병합
1:1관계를 통합하여 성능향상.1:M관계를 통합하여 성능향상.슈퍼/서브관계를 통합하여 성능향상.
테이블 분할
-
컬럼 단위 테이블을 디스크 I/O 분산 처리를 위해 테이블을
1:1로 분리하여 성능향상. -
Row 단위로 집중 발생되는 트랜잭션을 분석하여 디스크 I/O 및 데이터 접근의 효율성을 높여 성능을 향상시키기 위해 분리하여 성능 향상.
테이블 추가
-
다른 업무이거나 서버가 다른 경우 동일한 테이블 구조를 중복하여 추가함으로써 원격 조인을 제거하여 성능 향상.
-
집계함수 사용 시, 미리 수행하여 계산해 둠으로써 조회 시 성능이 향상.
-
이력 테이블 중에서 마스터 테이블에 존재하는 레코드를 중복하여 이력 테이블에 존재시킴으로써 성능 향상.
-
하나의 테이블의 전체 컬럼 중에서 자주 사용하는 컬럼들이 있는 경우 디스크 I/O를 줄이기 위해서 해당 컬럼들을 모아 놓은 별도의 반정규화된 테이블을 생성하여 성능 향상.
컬럼 반정규화
-
중복 컬럼 추가 : 조인에 의해 처리 시 성능저하 예방.
-
파생 컬럼 추가 : 트랜잭션 처리 시점에 계산에 의해 발생되는 성능저하 예방을 위함.
-
이력 테이블 컬럼 추가 : 대량의 이력 데이터 처리 시 불특정한 기간이나 최근 이력 조회 시 발생할 수 있는 성능 저하 예방.
-
응용 시스템 오작동을 위한 컬럼 추가 : 업무적으로 의미 없지만 사용자의 실수로 지워진 원래 값으로 복구하기 위해 임시로 중복 보관하는 방법.
관계 반정규화
- 중복 추가 관계 : 데이터를 처리하기 위한 여러 경로를 거쳐 조인이 가능하지만 이때 발생할 수 있는 성능 저하를 예방하기 위해 추가적인 관계를 맺는 방법.
✅ 로우(Row) 체이닝
- Row 길이가 너무 길어서 테이블 블록에 모두 저장되지 않고 두 개 이상의 블록에 걸쳐 하나의 로우가 저장되는 형태.
✅ 로우(Row) 마이그레이션
- 데이터 블록에서 수정이 발생하면 수정된 데이터를 해당 데이터 블록에서 저장하지 못하고 다른 블록에 빈 공간을 찾아서 저장하는 방식.
로우 체이닝과 로우 마이그레이션이 발생하여 많은 블록에 데이터가 저장되면 DB 메모리에서 디스크 I/O가 발생 시 많은 I/O가 발생하여 성능저하 발생되는 트랜잭션을 분석하여 1:1 관계로 분리하여 성능향상이 가능토록 해야한다.
✅ PK에 의한 테이블 분할 방법(파티셔닝 기법)
Range Partition
- 대상 테이블이 날짜 또는 숫자값으로 분리가 가능하고 각 영역별로 트랜잭션이 분리되는 경우.
List Partition
- 지점, 사업소 등 핵심적인 코드값으로 PK가 구성되어 있고 대량의 데이터가 있는 테이블의 경우.
Hash Partition
- 지정된 해쉬 조건에 따라 해쉬 알고리즘이 적용되어 테이블이 분리되는 경우.
✅ 테이블에 대한 수평/수직 분할 절차
-
데이터 모델링 완성.
-
DB 용량 산정
-
대량 데이터가 처리되는 테이블에 대해 트랜잭션 처리 패턴을 분석.
-
column 단위로 집중화된 처리가 발생하는지, row 단위로 발생하는지 분석하여 집중화된 단위로 테이블을 분리하는 것을 검토.
✅ 슈퍼/서브 타입 모델
- 업무를 구성하는 데이터의 특징을 공통점과 차이점을 고려하여 효과적으로 표현.
✅ 슈퍼/서브 타입 모델의 변환기술
- 개별로 발생되는 트랜잭션에 대해서는 개별 테이블로 구성
- 슈퍼타입 + 서브타입 에대해 발생되는 트랜잭션에 대해서는 슈퍼+서브 타입 테이블로 구성.
- 전체를 하나로 묶어 트랜잭션 발생 시 하나의 테이블로 구성.
✅ 인덱스 특성을 고려한 PK/FK DB 성능향상
-
인덱스의 특징은 여러 개의 속성이 하나의 인덱스로 구성되어 있을 때 앞쪽에 위치한 속서의 값이 비교자로 있어야 좋은 효율을 나타낸다.
-
앞쪽에 위치한 속성값이
'='또는'BETWEEN <>'이 들어와야 효율적이다.
