[SQLD] 데이터 모델과 성능 - 반정규화와 성능

💡 성능 데이터 모델링 - 반정규화

반정규화란?

• 정규화된 엔터티, 속성, 관계에 대해 시스템의 성능향상과 개발과 운영의 단순화를 위하여 중복을 허용하고, 조인을 줄이는 데이터 모델링 기법이다.

• 반정규화는 데이터 무결성이 깨질 수 있는 위험을 감수하고 조회(select) 속도를 향상시키지만, 데이터 모델의 유연성은 낮아진다.

이번 포스팅에서는 대용량 데이터, DB구조, 분산 DB의 성능을 알아볼 것이다.

◽ 대용량 데이터에 따른 성능

테이블 반정규화 중 테이블 분할 개요.

• 설계가 잘 된 데이터 모델이어도 대량의 데이터가 하나의 테이블에 집약되어, 일의 처리되는 양이 한군데에 몰리는 현상은 어떤 업무에 있어서 중요한 업무에 해당되는 데이터가 특정 테이블에 있는 경우에 발생이 된다.
  
  이러한경우 트랜잭션이 분산 처리가 될 수 있도록 테이블 단위에서 분할의 방법을 적용한다.
  
  
  
• 대량의 데이터가 처리되는 테이블에 성능저하 이유
     ➡ SQL 문장에서 데이터를 처리하기 위한 I/O 량이 증가하기 때문이다.
  
  
  

◽ 대용량 데이터에 따른 성능 저하 원인

많은 칼럼은 로우체이닝과 로우마이그레이션이 많아지게 되어 성능이 저하된다.

• 로우체이닝과 로우마이그레이션이 발생하여 많은 블록에 데이터가 저장되면 데이터베이스 메모리에서 디스크와 I/O 가 발생할 때 불필요한 I/O의 횟수가 증가, 디스크 I/O 가능성이 상승 따라서 성능이 저하 된다.

  
  
  

▪ 로우체이닝(Row Chaining) : Row 길이가 너무 길어서 데이터 블록 하나에 데이터가 모두 저장되지 않고 2개 이상의 여러 블록에 걸쳐 하나의 Row가 저장되어 있는 형태


▪ 로우마이그레이션(Row Migration) : 데이터 블록에서 수정이 발생하면 수정된 데이터를 해당 데이터 블록에서 저장하지 못하고 해당 블록이 아닌 다른 블록의 빈 공간을 찾아 저장하는 방식

-디스크에 데이터 저장의 개념-

❓ 블록: 테이블의 데이터 저장 단위

◽ 대용량 데이터에 따른 성능 - 파티셔닝

하나의 DBMS에 너무 큰 테이블이 들어가면서 용량과 성능 측면에서 많은 이슈가 발생, 이런 이슈를 해결하기 위한 방법으로 테이블을 ‘파티션(partition)’이라는 작은 단위로 나누어 관리하는 파티셔닝(Partitioning)기법

• 테이블 수평분할 기법으로, 논리적으로는 하나의 테이블이지만 물리적으로 여러 데이터 파일에 분산 저장, 데이터 조회 범위를 줄여 성능 향상시키는 것.
  
  
• 큰 테이블이나 index를 관리하기 쉬운 (파티션)partition이라는 작은 단위로 물리적으로 분할하는 것을 의미한다.

▪ 파티셔닝의 장점

• 테이블의 데이터가 물리적으로 분리된 데이터 파일에 저장되면 입력, 수정, 삭제, 조회 성능이 향상된다.

• 파티션은 각각의 파티션 별로 독립적으로 관리 된다.

• 파티션은 Oracle 데이터베이스의 논리적 관리 단위인 테이블 스페이스 간에 이동이 가능하다.

---

▪ Range Partition

• 테이블의 칼럼 중에서 데이터 값의 범위 를 기준으로 여러 개의 파티션으로 데이터를 분할해 저장하는 것

▪ List Partition

• 특정한 값 을 기준으로 분할하는 방법

▪ Hash Partition

• 데이터베이스 관리 시스템이 내부적으로 해시 함수 를 사용해서 데이터를 분할

• 결과적으로 데이터베이스 관리 시스템이 알아서 분할하고 관리하는 것

▪ Composite Partition

• 여러 파티션 기법을 복합적으로 조합해서 사용하는 것

❓ 파티션 인덱스(Partition Index)

• Global Index: 여러 파티션에서 단일 인덱스 사용
• Local Index:파티션 별로 각자 인덱스 사용
• Prefixed Index: 파티션 키와 인덱스 키가 동일
• Non Prefixed Index: 파티션 키와 인덱스 키가 다르다

◽ 분산 DB 데이터에 따른 성능

분산 DB란?

• 여러 곳으로 분산되어있는 데이터베이스를 하나의 가상 시스템으로 사용할 수 있도록 한 DB
  
  
• 물리적 사이트는 분산되어 있으나 논리적으로 동일한 시스템
  
  
• 과거에는 위치 중심이었으나 현재는 업무 필요에 따라 분산 설계
  
  
• DB를 연결하는 빠른 네트워크환경을 이용하여 데이터베이스를 여러 지역 및 노드로 위치시켜 사용성/성능을 극대화 시킨 DB

◽ 분산 데이터베이스 설계 방식

▪ 상향식 설계 방식 :

• 지역 스키마 작성 후 전역 스키마를 작성하여 분산 데이터베이스를 구축한다.

  
  

▪ 하향식 설계 방식 :

• 기업 전체의 전사 데이터 모델을 수렴하여 전역 스키마 작성 후, 해당 지역 사상 스키마를 작성해 분산 데이터베이스를 구축한다.

◽ 분산 데이터 베이스 장단점

▪ 장 점

• 데이터베이스 신뢰성과 가용성이 증가한다.
  
  
• 분산 데이터베이스가 병렬 처리를 수행하기 때문에 빠른 응답 속도와 통신비용을 절감 할 수있다.
  
  
• 분산 데이터베이스를 추가하여 시스템 용량 확장이 쉽다.

▪ 단 점

• 데이터베이스가 여러 네트워크를 통해 분리되어 있어 관리 및 통제가 어렵다.

• 보안 관리가 어렵다.

• 데이터 무결성 관리가 어렵다.

• 데이터베이스 설계가 복잡 → 데이터 처리 비용 증가

• 불규칙한 응답속도

◽ 분산 데이터베이스의 투명성 ( Transparency )

분산 데이터베이스 투명성	내용
분할 투명성 (단편화)	하나의 논리적 관계가 여러 단편으로 분할되어 각 단편의 사본이 여러 사이트 에 저장된다.
위치 투명성	사용하려는 데이터 저장 장소가 명시되지 않아도 된다. 위치 정보가 System Catelog 에 유지되어야 한다.
지역사상 투명성	지역 DBMS와 물리적 DB 사이의 사상이 보장된다.. 각 지역시스템 이름과 무관한 이름 사용 가능
중복 투명성	DB 객체가 여러 site 에 중복 되어 있는지 알 필요가 없는 성질
장애 투명성	구성요소 (DBMS, Computer) 의 장애에 무관한 트랜잭션의 원자성이 유지된다.
병행 투명성	다수 트랜잭션 동시 수행시 결과의 일관성이 유지된다., Time Stamp, 분산 2 단계 Locking 을 이용 구현

◽ 분산 DB의 적용 기법

테이블 위치분산, 테이블 분할분산, 테이블 복제분산, 테이블 요약분산이 있다.

가장 많이 사용하는 방식은 테이블 복제분산 방식(Table Replication)이며 , 성능이 저하되는 많은 데이터베이스에서 가장 유용하게 적용할수 있는 기법이다.

▪ 테이블 위치분산

• 설계된 테이블의 위치를 각각 다르게 위치시키는 것이다.

• 테이블 위치 분산은 테이블의 구조는 변하지 않고, 다른 데이터베이스에 중복되어 생성되지 않는다.
  

테이블의 위치가 서로 다르기 때문에 테이블의 위치를 파악할 수 있는 도식화된 위치별 데이터베이스 문서가 필요하다.

▪ 테이블 분할(Fragmentation) 분산

단순히 위치만 다른 곳에 두는 것이 아니라 각각의 테이블을 쪼개어 분산하는 방법이다.

▪ 수직분할 : 칼럼 단위로 테이블을 분할하여 I/O를 감소시킴, 너무 많은 수의 칼럼이 있는 경우 사용한다.

• 칼럼을 기준으로 분할하였기 때문에 각각의 테이블에는 동일한 PK구조와 값을 가지고 있어야 한다.
  
  
• 데이터를 한군데 집합시켜 놓아도 동일한 기본키는 하나로 표현하면 되므로 데이터 중복은 발생되지 않는다.

▪ 수평분할 : 행 단위로 테이블을 분할하여 I/O를 감소시킨다.

• 노드에 따라 테이블을 특정 컬럼의 값을 기준으로 분리, 컬럼은 분리되지 않음 데이터를 한 군데 집합시켜 놓아도 PK에 의해 중복이 발생되지 않는다.
  
  
• 모든 데이터가 각 지사별로 분리되어있는 형태이다.

---

◽ 테이블 복제 분산(Table Replication)

동일한 테이블을 다른 지역이나 서버에서 동시 생성

▪ 부분복제(Segment Replication)

• 마스터 데이터베이스에서 테이블의 일부의 내용만 다른 지역 or 서버에 위치시킨다.

• 원격지 조인을 내부 조인으로 변경하여 성능 향상
  

✔ 통합된 테이블을 한군데에 가지고 있으면서 각 지사별로는 지사에 해당된 로우를 가지고 있는 형태이다. 지사에 존재하는 데이터는 반드시 본사에 존재하게 되며,

즉 본사의 데이터는 지사데이터의 합이 되는 것 이다.

✔ 각 지사에서 데이터 처리가 용이할 뿐만아니라 전체 데이터에 대한 통합처리도 본사에 있는 통합 테이블을 이용하게 되므로 여러 테이블에 조인이 발생하지 않는 빠른 작업 수행이 가능해진다.

✔ 지사간에는 데이터의 중복이 발생하지 않으나 본사와 지사간에는 데이터의 중복이 항상 발생한다.

데이터를 복제하는데 많은 시간이 소요되고 데이터베이스와 서버에 부하가 발생하므로 보통 실시간 처리에 의해 복사하는 것 보다는 야간에 배치 작업 에 의해 수행되는 경우가 많이 있다.

---

▪ 광역복제(Broadcast Replication)

• 통합된 테이블을 한군데(본사)에 가지고 있으면서 각 지사에도 본사와 동일한 데이터를 모두 가지고 있는 형태이다.

• 지사에 존재하는 데이터는 반드시 본사에 존재하게 된다. 모든 지사에 있는 데이터양과 본사에 있는 데이터양이 동일하다.

  본사와 지사 모두 동일한 정보를 가지고 있으므로 본사나 지사나 데이터처리에 특별한 제약을 받지는 않는다.

• 광역복제 역시 실제 프로젝트에서 많이 사용하고 있는 기법.

• 부분복제와 다르게 광역복제의 경우에는 본사에서 데이터가 입력, 수정, 삭제가 되어 지사에서 이용하는 형태이다.

  부분복제와 마찬가지로 데이터를 복제하는데 많은 시간이 걸리고, 데이터베이스와 서버에 부하가 발생하므로,
  보통 실시간 처리에 의해 복사하는 것 보다는 배치에 의해 복제가 되도록 하는 것이 좋다.

---

▪ 테이블 요약 분산(Table Summarization)

 테이블 요약 분산은 지역간에 또는 서버간에 데이터가 비슷하지만 서로 다른 유형으로 존재하는 경우가 있다.
 

동일한 테이블 구조를 가지며 분산되어 있는 동일한 내용의 데이터를 이용하여 통합된 데이터를 산출하는 방식의 분석요약

분산되어 있는 다른 내용의 데이터를 이용하여 통합된 데이터를 산출하는 방식의 통합요약

• 분석요약 : 각 사이트별로 존재하는 요약정보를 본사에 통합하여 다시 전체에 대해서 요약 정보를 산출하는 분산 방법.

• 통합요약 : 각 사이트별로 존재하는 다른 내용의 정보를 본사에 통합하여 다시 전체에 대해서 요약정보를 산출하는 분산방법