[정보처리기사] 3과목 데이터 입출력 구현

Chapter 01. 논리 데이터 저장소 확인

데이터 모델 개념

• 현실 세계의 정보를 인간과 컴퓨터가 이해할 수 있도록 추상화하여 표현
• 데이터 모델에 표시해야 할 요소 구조 / 연산 / 제약조건

✅ 데이터 모델 절차 (요개논물)

요구조건 분석 → 개념적 설계 → 논리적 설계 → 물리적 설계 📌

1.요구조건 분석

• 도출된 요구사항 간 상충을 해결하고 상호작용을 분석을 통해 데이터에 대한 요구 분석

2.개념적 설계(또는 개념적 데이터 모델)

• 현실 세계에 대한 인식을 추상적, 개념적으로 표현
• 트랜잭션 모델링, View 통합 방법 및 Attribute 합성 고려
• 개념적 데이터 모델은 DB 종류와 관계 없음
• 주요 산출물 : ERD

3. 논리적 설계(또는 논리적 데이터 모델)

• 사람이 이해하기 쉽게 표현한 모델
• 어떠한 Database를 쓸건지 정해서 설계
• 논리적 설계를 통해 관계 / 계층 / 네트워크 / 객체지향 / 객체-관계 데이터 모델 중 하나의 모델에 맞게 설계

순서	이름	형태	키	관계
1	관계 데이터 모델링	2차원 테이블 형태로 구성된 모델	기본 키(PK)와 이를 참조하는 외래 키(FK)로 관계 표현	1:1 / 1:N / N:M 관계 자유롭게 표현
2	계층 데이터 모델링	트리 형태로 구성된 모델	-	1:N 관계만 허용
3	네트워크 데이터 모델링	그래프 형태로 구성된 모델	-	N:M 관계만 허용

4. 물리적 설계(또는 물리적 데이터 모델)

• 특정 DBMS의 특성 및 성능을 고려하여 물리적 스키마를 만드는 데이터 모델
• 보통 성능, 물리적 데이터 라는 단어가 나오면 물리적 모델이라 보기
• 성능 측면에서 반정규화 수행
• 레코드 집중의 분석 및 설계

---

논리 데이터 모델 검증

1. 관계 데이터 모델 개념
   실세계 데이터를 행과 열로 구성된 테이블 형태로 구성하는 데이터 모델

관계 데이터 모델의 구성 (그림)

---

✅ 관계 대수와 관계 해석

1.관계 대수의 개념

관계형 데이터베이스에서 원하는 정보와 그 정보를 어떻게 유도하는가를 기술하며 절차적 정형 언어

일반 집합 연산자

합집합 / 교집합 / 차집합 / 카디널 프로덕트

✅ 순수 관계 연산자 (하단 그림 참조)

셀렉트 / 프로젝트 / 조인 / 디비전

2.관계 해석의 개념

• 튜플 관계 해석과 도메인 관계 해석을 하는 비절차적 언어
• 프레디킷 해석에 기반한 언어이며 비절차적 언어(원하는 것이 무엇이라는 것만 선언)

---

📌 이상현상 개념

릴레이션 조작 시, 데이터들이 불필요하게 중복되어 예기치 못한 상황이 발생하는 현상

이상현상의 종류 : 삽입 이상 / 삭제 이상 / 갱신 이상
(조회를 제외한 나머지에 이상이 생긴 경우를 의미함)

---

💎 정규화(Normalization) 개념

관계형 데이터 모델에서 데이터의 중복성을 제거하여 이상현상을 방지하고
데이터의 일관성과 정확성을 유지하기 위하여 데이터 무손실 분해 과정

1차 정규화

• 원자값으로 구성
• 반복 속성 / 중복제거 필요
  

2차 정규화

• 부분함수 종속 제거
• 주식별자가 아닌 속성을 분리
  

3차 정규화

• 이행함수 종속 제거
• 속성에 종속적인 속성을 분리한다 (A→B이고 B→C일 때, A→C)

보이스-코드 정규화

• 결정적 함수 종속 제거
• 모든 결정자가 후보 키(결정하는 친구는 무조건 키가 있어야 함)

4차 정규화

• 다치 종속 제거
• 특정 속성 값에 따라 선택적인 속성 분리

5차 정규화

• 조인 종속성 제거

✅ 정규화 단계

• 각 단계의 고유 특징을 잘 기억해두며 제 2정규화부터는 테이블을 쪼개는 것
• 보통 현업에서는 3 정규화까지 진행하며, 특정 분야에서는 5정규화까지 진행하기도 함

💎 반정규화(De-Normalization) 개념

• 정규화된 엔터티, 속성, 관계에 대해 성능 향상과 개발 운영의 단순화를 위해 중복, 통합, 분리 등을 수행하는 데이터 모델링 기법
• 보통 반정규화라고 부르지만 비정규화, 역정규화라고도 불림

Chapter 02. 물리 데이터 저장소

참조무결성 제약 조건

릴레이션과 릴레이션 사이에 대해 참조의 일관성을 보장하기 위한 조건

💎 인덱스(Index) 개념

검색 연산의 최적화를 위해 데이터베이스 내 열에 대한 정보를 구성한 데이터구조

✅ 인덱스 적용 기준

• 인덱스의 적정한 분포도는 10 ~ 15% 이내

✅ 파티셔닝의 개념

대용량의 테이블을 파티션이라는 보다 작은 논리적인 단위로 나누어 성능 저하 방지 및 관리를 상대적으로 보다 용이하게 하고자 하는 기법

✅ 파티셔닝의 유형

레인지 파티셔닝 / 해시 파티셔닝 / 리스트 파티셔닝 / 컴포지트 파티셔닝

1. 레인지 파티셔닝(Range partitioning)
   • 연속적인 숫자나 날짜를 기준으로 하는 파티셔닝 기법

2. 해시 파티셔닝(Hash partitioning)

   • 파티션 키의 해시 함수 값에 의한 파티셔닝 기법

3. 리스트 파티셔닝(List partitioning)

   • 특정 파티션에 저장될 데이터에 대한 명시적 제어 가능한 파티셔닝 기법

4. 컴포지트 파티셔닝(Composite partitioning)

   • 범위분할에 이후 해시 함수를 적용하여 재분할 하는 파티셔닝 기법

Chpater 03. 데이터베이스 기초 활용

데이터베이스 개념 및 정의

• 개념 : 다수의 인원, 시스템 또는 프로그램이 사용할 목적으로 통합하여 관리되는 데이터의 집합

• 정의

  순서	이름	특징
  1	통합된 데이터	자료의 중복을 배제한 데이터의 모임
  2	저장된 데이터	저장 매체에 저장된 데이터
  3	운영 데이터	조직 업무 수행에 필요한 데이터
  4	공용 데이터	여러 Application, 시스템들이 공동으로 사용하는 데이터

• 특성 : 실시간 접근성 / 계속적인 변화 / 동시 공용 / 내용 참조
• 종류 : File System / RDBMS(관계형) / HDBMS(계층형) / NDBMS(네트워크형)

✅ DBMS 개념

• 데이터 관리의 복잡성을 해결하는 동시에 데이터 추가, 변경, 검색, 삭제, 보안 등의 기능을 지원하는 소프트웨어

✅ DBMS 유형 및 특징

• 특징 : 데이터 무결성, 일관성, 회복성, 보안성, 효율성

✅ 빅데이터 개념

시스템, 서비스 조직 등에서 주어진 비용, 시간 내에 처리 가능한 데이터 범위를 넘어서는 수십 페타바이트(PB) 크기의 비정형데이터
(+ 정형 데이터 + 반정형 데이터)

✅ HDFS 개념 및 맵 리듀스 개념

• HDFS(Hadoop Distributed File System)
  - 대용량 데이터의 집합을 처리하는 응용 프로그램에 적합하도록 설계된 하둡 분산 파일 시스템
• 맵 리듀스
  - 구글에서 대용량 데이터 처리를 분산 병령 컴퓨팅에서 처리하기 위한 목적으로 2004년 발표한 SW Framework

✅ NoSQL 개념

전통적인 RDBMS와 다른 DBMS를 지칭하기 위한 용어

• 고정된 테이블 스키마 필요 X
• 조인(Join) 연산 사용 X
• 수평적으로 확장 가능(수십 테라 또는 페타바이트 이상의 대용량 파일 처리 가능)
• NoSQL유형 : DBMS의 유형 및 특징과 동일

✅ 데이터 마이닝

대규모로 저장된 데이터 안에서 체계적이고 자동적으로 통계적 규칙이나 패턴을 찾아내는 기술

데이터 마이닝 4가지 주요 기법

• 분류 규칙 : 과거 데이터로부터 특성을 찾아내 분류 모형을 만들어 레코드 결과 값 예측
• 연관 규칙 : 다양한 데이터 내 항목들 간 종속관계를 찾아내는 기법
• 연속규칙 : 연관 규칙 + 시간 관련 정보
• 데이터 군집화 : 유사한 특성을 지닌 몇 개의 소그룹으로 분할