10주차

그래픽 데이터베이스

• 관계형데이터베이스는 테이블에 저장되며, 테이블은 레코드와 컬럼으로 구성되어 있음 관계를 의미를 파악할시 그래프 데이터베이스가 효과적으로 사용될 수 있음. (기본적인 관계형 데이터 베이스는 쿼리를 사용)
• 그래픽모델은 노드들과 관계들로 구성된 개념 노드는 키-값 쌍을 가지고 있으며, 노드는 하나이상의 레이블을 가질수 있음.

• 이상탐지에 이용가능함
• 관계형데이터베이스는 자주 바뀌지 않는 데이터에 적합함(구조의 변경 및 관계 변경이 어려움)
  

• 이상탐지에 이용가능함
• 관계형데이터베이스는 자주 바뀌지 않는 데이터에 적합함(구조의 변경 및 관계 변경이 어려움)

NoSQL

기본 SQL보다 자유로움

장점

• 유연한 데이터 모델(간단한 API)
• 확장성
• 높은 성능
• 비관계형 데이터 관리

단점

• 표준화 부족
• 트랙잭션 일관성 감소

데이터베이스 주요 4가지

1. 문서 데이터 베이스 : 다양한 데이터 구조처리, 대량 데이터 조회 성능 낮음
2. 키-값 데이터 베이스 : 빠른 성능, 복잡한 구조 처리 어려움
3. 컬럼 패밀리 데이터 베이스 : 시계욜 데이터 처리성능, 복잡한 관계 처리 어려움
4. 그래프 데이터 베이스 : 복잡한 관계처리, 관리 및 확장이 어려움

맵리듀스

대량의 데리터를 처리하고 생성하는 프로그래밍 모델로써, 독립적인 태스크로 나누어 클래스터의 여러 머신머닝에서 병렬로 실행

• 맵 단계
• shuffle 및 sort 단계
• Reduce단계

데이터 모델링

• 업무내용을 분석하고 이해하고 약속된 표기법에 의해 표현

• 절차

1. 업무파악(요구사항 수집및 분석)
2. 개념적 데이터 모델링 - ERD
3. 논리적 데이터 모델링 - 구체화된 업무 중심의 데이터 모델
4. 물리적 데이터 모델링 - 테이블 만드는 작업

ERD : 개체와 관계를 표현한것

• Entity : 정의 가능한 사물 또는 개념 , 테이블을 엔티티로 표현, 테이블의 각 필드들이 엔티티의 속성이라고 함. 엔티티 도메인은 속성을 정해줄수 있음
  • 엔티티종류 : 유형, 무형, 문서, 이력, 코드
  • PK : 주식별자,열쇠모양이나 다이아몬드로 표현
    • NOTNULL N/NN으로 표시함.
  • FK : 테이블의 외국인키
  • Cardinality : 관계
    • 1 : 1
    • 1 : N
    • M : N

정규화

• 중복요소를 찾아 제거하는 과정 종류
  • 제 1 정규화 : 같은 성격과 내용의 컬럼이 연속적으로 나타나는 컬럼 1 : N 관계 형성
  • 제 2 정규화 : PK가 여러 키로 구성된 복합키로 구성된 경우 복합키 전체에 의존하지 않고 복합키 일부분에만 종속되는 속성들이 존재할 경우 이를 분리하는것
  • 제 3 정규화 : 테이블 키가 아닌 컬럼들은 기본키에 의존해야하는데 실제로는 기본키가 아닌 다른 일반 컬럼에 의존하는 컬럼들을 PK에 의존하지않고 일반 컬럼에 의존하는 컬럼 분리

역정규화 : 개발측 측면에서 성능이나 편의성을 위해서 되돌아가는 과정

• join줄이기
• 계산작업 줄이기
• 테이블 분리(행열기준으로)
• 외래키 줄이기

자료참고

https://www.youtube.com/playlist?list=PL9Hl4pk2FsvWM9GWaguRhlCQ-pa-ERd4U
https://velog.io/@jochedda/%ED%95%98%EB%91%A1Hadoop%EC%9D%B4%EB%9E%80