SQL과 데이터 분석

---

관계형 데이터베이스란?

구조화된 데이터를 저장하는 스토리지

엑셀 스프레드시트 형태의 테이블로 데이터를 정의하고 저장한다.

관계형 데이터베이스의 구조

• 가장 밑단에는 테이블들이 존재
• 테이블은 데이터베이스(or스키마)라는 폴더 밑으로 구성

테이블의 구조

• 레코드들로 구성(행)
• 레코드는 하나 이상의 필드(컬럼)로 구성(열)
• 필드는 이름과 타입과 속성(primary key)으로 구성)
  

SQL이란?

SQL은 Structured Query Language의 약자로 관계형 데이터베이스를 조작하는 프로그래밍 언어이다.

두 종류의 언어로 구성되어 있다.

• 테이블 정의를 위한 DDL(Data Define Language)
• 테이블 데이터 조작/질의를 위한 DML(Data Manipulation Language)

단점

• 구조화된 데이터를 다루는데에만 최적화가 되어있음
  비구조화된 데이터를 어느정도 다루는 것은 가능하나 제약이 심함
• 관계형 데이터베이스마다 SQL문법이 조금씩 상이하다.

관계형 데이터베이스

1. Production DB

   관계형 데이터베이스 중 웹 또는 앱 운영에 필요한 정보를 저장해주는 관계형 데이터베이스이다.

• 서비스 운영에 필요한 데이터를 저장하는 곳(MySQL, PostgreSQL,..)
• 빠른 처리속도 중요
• 데이터를 구조화된 테이블들의 집합으로 구성하여 저장하고 관리

2. 데이터 웨어하우스 DB

   사용자보다 회사 내 직원들을 위한 데이터베이스

• 처리속도 보다 얼마나 많은 양을 처리할 수 있는지가 중요
• 고객사용자보다 데이터 엔지니어, 데이터 분석가, 데이터 과학자 등s내부 직원이 사용한다.
• 프로덕션데이터베이스와는 별도이어야함
• 외부에 존재하는 데이터를 읽어다가 데이터 웨어하우스로 저장해주는
  코드들이 필요해지는데 이를 ETL혹은 데이터파이프라인 이라고 부름

보통은 데이터 웨어하우스 ETL등을 통틀어 데이터 인프라 라고함

데이터 인프라란?
-데이터 엔지니어가 관리함
-한 단계 더 발전하면 spark와 같은 대용량 분산처리 시스템이 일부로 추가됨

데이터모델링 방법

1. Star schema

• production DB용 관계형데이터베이스에서는 보통 스타스키마를 사용해 데이터를 저장
• 데이터를 논리적 단위로 나눠 저장하고 필요시 조인. 스토리지 낭비가
  덜 하고 업데이트가 쉬움

2. Denormalized schema

• 단위테이블로 나눠 저장하지 않음으로 별도의 조인이 필요 없는 형태
• 이는 스토리지를 더 사용하지만 조인이 필요 없기에 빠른 연산이 가능

클라우드

컴퓨팅 자원을 네트워크를 통해 서비스 형태로 사용하는 것

• 자원(예를 들면 서버)을 필요한만큼 실시간으로 할당하여 사용한 만큼 지불. 탄력적으로 필요한 만큼의 자원을 유지하는 것이 중요

Redshift

AWS 기반 데이터 웨어하우스 서비스 이다.

Redshift Scalable SQL엔진

• 2PB까지 지원
• Still OLAP : 응답속도가 빠르지 않기 때문에 프로덕션 데이터베이스로 사용 불가
• Columnar storage
  컬럼별로 압축이 가능
  컬럼을 추가하거나 삭제하는 것이 아주 빠름
  -벌크업데이트 지원
  레코드가 들어있는 파일을 S3로 복사 후 copy커맨드로 redshift로 일괄 복사
• 고정 용량/비용 SQL엔진
• 다른 데이터웨어하우스처럼 primary key uniqueness를 보장하지 않음
  *프로덕션 데이터베이스들은 보장함