📒 SQL(1)

Kimdongki·2024년 4월 22일

DB

목록 보기

2/33

데이터 요약과 데이터 분석을 위한 SQL을 학습해보자.

구조화된 데이터를 저장하고 질의할 수 있도록 해주는 스토리지
- 엑셀 스프레드시트 형태의 테이블로 데이터를 정의하고 저장
  - 테이블에는 컬럼(열)과 레코드(행)이 존재한다.
관계형 데이터베이스를 조작하는 프로그래밍 언어 -> SQL
- 테이블 정의를 위한 DDL(Data Definition Language)
- 테이블 데이터 조작/질의를 위한 DML(Data Manipulation Language)
프로덕션 데이터베이스 : MySQL, PostgreSQL, Oracle,...
- OLTP(OnLine Transaction Processing)
- 빠른 속도, 서비스에 필요한 정보 저장
🚩데이터 웨어하우스 : Redshift, SnowFlake, BigQuery, Hive,...
- OLAP(OnLine Analytical Processing)
- 처리 데이터 크기에 집중
- 데이터 분석 혹은 모델 빌딩등을 위한 데이터 저장
- 보통 프로덕션 데이터베이스를 복사해서 데이터 웨어하우스에 저장한다.
구조
- 2단계로 구성된다.
  - 가장 밑단에는 테이블들이 존재(테이블은 엑셀의 시트에 해당)
  - 테이블들은 데이터베이스(혹은 스키마)라는 폴도 밑으로 구성(엑셀에서는 파일)
- 테이블(테이블 스키마)
  - 테이블은 레코드들로 구성(행)
  - 레코드는 하나 이상의 필드(컬럼)로 구성(열)
  - 필드(컬럼)는 이름과 타입, 속성(Primary Key)으로 구성된다.

SQL : Structured Query Language
- 관계형 데이터베이스에 있는 데이터(테이블)를 질의하거나 조작하게 해주는 언어
SQL은 1970년대 초반에 IBM이 개발한 구조화된 데이터 질의 언어
DDL(Data Definition Language)
- 테이블의 구조를 정의하는 언어
DML(Data Manipulation Language)
- 테이블에서 원하는 레코드들을 읽어오는 질의 언어
- 테이블에 레코드를 추가/삭제/갱신해주는데 사용하는 언어
구조화된 데이터를 다루는한 SQL은 데이터 규모와 상관없이 쓰인다.
모든 대용량 데이터 웨어하우스는 SQL기반이다.
Spark, Hadoop도 예외는 아니다.
- SparkSQL과 Hive라는 SQL언어가 지원된다.
데이터 분야에서 일하고자 하면 반드시 익혀야할 기본 기술
- 데이터 엔지니어, 데이터 분석가, 데이터 과학자 모두 알아야한다.
SQL의 단점
- 구조화된 데이터를 다루는데 최적화가 되어있다.
  - 정규표현식을 통해 비구조화된 데이터를 어느 정도 다루는 것은 가능하나 제약이 심하다.
  - 많은 관계형 데이터베이스들이 플랫한 구조만 지원한다.(no nested like JSON)
  - 구글 Big Query는 nested structure를 지원한다.
  - 비구조화된 데이터를 다루는데 Spark, Hadoop과 같은 분산 컴퓨팅 환경이 필요해진다.
  - SQL만으로는 비구조화 데이터를 처리하지 못한다.
- 관계형 DB마다 SQL 문법이 조금씩 상이하다.

회사에 필요한 모든 데이터를 저장한다.

여전히 SQL 기반의 관계형 데이터베이스이다.
- 프로덕션 데이터베이스와는 별도여야한다.
- OLAP(OnLine Analytical Preocessing) vs. OLTP(OnLine Transaction Processing)
- AWS의 Redshift, GCP의 Big Query, SnowFlake 등이 대표적이다.
  - 고정비용 옵션 vs. 가변비용 옵션
데이터 웨어하우스는 고객이 아닌 내부 직원을 위한 데이터베이스이다.
- 처리 속도가 아닌 처리 데이터의 크기가 더 중요해졌다.
ETL 혹은 데이터 파이프라인
- 외부에 존재하는 데이터를 읽어 데이터 웨어하우스로 저장해주는 코드들이 필요해지는데 이를 ETL혹은 데이터 파이프라인이라고 부른다.
데이터 인프라
- 데이터 엔지니어가 관리한다.
- 여기서 한 단계 더 발전하면 Spark와 같은 대용량 분산처리 시스템이 일부로 추가된다.