데이터: 있는 그대로 객관적 사실
정보: 데이터로부터 가공됨
데이터 = '존재적 특성', '당위적 특성'을 가짐
DIKW 피라미드
데이터: 가공 전 객관적 사실
정보: 데이터를 통해 패턴 인식
지식: 패턴을 통해 의사결정 활용
지혜: 창의적인 전략
데이터의 유형
(형태)
정형 데이터: 행과 열로 이루어진 구조화 된 데이터
반정형 데이터: 데이터를 설명하는 메타데이터 포함
비정형 데이터: 구조화되지 않은 자유로운 형태
(표현방식)
정량적 데이터: 수치
정성적 데이터: 특징
암묵지, 형식지간 상호작용
암묵지: 개인에게 습득됨 겉으로 드러나지 않음
형식지: 문서, 메뉴얼 등의 형상화된 지식
1) 공통화: 암묵지 지식을 다른사람에게 알려줌
2) 표출화: 암묵지 지식을 메뉴얼, 문서로 전환
3) 연결화: 교재 메뉴얼에 새로운 지식 추가
4) 내면화: 다른 사람의 암묵지를 터득
=> '공표연내'
데이터베이스 특징
공용 데이터: 부서마다 다른 목적으로 이용
통합 데이터: 동일한 데이터 중복X
저장된 데이터: 저장
변화되는 데이터: 무결성
=> '공통저변'
데이터베이스 설계 절차
개념적 설계
논리적 설계
물리적 설계
=> '개논물'
데이터베이스 시스템
(1) DBMS
관계형 DBMS : 테이블 표로 정리 (MySQL, MariaDB, Oracle)
NoSQL : 비정형 데이터 처리
(2) 데이터베이스 스키마
- 메타데이터 : 데이터를 설명
- 데이터사전 : 데이터 안내 책자
- 인스턴스 : 데이터 타입과 값
- 인덱스 : 빠른 탐색
(3) SQL
DDL/DML/DCL 등
데이터베이스 활용
- OLTP : T 트랜잭션 -> 거래
- OLAP : A 분석 -> 대화
- CRM : C 커스터머 -> 고객
- SCM : SC 서플라이 -> 공급망
- ERP : ER 리소스 -> 자원
- RTE : RT 리얼타임 -> 신속
- KMS : K 놀리지 -> 지식
데이터웨어하우스
- ETL : 추출, 정제 적재
- ODS : 임시 저장
- Data -> ETL -> ODS -> DW
- !! 비휘발성이다 (only read) !!
- 데이터레이크 (데이터웨어하우스인데 비정형데이터 전용)
빅데이터의 이해
- 출현 배경: 클라우드 컴퓨팅, 분산처리 기술
- 데이터 단위: PEZY => '페지요'
빅데이터의 3V
- Volume(규모), Variety(다양성), Velocity(속도)
- 그외 : Value(가치) ..
빅데이터가 만든 변화
- (전) 표본조사, 사전처리, 질, 인과관계
- (후) 전수조사, 사후처리, 양, 상관관계
- => '전후양상'
빅데이터 가치
- 빅데이터는 가치 산정이 어렵다. (언제 어디서 누가 활용할지 모름)
- 기존에 없던 데이터도 새로 가치를 창출해냄
빅데이터의 주요 분석 기법
- 회귀분석
- 분류분석
- 연관규칙
- 유전자 알고리즘: 최적화 문제 해결
빅데이터의 위기 요인과 통제방안
- 사생활 침해 => 사용자 책임 전환
- 책임 원칙 훼손 => 결과 기반 책임
- 데이터 오용 => 알고리즘 허용, 알고리즈미스트
데이터 3법
- 개인정보법, 정보통신망법, 신용정보법 => '개정신'
- 가명정보가 도입되었다. (홍OO, 30대 초반)
- 개인정보
- 가명정보: 동의 없이 통계, 연구, 공익적 사용 가능
- 익명정보
빅데이터 활용 위한 3대 요소
- 인력, 자원(데이터), 기술 => '인자기'
데이터 사이언스 핵심 구성요소
- 분석, IT, 비즈니스 분석
- 커뮤니케이션,스토리텔링,데이터엔지니어링 등
하드스킬: 이과, 소프트스킬: 문과
- 데이터 사이언티스트는 : 데이터관리, 분석모델링, 비즈니스 문석, 소프트 스킬
빅데이터 가치 패러다임 변환
- Digitalization
- Connection
- Agency
- Digital C A (디지털 카메라 로 외우기)
ssafy_elonmusk