출처: https://www.youtube.com/live/m6Vez0J2Xig?feature=share
데이터의 특성
| 구분 | 형태 | 예 |
|---|---|---|
| 존재적 특성 | 데이터는 있는 그대로의 객관적 사실 | 수학 80점, 영어 100점 |
| 당위적 특성 | 데이터는 추론, 예측, 전망, 추정을 위한 근거 | 평균 90점 |
정성적 데이터와 정량적 데이터
| 구분 | 형태 | 예 |
|---|---|---|
| 정성적 데이터 | 언어, 문자 등 | 문자 텍스트, 언어, 문자 |
| 정량적 데이터 | 수치, 도형, 기호 등 | 30cm, 정육면체, 3시 방향 등 |
정형 데이터와 비정형 데이터
| 구분 | 특징 | 예 |
|---|---|---|
| 정형 데이터 | 정형화된 틀이 있고 연산이 가능 | CSV, 엑셀 스프레드시트 등 |
| 비정형 데이터 | 정형화된 틀이 없고 연산이 불가능 | 소셜 데이터, 댓글, 영상, 음성 등 |
| 반정형 데이터 | 형태는 있지만 연산이 불가능 | XML, JSON, 센서 데이터 등 |
암묵지와 형식지
| 암묵지 | 형식지 |
|---|---|
| 학습과 체험을 통해 개인에게 습득되어 있지만, 겉으로 들어나지 않는 상태의 지식 | 암묵지가 문서나 매뉴얼처럼 외부로 표출돼 여러 사람이 공유할 수 있는 지식 |
| 공통화(Socialization) | 표출화(Externalization) |
| 내면화(Internalization) | 연결화(Combination) |
지혜에는 추측이 들어간다.
데이터 베이스의 일반적인 특징
| 특징 | 내용 |
|---|---|
| 통합된 데이터 | 동일한 내용의 데이터가 중복되어 있지 않다. |
| 저장된 데이터 | 컴퓨터 매체가 접근할 수 있는 저장 매체에 저장되어 있다. |
| 공용 데이터 | 여러 사용자가 공유할 수 있다. |
| 변화하는 데이터 | 삽입, 수정, 삭제를 통해 항상 최신의 정확한 데이터를 유지해야 한다. |
OLTP와 OLAP
| 유형 | 목적 | 예시 |
|---|---|---|
| OLTP (Online Transaction Processing) | 각각의 거래 단위에 초점 | 주문 입력 |
| OLAP (Online Analytic Processing) | 각각의 데이터가 쌓인 전체 데이터에 초점 | 데이터의 분석 |
데이터베이스의 종류
- 관계형 데이터베이스(RDB): 데이터를 행과 열로 이뤄진 테이블에 저장하며, 하나의 열은 하나의 속성을 나타내고 같은 속성의 값만 가질 수 있다.
- NoSQL: 'Not only SQL', 'Non SQL' 또는 'Non-relational'의 의미로 관계형이 아닌 비관계형을 의마하는 단어에서 생성된 명칭이다.
더그 레니의 3V에 추가로 Value(가치) 혹은 Veracity(정확성) 포함해 4V로 빅데이터의 특징을 설명하기도 한다. 여기에 Visualization(시각화), Variability(가변성) 등을 추가하는 견해도 있다.
빅데이터가 만들어내는 변화
- 사전처리 -> 사후처리: 데이터를 사전 처리하지 않고, 가능한 많은 데이터를 모으고 데이터를 다양한 방식으로 조합하여 숨은 인사이트를 발굴한다.
- 표본조사 -> 전수조사: IoT, 클라우드 기술의 발전으로 데이터 처리 비용이 감소하게 되면서 데이터 활용 방법이 표본조사에서 전수조사로 변화했다.
- 질 -> 양: 수집 데이터의 양이 증가할수록 분석의 정확도가 높아져 양질의 분석 결과 산출에 긍정적인 영향을 주었다.
- 인과관계 -> 상관관계: 특정한 인과관계가 중요시되던 과거와 달리, 데이터의 양이 급격하게 늘어나면서 상관관계를 통해 특정 현상의 발생 가능성이 포착되고 그에 상응하는 행동을 추천하는 등 상관관계를 통한 인사이트 도출이 점점 확산되고 있다.
7가지 빅데이터 활용 기본 테크닉
- 연관규칙 학습: 어떤 변인 간에 주목할 만한 상관 관계가 있는지를 찾아내는 방법
- 유형분석: 새로운 사건이 속할 범주를 찾아내는 방법
- 유전 알고리즘: 최적화가 필요한 문제의 해결책을 자연선택, 돌연변이 등과 같은 메커니즘을 통해 점진적으로 진화시켜 나가는 방법
- 기계학습=머신러닝: 컴퓨터가 데이터로부터 규칙을 찾고 이러한 규칙을 활용해 '예측'하는 데 초점을 둔 방법
- 회귀분석: 독립변수를 조작하면서 종속변수가 어떻게 변하는지를 보며 수치형으로 이루어진 두 변인의 관계를 파악하는 방법
- 감정분석: 특정 주제에 대해 말하거나 글을 쓴 사람의 감정을 분석하는 방법
- 소셜 네트워크 분석: 사람들간의 어떤 관계망을 가졌는지 분석하는 방법
