데이터란?
우리가 지금까지 사용해왔고, 앞으로도 사용 할 "데이터" 란 무엇일까?
- 프로그래밍에서 데이터는 정보의 단위로, 컴퓨터가 처리하고 저장하는 모든 종류의 값들을 나타낸다.
- 데이터는 숫자, 문자, 논리값 등 다양한 형태로 표현될 수 있으며, 프로그램의 실행에 필요한 입력이나 출력으로 사용된다.
즉, 어떤 작업에 대한 원천 이라 볼 수 있는 것이다.
그리고 해당 데이터들을 저장하는 저장소가 데이터베이스(Data base) 이다.
데이터가 어떻게 저장되는지에 따라 데이터의 종류가 나눠지게 되는데, 아래 글에서 데이터의 종류와 특성에 대해 학습해 보자.
정형데이터(Structured data)
- 정형데이터는 고정된 스키마 또는 테이블 형태를 가지며, 각 열(column)은 명확한 데이터 유형을 가지고 있다.
- 예시:
- 고객 주문 데이터 : 고객 ID, 주문 날짜, 주문 상품, 주문 수량, 결제 금액 등의 열로 구성된 테이블 데이터.
- 학생 성적표 : 학생 이름, 과목명, 성적 등의 열로 구성된 테이블 데이터.
즉, 구조화 된 데이터구조이기 때문에 값의 의미를 파악하기 쉽다.
하지만 데이터베이스에 들어간 데이터라고 말하는 오류를 범하는데,
데이터베이스는 모든 데이터가 들어갈 수 있기 때문에 해당 정의는 틀렸다 볼 수 있다.
정형데이터) 관계형 데이터베이스, CSV
비정형 데이터(Unstructured data)
- 비정형데이터는 구조화되지 않은 형태로 존재하며, 데이터의 형식과 구조가 일정하지 않다.
- 예시:
- 소셜 미디어 게시글 : 사용자가 자유롭게 작성한 텍스트 데이터.
- 음성 녹음 파일 : 음성으로 녹음된 오디오 데이터.
- 이미지, 비디오 : 시각적인 데이터로 구성된 파일.
즉, 관계형 데이터 저장소와 같은 행 및 열의 테이블 형식 스키마가 없는 데이터베이스이다.
그리고 구조화 된 데이터구조가 아니기에 값의 의미를 쉽게 파악하기 힘들다.
그리고 대용량에 속한 비정형데이터의 의미를 분석했기 때문에
비정형 데이터는 빅데이터의 탄생에 큰 역할을 했다.
하지만 빅데이터에는 정형데이터와 반정형 데이터도 포함되기 때문에
비정형 데이터만 분석한다는 것은 아니다.
비정형 데이터) 비관계형 데이터베이스(No SQL)
반정형 데이터(Semi-structured data)
- 반정형데이터는 일부는 구조화되어 있지만, 일부는 구조화되지 않은 데이터로 이루어진 형태이다.
- 예시:
- XML 파일 : 태그를 사용하여 일부 데이터를 구조화하고, 일부 데이터는 태그 없이 자유롭게 작성.
- JSON 파일 : 키-값 쌍으로 구성된 데이터 형식으로, 일부 데이터는 구조화되어 있지만 일부는 자유롭게 작성.
- 로그 파일 : 시간, 이벤트 등의 정보를 포함하고 있으며, 특정한 형식에 따라 구조화되어 있을 수 있다.
즉, 정형 데이터와 같이 구조화되어 있지는 않으나, 스키마 및 메타데이터 특성을 가지고 있다.
결국 다른것은 데이터 베이스는 데이터를 저장하는 장소와 스키마가 분리되어 테이블을 생성하고 데이터를 저장하지만,
반정형 데이터는 스키마는 있지만 구조되지는 않았다는 것이다.
참고 : https://modulabs.co.kr/blog/bigdata-type/
