데이터 분석의 첫 단계는 데이터와 변수의 특성을 정확히 이해하는 것입니다.
데이터는 그 특성에 따라 정형, 반정형, 비정형 등으로 분류되며, 변수는 데이터 안에서 분석하고자 하는 대상이 되는 요소를 의미합니다.
이를 체계적으로 분류하면 분석 방향과 전처리, 모델링 전략을 효과적으로 세울 수 있습니다.
1. 데이터의 분류
1) 데이터 타입 (Type)
데이터의 기본 타입은 정수형(int), 실수형(float), 문자열(str), 불리언(bool) 등이 있으며, 각각의 데이터 타입은 다양한 연산 및 처리 방법이 있습니다.
2) 데이터 특성 (Data Format)
데이터는 그 특성에 따라 두 가지로 나뉩니다.
범주형 데이터 (Categorical Data)
명목형(Nominal): 순서가 없는 카테고리. 예를 들어, 성별, 혈액형 등이 이에 해당합니다.
서열형(Ordinal): 순서가 있는 카테고리. 예를 들어, 교육 수준, 만족도(고/중/저) 등이 있습니다.
수치형 데이터 (Numerical Data)
이산형(Discrete): 셀 수 있는 정수 값. 예를 들어, 학생 수, 사건 발생 횟수 등이 대표적입니다.
연속형(Continuous): 무한히 많은 값을 가질 수 있는 실수 값. 예를 들어, 키, 체중, 온도 등이 이에 속합니다.
데이터 유형 (Category)
또한, 데이터는 형태에 따라 아래와 같이 분류됩니다.
정형 데이터 (Structured Data): 테이블 형태의 데이터로, 데이터베이스나 CSV 파일, 스프레드시트 등을 포함합니다.
비정형 데이터 (Unstructured Data): 텍스트, 이미지, 오디오 등 구조화되어 있지 않은 데이터.
반정형 데이터 (Semi-structured Data): XML, JSON 등 일정한 구조는 있으나 엄격한 스키마를 갖추지 않은 데이터.
- 변수의 분류
변수(Variable)는 데이터를 구성하는 요소로, 분석 대상에 따라 여러 방식으로 분류할 수 있습니다.
1) 변수의 수에 따른 분류
단변량(Univariate): 하나의 변수만 분석하는 경우. 예를 들어, 특정 반의 학생들의 키만 분석.
다변량(Multivariate): 두 개 이상의 변수를 동시에 분석하는 경우. 예를 들어, 학생들의 키와 몸무게를 함께 분석.
2) 변수 유형에 따른 분류
독립 변수 (Independent Variable / Feature): 종속 변수에 영향을 미치는 변수로, 모델의 입력으로 사용됩니다.
종속 변수 (Dependent Variable / Target, Label): 예측이나 설명의 대상이 되는 변수입니다.
또한, 데이터 분석 및 기계 학습에서는 변수의 용어가 다양하게 사용됩니다.
예를 들어, Feature, Input, 요인은 독립 변수를, Target, Label, Output은 종속 변수를 의미합니다.
용어 정리 (데이터프레임에서의 관점)
열(Column), 변수(Variable), 속성(Attribute), 특성(Feature), 차원(Dimension)
→ 데이터프레임의 각 열은 변수로서 관측된 데이터를 담고 있으며, 분석의 핵심이 됩니다.
행(Row), 관측치(Observation), 샘플(Sample), 데이터포인트(DataPoint)
→ 각 행은 하나의 관측 단위로, 개별 데이터 케이스를 나타냅니다.
- 실습 및 응용 예시
실제 분석 프로젝트에서는 다양한 데이터셋을 활용해 위의 분류 기준에 따라 데이터와 변수를 정리합니다.
예를 들어, 타이타닉 데이터셋에서는 '성별', '나이', '탑승 등급' 등이 범주형 데이터에 해당하며, '요금'은 수치형 데이터 중 이산형 혹은 연속형 데이터로 분류할 수 있습니다.
또한, 회귀 모델링을 진행할 때 '요금'을 종속 변수로 설정하고, '나이', '탑승 등급' 등을 독립 변수로 활용할 수 있습니다.
- 요약 및 결론
데이터 분류와 변수 분류는 데이터 분석의 기초로, 이를 잘 이해하면 전처리, 모델링, 분석 방법을 효율적으로 선택할 수 있습니다.
범주형 데이터와 수치형 데이터, 정형 데이터와 비정형 데이터 등 다양한 데이터 특성을 고려하여 분석 전략을 세워야 합니다.
변수의 수에 따른 단변량과 다변량 분석, 그리고 독립 변수와 종속 변수의 구분은 기계 학습 모델의 성능 향상을 위해 매우 중요한 요소입니다.
앞으로 다양한 데이터셋에 대해 위의 분류 기준을 실습하며, 데이터를 정리하고 분석하는 능력을 기르는 것이 데이터 과학 및 기계 학습의 성공적인 시작이라고 할 수 있습니다.
