데이터 시대를 살아가며 데이터를 올바르게 이해하고 분석하는 능력은 필수적이 되었습니다. 오늘은 통계의 기초 개념부터 머신러닝의 원리, 그리고 클라우드 기반의 Azure Machine Learning 활용법까지 데이터 분석의 전 과정을 아우르는 핵심 내용을 정리해 보겠습니다.
💡 Part 1. 데이터와 머신러닝 개요
1. 데이터와 통계: 팩트풀니스(Factfulness)
통계학자 한스 로슬링(Hans Rosling)의 Gapminder 프로젝트는 데이터와 통계의 중요성을 여실히 보여줍니다. 세계의 실제 현황에 대한 13가지 퀴즈를 풀어보면, 사람들이 데이터 없이 세상을 얼마나 오해하고 있는지 알 수 있습니다.
- 데이터 검증 항목: 저소득 국가 여성 교육률, 세계 극빈층 비율 변화, 세계 기대 수명, 아동 예방접종률 등
- Gapminder 차트: X축(1인당 GDP) × Y축(기대 수명) × 버블 크기(인구) 형태로 국가별 현황을 직관적으로 시각화
- 핵심 메시지: 편견을 버리고 데이터 기반의 사실적 세계관(Factfulness)을 가져야 한다.
2. 통계 학습 로드맵
통계를 마스터하기 위해 우리가 알아야 할 목차는 다음과 같습니다.
| 항목 | 내용 |
|---|---|
| 통계 기본 개념 | 모집단, 표본, 모수, 통계량 등 기초 |
| 기술 통계 | 평균, 분산, 표준편차, 시각화 |
| 확률과 분포 | 확률 변수, 이산/연속 분포 |
| 추정과 가설 검정 | 신뢰구간, t-검정, 카이제곱, ANOVA |
| 상관분석 | 피어슨, 스피어만, 켄달 |
3. 머신러닝 개요
인공지능 분야의 포함 관계를 살펴보면 다음과 같습니다.
인공지능 (AI) ⊃ 머신러닝 (ML) ⊃ 딥러닝 (DL) ⊃ 생성형 AI (Generative AI)
- 머신러닝 유형: 지도학습 / 비지도학습 / 강화학습
- 생성형 AI 기술: GAN, VAE, Transformer
- 역사: 1950년대(초기 개념) → 1980년대(전문가 시스템) → 2000년대(빅데이터) → 2010년대(딥러닝 붐)
📌 기존 프로그래밍 vs 머신러닝 방식
| 구분 | 프로그램 기반 (기존) | 데이터 기반 (머신러닝) |
| :--- | :--- | :--- |
| 방식 | 사람이 명시적 규칙을 직접 지시 | 데이터에서 규칙을 스스로 학습 |
| 동작 | 프로그램 코드에 따라 명령 수행 | 학습한 규칙을 바탕으로 새 데이터 예측 |
4. 머신러닝 절차 (5단계)
데이터 분석 프로젝트는 일반적으로 다음의 파이프라인을 따릅니다.
- 문제 정의: 비즈니스 목적 정의, 환경/상황 분석, 모델링 방법 설정
- 데이터 수집 및 이해: 데이터 수집, 이해, 레이블링
- 데이터 준비: 데이터 전처리, 학습/테스트 세트 분리
- 데이터 모델링: 알고리즘 선택, 모델 학습 및 하이퍼파라미터 조정
- 모델링 평가: 테스트 데이터로 결과 평가
☁️ Part 2. Azure Machine Learning 활용
Microsoft의 클라우드 기반 ML 플랫폼인 Azure ML의 구조와 활용법을 알아봅니다.
1. Azure ML 플랫폼 구조
Azure Cloud (Microsoft Azure)
└── Subscription
└── Resource Group
└── Workspace (Azure ML Studio)
├── Compute / Notebooks / Pipelines
└── Data / Experiments / Models
⚙️ 주요 기능 구성요소
- Scalable Compute: 온디맨드 확장 가능 컴퓨팅
- Data Storage: 데이터 저장 및 연결
- ML Workflow Orchestration: 워크플로우 자동화
- Model Registration & Management: 모델 등록/관리
- Metrics & Monitoring: 성능 지표 모니터링
- Model Deployment: 모델 배포
🖥️ Azure ML Studio 주요 메뉴
- Notebooks: Python/Jupyter 기반 코드 작성 및 실행
- Automated ML: 자동 머신러닝
- Designer: 노코드(No-code) 드래그 앤 드롭 ML 파이프라인
- Prompt flow: 생성형 AI 프롬프트 플로우
- Data / Jobs / Models: 데이터 자산, 실험 작업, 학습된 모델 관리
- Endpoints: 배포된 모델의 REST API 엔드포인트
- Compute: CPU/GPU 인스턴스 관리
2. Azure ML Designer 실습 흐름 (자전거 렌탈 데이터 예측)
- 데이터 등록: Data Assets에서
bike_rental_data(Tabular) 등록. Blob Storage 연결 후 스키마 자동 감지(13개 컬럼, 731행). - 데이터 준비:
- Select Columns in Dataset: 필요 컬럼 선택
- Edit Metadata: 컬럼 타입/속성 편집
- Convert to Indicator Values: 범주형 변수 인코딩
- Normalize Data: 수치형 데이터 ZScore 정규화 (temp, atemp, hum, windspeed)
- Split Data: 학습/테스트 분리 (50:50, 랜덤 분할)
- 모델링: Linear Regression (OLS, L2 정규화 0.001) 선택 후 Train Model (Target = rentals)
- 평가 (Evaluate Model):
- Mean Absolute Error: 300.29
- Root Mean Squared Error: 407.20
- Relative Squared Error: 0.322
- Relative Absolute Error: 0.537
- Coefficient of Determination (R²): 0.678
- 배포 및 유추: Create Inference Pipeline 생성 후 Endpoints에서 관리. REST API 형태로 Python, C#, R에서 호출 가능.
3. Microsoft Azure 기계 학습 알고리즘 치트 시트
| 목적 | 주요 알고리즘 |
|---|---|
| 값 예측 (회귀) | 선형 회귀, 포아송 회귀, 신경망 회귀, 의사결정 포레스트 회귀 |
| 두 범주 예측 (이진 분류) | 2클래스 SVM, 로지스틱 회귀, 의사결정 트리, 신경망 |
| 여러 범주 예측 (다중 분류) | 다중 클래스 로지스틱 회귀, 신경망, 의사결정 포레스트 |
| 구조 검색 (클러스터링) | K-평균 |
| 텍스트 분석 | N-Gram, Word2Vec, 텍스트 전처리 |
| 추천 시스템 | SVD 추천 |
| 비정상 발생 찾기 | 변칙 검색 |
📈 Part 3. 통계 기초 완벽 정리
1. 통계학 개요
데이터를 수집, 분석, 해석 및 표현하는 과학으로, 불확실성을 다루고 데이터 기반 의사결정을 지원합니다.
- 목적: 유의미한 정보 도출, 패턴 이해, 연관성 파악, 예측/추론, 불확실성 해소
- 중요성: 수치화를 통한 신뢰성 부여, 실증적 근거 자료 제시
📊 기술 통계 vs 추론 통계
| 구분 | 기술 통계 (Descriptive) | 추론 통계 (Inferential) |
| :--- | :--- | :--- |
| 정의 | 데이터 집합의 특성을 수치로 설명 | 표본으로 모집단의 특성을 추론 |
| 방법 | 평균, 분산, 표준편차, 히스토그램 | 지방선거 출구조사, 제품 불량률 조사 |
2. 핵심 용어 및 표본 추출
모집단(Population) → 표본 추출(Sampling) → 표본(Sample) → 모집단 추정(Estimation) → 모집단
- 모수 (Parameter): 모집단의 분포를 결정하는 정보 (모평균 μ, 모분산 σ²)
- 통계량 (Statistic): 표본에서 계산된 값 (표본평균 x̄, 표본분산 S²)
- 전수조사 vs 표본조사: 모집단 전체 조사 vs 일부만 추출하여 조사
🎲 표본 추출 방법
- 확률적 추출: 무작위 추출(난수표), 체계적 추출(규칙적), 층화 추출(하위 집단 분할 후 비례 추출)
- 비확률적 추출: 조사자의 자의적 선택 또는 자발적 참여
3. 기술 통계의 측정 지표
🎯 중심경향성 측정
| 측정값 | 정의 / 사용 시기 | 장단점 및 예시 |
| :--- | :--- | :--- |
| 평균 (Mean) | 모든 값의 합 ÷ 개수 (정규분포) | 대표값 통합 용이 / 이상치에 민감 |
| 중앙값 (Median)| 크기 순 정렬 시 중앙값 (비대칭 데이터) | 이상치 영향 적음 / 대용량 정렬 시간 소요 |
| 최빈값 (Mode) | 가장 자주 나타나는 값 (범주형) | 빈도 표현 좋음 / 최빈값이 없거나 여러 개일 수 있음 |
| 가중평균 | 가중치 부여 후 평균 계산 | 중요도 차이 반영 가능 (예: 5천원 8개 + 9천원 2개) |
| 조화평균 | 역수의 평균의 역수 (비율, 속도) | 비율 계산에 적합 / 직관적이지 않음 |
📏 산포도 측정
- 범위 (Range): max - min (단순하나 이상치 민감)
- 분산 (Variance, σ²): 평균에서 얼마나 떨어졌는지 제곱 평균
- 표준편차 (Std Dev, σ): 분산의 제곱근 (원래 단위와 동일)
- IQR: Q3 - Q1 (중앙 50% 범위, 이상치 영향 최소화)
📉 왜도(Skewness)와 첨도(Kurtosis)
- 왜도 (비대칭성):
- 양의 왜도(우측 꼬리): 평균 > 중앙값 (예: 급여, 주택 가격)
- 음의 왜도(좌측 꼬리): 평균 < 중앙값 (예: 쉬운 시험 점수)
- 첨도 (뾰족함):
- 양의 첨도 (>3): 뾰족하고 꼬리 두꺼움 (이상치 많음)
- 정규 분포 (=3): 표준 형태 (Mesokurtic)
- 음의 첨도 (<3): 평평하고 꼬리 얇음
(시각화는 이러한 수치로 표현 못하는 패턴, 이상치, 관계를 직관적으로 파악하고 의사결정을 돕기 위해 필수적입니다.)
4. 확률과 분포
- 기본 규칙: 덧셈 법칙
P(A∪B) = P(A) + P(B) - P(A∩B), 곱셈 법칙(독립사건)P(A∩B) = P(A) × P(B) - 확률 변수 비교:
- 이산 확률 변수: 셀 수 있는 값 (확률질량함수 PMF). 예: 주사위 눈
- 연속 확률 변수: 연속적 실수 값 (확률밀도함수 PDF). 예: 온도, 키
🔢 이산 확률 분포
- 베르누이 분포: 단 2가지 결과(성공/실패)의 단일 시행. (예: 동전 던지기)
- 이항 분포: n번의 베르누이 시행 중 성공 횟수.
- 푸아송 분포: 단위 시간/공간 내 특정 사건의 발생 빈도. (예: 콜센터 전화 수)
🌊 연속 확률 분포
- 정규 분포: 종 모양의 대칭 분포. (68%-95%-99.7% 규칙)
- 지수 분포: 사건 간의 시간 간격 분포. (예: 다음 전화가 올 때까지 대기 시간)
- 카이제곱 분포: 정규분포를 따르는 독립 변수들의 제곱합의 분포. (분산 추정 시 사용)
⚖️ Part 4. 추정과 가설 검정, 상관분석
1. 추정과 가설 검정
- 추론 방법: 점추정(단일 값 추정) vs 구간추정(모수가 포함될 구간 제시)
- 신뢰구간 / 신뢰수준(보통 95%) / 유의수준(α, 기각역)
- 가설 검정:
- 귀무가설(H₀): 기각하고자 하는 기존의 주장 (효과 없음)
- 대립가설(H₁): 증명하려는 새로운 가설 (효과 있음)
- P-value: H₀ 하에서 관측 데이터가 발생할 확률. (P-value < α 이면 H₀ 기각)
🚨 가설 검정의 오류 (혼동 행렬 - Confusion Matrix)
| | 예측: Positive (H₀ 기각) | 예측: Negative (H₀ 채택) |
| :--- | :--- | :--- |
| 실제: Positive (H₁ 참) | TP (정답) | FN (2종 오류, Type II) |
| 실제: Negative (H₀ 참) | FP (1종 오류, Type I) | TN (정답) |
(1종 오류: 효과 없는 약을 있다고 판단 / 2종 오류: 효과 있는 약을 없다고 판단)
✅ 가설 검정 방법 비교
| 검정 방법 | 목적 (비교 대상) | 종류 및 예시 |
| :--- | :--- | :--- |
| t-검정 | 평균 비교 (1~2그룹) | 단일 표본(특정 값 비교), 독립 표본(남녀 성적), 대응 표본(다이어트 전후) |
| 카이제곱 검정 | 범주형 변수 분석 | 적합도 검정(주사위 공정성), 독립성 검정(성별-흡연), 동질성 검정(지역별 질병률) |
| 분산 분석 (ANOVA) | 3그룹 이상 평균 비교 | 일원 분산 분석(학급 간 평균), 이원 분산 분석(학급+성별 성적) |
2. 상관분석 (Correlation Analysis)
두 변수 간의 관계의 방향(양/음)과 강도를 -1 ~ +1 사이의 계수로 평가하는 통계 기법입니다.
- 강도 기준: 절댓값 0.7 이상(강함), 0.3~0.7(중간), 0.3 미만(약함)
- r = +1 (완전한 양의 상관), r = -1 (완전한 음의 상관), r = 0 (상관없음)
🔗 상관계수의 종류
| 종류 | 측정 대상 | 특징 (장단점) | 예시 |
| :--- | :--- | :--- | :--- |
| 피어슨 (Pearson) | 연속형 변수의 선형 관계 | 직관적 해석 가능 / 비선형 관계 반영 불가 | 키와 몸무게 |
| 스피어만 (Spearman) | 순위형/비선형 관계 | 이상치에 강함 / 원본 크기 정보 손실 | 학생 성적 순위 vs 스포츠 순위 |
| 켄달의 타우 (Kendall's) | 변수 순서 간 상관성 (소규모) | 순위 쌍 비교, 비선형 반영 / 계산 복잡 | 직무 수행 순위 vs 승진 순위 |
