IID vs Non-IID

개념

IID (Independent and Identically Distributed)

• Independent (독립적): 이전 결과가 다음 결과에 영향 없음
• Identically Distributed (동일한 분포): 매번 같은 확률분포를 따름

Non-IID

• IID 조건 중 하나라도 만족하지 않는 경우

예시

구분	IID 예시	Non-IID 예시
독립성	동전 던지기 (매번 50% 확률)	주식 가격 (이전 가격에 영향받음)
동일분포	공정한 주사위 (항상 1/6 확률)	계절별 아이스크림 판매 (계절마다 다른 분포)

수식

IID 조건

확률변수 X₁, X₂, ..., Xₙ이 IID 일 때:

• 동일분포: P(Xᵢ ≤ x) = F(x) (모든 i에 대해)
• 독립성: P(X₁≤x₁, ..., Xₙ≤xₙ) = ∏ᵢ₌₁ⁿ F(xᵢ)

Non-IID 예시

• 의존성 있는 경우: Xₜ = φXₜ₋₁ + εₜ (AutoRegressive 모델)
• 분포 변화: Xₜ ~ N(μₜ, σₜ²) where μₜ = μ₀ + βt

중요성

• 통계학/머신러닝 이론의 많은 부분이 IID 가정 하에 구축
• 중심극한정리: (X̄ₙ - μ)/√(σ²/n) →d N(0,1) (IID 조건 필요)
• Non-IID 데이터: 시계열 분석, 강화학습 등 특별한 방법 필요

적용

데이터 종류	적합한 방법
IID	일반적인 머신러닝 알고리즘
Non-IID	시계열 분석, 순차 모델링 등