[DL] Parametric vs Non-parametric model

Reference

💻 딥러닝의 깊이 있는 이해를 위한 머신러닝 강의 4-1
🔗 Parametric model과 Non-parametric model
🔗 Parametric vs Nonparametric Models

이번 포스팅에서 정리할 개념은 첫 번째 강의의 4-1 part와 아래 세 가지 블로그를 참고하여 정리했음을 밝힙니다.

또한, 해당 포스팅에 사용된 이미지는 첫 번째 reference의 강의 자료(pdf)임을 밝힙니다.

Parametric 과 Non-parametric의 개념은 통계학에서 parameter(모수)를 필요로 하는가, 필요로 하지 않는 가에 따라 모수통계학(Parametric Statistics)와 비모수통계학(Nonparametric Statistics)로 구분합니다.

머신러닝을 공부하다가 Parametric model과 Non-parametric model을 종종 들어보셨을 것 같은데요.

이 두 개념을 들었을 땐 엄청 낯설게 느껴지는데, 생각보다 간단합니다.

그전에 model parameter와 model hyper parameter에 대한 개념을 알고 계셔야 이해에 도움이 됩니다.

parametric과 Non-parametric model 사이의 선택은 필요한 paramter 수에 따라 다릅니다.

내려진 정의에 따르면,

• Parametric model has a fixed number of parameters.
• Non-parametric model has the number of parameters growing with the amount of training data.

라고 합니다.

하나씩 살펴보겠습니다.

What is a model parameter?

model parameter는 model 내부에 있고 데이터에서 값을 추정할 수 있는 구성 변수입니다.

• 예측할 때 모델에 필요
• 문제에 대한 모델을 정의
• 데이터에서 추정되거나 학습됨
• 수동으로 설정하지 않음
• 종종 학습된 모델의 일부로 저장됨

parameter는 machine learing algorithms의 핵심입니다.

과거 훈련 데이터에서 학습된 모델의 일부입니다.

통계적 관점에서는

가우스 분포와 같은 변수에 대한 분포를 가정할 수 있습니다.

가우스 분포의 두 parameter는 평균($\mu$)과 표준편차($\sigma$)이고, 이러한 paramter가 data에서 추정되고 예측 모델의 일부로 사용될 수 있는 machine learning에서도 적용됩니다.

프로그래밍 관점에서

paramter를 함수에 전달할 수 있습니다. 이 경우의 paramter는 값 범위중 하나를 가질 수 있는 인수 중 하나입니다.

ML에서 사용 중인 특정 model은 function이며 data에 대한 prediction을 수행하기 위해 paramter가 필요합니다.

이때 모델에 고정 또는 가변 parameter 수가 있는지의 여부가 “parametric” or “nonparametric“을 결정합니다.

Parametric model

parametric model은 데이터가 특정 분포를 따른다고 가정하고, 학습을 하면서 결정해야 하는 분포의 parameter 종류의 수가 명확하게 정해져 있습니다.

데이터의 수에 따라 paramter의 수가 변하지 않습니다.

따라서 parametric model은 model의 형태를 정하고, 이 model의 paramter를 학습을 통해 발전시키는 알고리즘입니다.

Non-parametric model

non-parametric model은 데이터가 특정 분포를 따른다는 가정이 없기 때문에 학습에 따라 tuning해야 할 paramter가 명확히 정해져 있지 않습니다.

따라서 non-parametric model은 data에 대한 사전 지식이 전혀 없을 때 유용하게 사용됩니다.

Parametric vs Nonparametric Models

parametric model

• parametric model은 $\theta$의 유한 집합을 가정
• paramter가 주어질 때, 예측된 값 $x$는 data 집합 $D$와 무관함
• 따라서 paramter $\theta$는 데이터에 대해 알아야 할 모든 것을 살펴봅니다.
• 데이터가 특정 분포를 따른다는 가정을 하기 때문에 flexibility가 낮음
• 데이터의 양이 제한되지 않더라도 모델의 복잡성이 제한됨

Nonparametric Models

• Nonparametric Models은 데이터 분포가 유한한 parameter 집합으로 정의될 수 없다고 가정함
• 무한한 차원을 가진다고 가정할 수 있음
• 보통 parameter를 function이라 생각함
• 데이터에서 알 수 있는 정보의 양은 데이터의 양에 따라 비례함

표로 정리

	parametric model	non-parametric model
정의	파라미터의 개수가 고정된 모델	데이터 샘플과 거의 동일하거나 비례하는 모델
종류	linear regression, logistic regression, bayes inference, neural network(cnn, rnn 등)	decison tree, random forest, K-NN classifier
특징	데이터가 많을수록 정확도가 올라감	데이터가 특정 분포를 따른다는 가정을 하지 않아 더 flexible함
한계	고정된 paramter로는 더 큰 데이터를 처리할 수 없음	속도가 느리고, 많은 데이터를 필요로 하지 않음, 모델의 형태에 대한 명확한 설명이 어려움