parametric vs. non-parametric model

참고링크

• 파라미터의 정의부터 parametric, non-parametric model에 대한 설명도 굉장히 깔끔하게 잘 정리되어 있는 글 (link)
• parametric, non-parametric model에 대한 설명부터 적합한 쓰임까지 정리된 글 (영어, link)

parametric model

• input과 ouput 사이의 관계를 정의한 수학적 모델
• parameter의 개수가 고정 (데이터의 수에 따라 파라미터의 수가 변하지 않음)
• 데이터가 특정 분포를 따른다고 가정 (less flexible)
• non-parametric model보다 제한적이지만, 학습이 빠르고 쉬움
• input data가 잘 정의되어 있고 예측가능할 경우 적합
• 예) linear regression, logistics regression, neural network

non-parametric model

• 수학적 모델에 기반하는 대신, 데이터 자체로부터 학습
• parameter의 개수가 고정되어 있지 않음 (데이터 샘플과 거의 동일하거나 비례)
• 데이터가 특정 분포를 따른다고 가정하지 않음 (more flexible)
• parametric model보다 유연하지만 연산비용이 높음 (computationally expensive)
• input data가 잘 정의되어 있지 않거나, 너무 복잡할 경우에 적합
• 예) decision tree, random forest, k-NN classifier, support vector machine