[DL] Generative vs Discriminate Model

Reference

💻 딥러닝의 깊이 있는 이해를 위한 머신러닝 강의 1-2
🔗 Discriminative vs. Generative model
🔗 Generative model과 Discriminate model 차이점과 비교
🔗 discriminative vs generative

이번 포스팅에서 정리할 개념은 첫 번째 강의의 1-2 part와 아래 세 가지 블로그를 참고하여 정리했음을 밝힙니다.

또한, 해당 포스팅에 사용된 이미지는 첫 번째 reference의 강의 자료(pdf)임을 밝힙니다.

Pattern Recognition에서 classification에 사용하는 모델은 2가지로 나뉩니다.

Generative model과 Discriminate model인데요.

이 두 가지를 각각 살펴보겠습니다.

구글의 Background: What is a Generative Model? 의 글을 살펴보면, 두 가지 모델에 대한 정의가 나와 있습니다.

• Generative models can generate new data instances.
• Discriminative models discriminate between different kinds of data instances.

새로운 데이터 인스턴스를 생성할 수 있다는 점과 서로 다른 종류의 데이터 인스턴스를 구별 할 수 있다는 점이 차이점입니다.

generative model

generative model이란 sample을 확률적으로 표현하여 일반화한 모델을 의미합니다.

데이터 $X$가 생성되는 과정을 두 개의 확률모형

$p(Y)$
$p(X|Y)$

으로 정의할 수 있으며

bayes rule을 사용해 $p(X|Y)$를 간접적으로 도출하는 모델을 가리킵니다.

더 쉽게 말로 설명하면, 주어진 training data를 학습하여 학습 데이터의 분포를 따르는 유사한 데이터를 생성하는 모델을 의미합니다.

학습 데이터와 유사한 sample을 찾는 것이 목표이기 때문에 학습 데이터의 분포를 파악하여 학습하는 것이 가장 중요한 목적이 됩니다.

generative model의 문제점은 기존에 사용된 sample들과의 거리 값을 기준으로 분류하므로 새로운 feature가 입력되면 결과값이 나오지 않는다는 것입니다.

그래서 0과 1처럼 명화한 결론을 도출하기에 적합하지 않은 모델이라 볼 수 있습니다.

generative model을 parametric model과 non-parametric model로 뷴류할 수 있는데요.

parametric model은 어떤 거리 값을 기반으로 값을 도출하며

non-parametric model은 거의 모든 샘플들을 활용하는 모델을 의미합니다.

generative model은 class의 distribution에 주목하여 학습하는 것이 목표이기 때문에

일반적인 bayesian inference과 마찬가지로 training data가 많을 수록 discriminative model과 비슷한 성능으로 수렴하는 경향이 있습니다.

discriminative model

discriminative model이란 일반적이고 직관적인 머신러닝 모델이라 생각하시면 됩니다.

데이터 $X$가 주어졌을 때 레이블 $Y$가 나타날 조건부확률 $p(Y|X)$를 직접적으로 반환하는 모델을 가리키는데요.

lable 정보가 있어야 해서 지도학습에 속하며, $X(sample)$의 lable을 잘 구분하는 decision boundary를 학습하는 것이 목표가 됩니다.

대표적인 예시로 linear regression과 logistic regression이 있습니다.

이미지를 참고하여 다시 설명하겠습니다.

discriminative model는 학습에 존재하는 data를 활용해 decision boundary를 도출합니다.

두 가지 종류의 sample이 존재할 때 두 가지 sample을 분류할 수 있는 선을 찾는 것입니다.

단순히 두 개의 정확한 선으로 구분할 수 있는 선을 찾아나가는 과정

discriminative model의 장점과 단점은

• 장점: 완전히 다른 sample이 들어오더라도 0과 1 형태의 결론을 제시합니다.
• 단점: 해당 sample이 처음 보는 sample인지 알 수 없습니다.

discriminative model은 몇 가지 특징적인 pattern을 찾아 차이를 학습합니다.

그 예시로 least square와 support vector machine이 있는데요.

least square의 경우 모든 sample들 간의 거리를 기반으로 가운데 선을 찾는 과정입니다.

sample들 간의 거리를 최소화하는 선을 찾지만, 잘못된 sample이 존재할 경우 결과에 잘못된 영향을 미치게 됩니다.

이런 특이한 sample을 제거하거나 무시하여 decision boundary를 찾는 방법도 있습니다.

support vector machine은 가장 가까이 있는 sample 2개를 집어서 그 두 개의 가운데를 가로지르는 decision boundary를 도출합니다.

이를 maximum margin이라고 한다네요.

상대적으로 정확한 결과 값을 얻을 수 있다고 합니다.

위 그림은 손으로 쓴 숫자의 generative and discriminative model입니다.

왼쪽의 discriminative model은 손글씨가 0인지 1인지 차이를 말하려고 하며,

line을 통해 데이터가 어디에 배치되는지 모델링 할 필요없이 0과 1을 구별할 수 있습니다.

generative model의 경우, 데이터 공간에서 실제와 가까운 숫자를 생성해서 1과 0을 생성하려고 합니다.

따라서 데이터 공간 전체의 분포를 모델링하는 과정이 필요합니다.

두 model을 비교하는 이미지는 더 많습니다.

generative model은 posterior를 간접적으로, discriminative model은 직접적으로 도출합니다.

generative model은 데이터 범주의 분포를 학습하며, discriminative model은 decision boundary를 학습합니다.