Discrete probabilities and Continuous probabilities

Rainy Night for Sapientia·2023년 6월 16일

Discrete probabilities and Continuous probabilities

앞서 확률변수(Random variables, $X$ )란 표본공간(Sample Space, $\Omega$ )에 대해서 실수 범위 내에서 타겟공간(Target Space, $\tau$ )의 숫자를 맵핑해주는 함수라 했습니다. 그리고 이러한 확률변수의 맵핑 관계에 따른 확률 값을 계산해주는 함수를 확률분포(Probability function)이라 했습니다.

X : \Omega \to \tau

이 중 결과가 되는 타겟공간의 수가 이산적인(discrete) 수의 집합이냐, 연속적인(continous) 수의 범위이냐에 따라 확률분포(Probability function)의 형태와 수식이 차이가 납니다.

1. Discrete Probability Function

먼저 이산적인 타겟공간을 가진 확률변수는 이산확률변수라 부르고, 확률분포는 이산확률분포라 부릅니다. 그리고 확률질량함수(Probability Mass Function)이라 부릅니다.

쉬운 설명을위해 타겟공간 $\tau$ 이 다음과 같이 독립적인 이산적인 수( $x$ )의 집합이라고 가정합시다.

x \in \tau, \: (x = x_1, x_2, ... , x_n)

그렇게 되면 확률 변수( $X$ )에 대하여 $P(X=x)$ 와 같은 확률분포 수식이 도출됩니다.
이러한 이산형확률분포에 따른 확률질량함수는 막대그래프 모양을 띌겁니다.
물론 모든 막대의 합은 확률의 값이므로 1이 됩니다.

\sum_{i=0}^{n} P(X=x_i) = 1

이러한 이산형확률분포에는 베르누이 분포(Bernoulli), 이진분포(Binomial Distribution), 다항분포(Multinomial Distribution), 포아송분포(Poisson Distribution) 등이 있습니다.

이러한 이산확률변수의 평균은 어떻게 될까요?

2. Continous Probability Function

반면 타겟공간이 연속적인 확률변수의 확률분포는 연속확률분포라 하고 이러한 함수를 확률밀도함수(Probability Density Function)이라 부릅니다.

확률밀도함수의 타겟공간은 다차원의 연속적인 실수의 공간내의 다양한 간격(intervals)이 됩니다. 그리고 당연하게도 확률의 값은 음수를 가질 수 없으며, 모든 확률의 합은 1이 됩니다.
이를 이용해 확률밀도함수 $f(x)$ 를 정의하면 다음과 같습니다.

\int_{\R^D} f(x) dx =1, \:(\forall{x} \to \R^D : f(x) \ge 0 )

특정한 범위에 대한 확률 값은 다음과 같습니다.

P(a \le X \le b) = \int_{a}^{b} f(x) dx

이러한 연속확률분포에는 정규분포(Normal Distribution)과 T-분포(T-distribution)등이 있습니다.

References

[1] Marc Peter Deisenroth, A. Aldo Faisal, and Cheng Soon Ong, Mathematics for Machine Learning

Rainy Night for Sapientia

Artificial Intelligence study note

이전 포스트

Random Variables

다음 포스트

Discrete probabilities and Continuous probabilities