확률변수

‍이세현·2025년 4월 1일

Bigdata Analysis

확률변수와 분포

확률변수(Random variable): 표본공간(sample space)을 실수로 대응시키는 함수
- $X:\Omega\rightarrow\mathcal{R}$
  - 확률변수는 대문자 $X$ 로 표현하는 반면, 특정 value(사건)는 $x$ 로 표현한다. 즉 확률변수 $X$ 가 $x$ 일 확률은 $P(X=x)$
- 확률 공간에서 가측공간으로대응시키는 함수
- 시행으로부터 무작위로 발생하는 사건들을 측정 가능한 숫자에 대응시키는 규칙
- 표본공간 $\Omega$ 는 가능한 모든 output을 의미한다. 즉, 동전을 던졌을 때 표본공간은 $\Omega=\{H, T\}$
어떤 시행의 표본공간으로부터 정의된 확률변수 $X$ 가 있을 때 집합 $A$ 를 실수 상의 임의의 부분집합( $A\sub\mathcal{R}$ )이라고 한다면 $P(x\in A)$ 는 집합 $A$ 에 대응되는 표본공간( $\Omega$ )의 집합 $s$ 의 확률과 같다. 즉, $P(X\in A)=P\{s|X(s)\in A\}$

이산형 확률변수

이산형 확률변수를 나타낼 때 일반적으로 알파벳 $P, p$ 를 사용한다.

예제) $X$ : 주사위를 두 번 던져서 나온 두 값의 합
- 표본공간: $\{(1,1),(1,2),\cdots(6,6)\}$
- 확률변수의 값이 유한하므로 확률변수 $X$ 는 이산형 확률변수이다.
이산형 확률변수 $X$ 에 대해서 확률질량함수(probability mass function)은 $p(x)=P(X=x)$ 이며 집합 $A$ 의 확률은 $P(X\in A)=\sum_{x_i\in A}p(x_i)$
- 확률질량함수는 함수의 값이 그 자체로 확률의 의미를 갖는다.
The uniform distribution
확률변수 $X$ 가 정수 $1, 2, \cdots, n$ 에서 동일한 발생확률을 가진다면 확률질량함수 $p(x)=\frac{1}{n}$ 이다. 단, 이는 $x$ 가 1과 $n$ 사이의 값일 때 성립한다. 이외의 경우에는 $p(x)=0$ 이다.

연속형 확률변수

예제) $X$ : 실수 0과 1 사이에서 임의로 선택한 한 실수
- 표본공간: 0과 1 사이 실수
- 특정 확률변수의 값 $x$ 가 선택될 확률 $P(X=x)=0$ 이지만 특정 구간에 대한 확률 $P(X<x)=x$ 이다. 확률변수의 값이 가측 무한하지 않으므로 연속형 확률변수라고 한다.
연속형 확률변수 $X$ 에 대해서 확률밀도함수(probability density function) $f(x)$ 는 다음 조건을 만족한다.
1. 확률밀도함수의 넓이는 1이다. 즉, $\int_{-\infin}^{\infin}f(x)dx=1$
  - 확률밀도함수는 확률이 아니다. 따라서 확률밀도함수를 적분해서 1보다 큰 값이 나올 수는 있다. 확률을 구하고 싶다면 확률밀도함수를 특정 범위에서 적분하면 된다.
2. 확률밀도함수는 non-negative 함수이다. 즉, $f(x)\geq0$
  - 다만, 확률변수의 특정한 값에 대한 확률은 0이다. 즉, $P(X=x)=0$
  - 확률밀도함에서 함수의 값은 단지 그 순간의 점에서 밀도일 뿐 확률을 뜻하지 않는다.
3. 실수의 부분집합 $A(\sube\mathcal{R})$ 에 대해서 확률변수 $X$ 가 영역 $A$ 에 속할 확률은 $P(X\in A)=\int_{x\in A}f(x)dx$ 로 표현한다.
  - 확률변수 구간 $(a,b)$ 의 확률은 $P(a<X<b)=\int_{a}^{b}f(x)dx$
The uniform distribution
확률변수 $X$ 가 실수구간 $(a,b)$ 에서 동일한 발생확률을 가진다면 확률밀도함수 $f(x)=\frac{1}{b-a}$ 이다. 단, 이는 $a<x<b$ 일 때 성립한다. 이외의 경우에는 $f(x)=0$ 이다.
연속형 확률변수의 경우 이산형 확률변수와 달리 중앙값이 존재하며 중앙값까지의 누적확률분포는 항상 0.5이다.

분포함수

누적분포함수를 나타낼 때 일반적으로 대문자 알파벳 $F$ 를 사용한다.

확률변수 $X$ 에 대해서 $x$ 에서의 누적분포함수(cumulative distribution function)은 다음과 같이 정의된다.
$F(x)=P(X\le x)$
누적분포함수는
1. 이산형 확률변수 $X$ 일 때 $F(x)=\sum_{k\le x}f(k)=\sum_{k\le x}P(X=k)$
2. 연속형 확률변수 $X$ 일 때 $F(x)=\int_{-\infin}^{x}f(k)dk$
분포함수의 성질
- 누적분포함수 $F(x)$ 는 $x$ 에 대한 비감소함수이다. 즉, $x$ 가 양의 방향으로 갈수록 증가하거나 유지한다. 무한대로 가면 1에 수렴한다. $a<b$ 이면 $F(a)\le F(b)$
- 누적분포함수에 대해서 $x\rightarrow{-\infin}$ 이면 $F(x)\rightarrow0$ , $x\rightarrow{\infin}$ 이면 $F(x)\rightarrow1$ 이 성립한다.
- 누적분포함수는 항상 우측연속성이 성립한다.
분포함수의 연산
- $P(X>x)=P(X\ge x)=1-F(x)$
- $P(a<X<b)=F(b)-F(a)=\int_{a}^{b}f(x)dx$
- $P(X<x)=F(x^-)$ (continuous from the left)
- $P(X=x)=F(x)-F(x^-)$

이변량 분포

두 확률변수가 동시에 고려되는 분포로, 이변량 [이산형, 연속형, 누적분포함수, 주변분포]가 있다.

이산형 이변량 분포: 확률변수 $X$ 와 $Y$ 가 이산형 확률변수일 때, 순서쌍 $(X,Y)$ 를 이산형 결합 이변량 확률변수라고 한다.
- 이변량 확률질량함수(joint bivariate pmf)는 다음과 같다.
  $f(x,y)=P(X=x,Y=y)$
  1. $0\le f(x,y)\le 1$
  2. $\sum_{x\in X}\sum_{y\in Y}f(x,y)=1$
  3. 확률질량함수: $P((X,Y)\in A)=\sum\sum_{(x,y)\in A}f(x,y)$ , 이때 $A\sube\mathcal{R}^2$
$X,Y$ 각각에 대한 주변확률분포 marginal pdf는 다음과 같다. $f_X(x)=\int f(x,y)dy \\ f_Y(y)=\int f(x,y)dx$

조건부 분포

조건부 확률은 $P(A|B)=P(A\cap B)P(B)$ 이다.
$X, Y$ 가 이산형 결합일 때 조건부확률은 $P(X=x|Y=y)=\frac{P(x\cap y)}{P(y)}=\frac{f(x,y)}{f(y)}$

확률변수의 독립

두 사건의 독립 조건: $P(A|B)=P(A), P(B|A)=P(B)$
- 확률변수 $A$ 의 결과는 확률변수 $B$ 의 결과에 영향을 미치지 않는다.
이변량 함수의 독립: $f(x,y)=f_X(x)\cdot f_Y(y)$
- $P(X\le x, Y\le y)=P(X\le x)\cdot P(Y\le y)$

확률변수의 기대값

확률변수와 그 확률을 곱한 전체 값을 합하여 구한 값을 기대값이라고 한다. 이는 각 확률변수의 확률을 가중치로 하여 모든 확률변수들에 대해 가중평균을 구한 것과 같으며, 일반적으로 중심척도를 나타내는 평균이라고 한다.

확률질량함수 $f(x)$ 에 대해 $\mu=E[X]=\sum_Xx\cdot f(x)$
확률밀도함수 $f(x)$ 에 대해 $\mu=E[X]=\int_\mathcal{R}x\cdot f(x)dx$
확률변수 $X$ 의 $k$ 차 적률( $k$ -th moment)은 다음과 같이 정의된다.
$E[X^k]=\begin{cases} \sum_Xx^k\cdot f(x)\\ \int_\mathcal{R}x^k\cdot f(x)dx \end{cases}$
- $M_X(t)=E[e^{tX}]$