마르코프 부등식

NK590·2023년 10월 2일

마르코프 부등식(Markov Inequality)은 항상 양의 값을 갖는 확률변수 $X$ 에 대해 성립하는 부등식이다. 임의의 양수 $\alpha > 0$ 에 대해, 다음이 성립한다.

P(X \geq \alpha) \leq \frac{E[X]}{\alpha}

즉, 마르코프 부등식은 전체 데이터 분포에서 특정값 $\alpha$ 밖에 있는 값의 비율이 $\alpha$ 에 관한 특정 값 안에 수렴함을 의미한다.

확률변수 $X$ 에 대한 확률밀도함수를 $f_X(t)$ 라고 하면, 이에 대한 기대값 $E[X]$ 은 다음과 같다.

E[X] = \int_R xf_X(t)\,dt

이 때, $X$ 는 $0$ 보다 크므로, $t<0$ 에서 확률밀도함수의 값은 $0$ 이다. 즉,

\int_R xf_X(t)\,dt = \int_{-\infty}^{\infty} xf_X(t)\,dt = \int_{0}^{\infty} xf_X(t)\,dt

여기서, $\alpha$ 값을 기준으로 적분을 나누면, 다음과 같이 쓸 수 있다.

\int_{0}^{\infty} xf_X(t)\,dt = \int_{0}^{\alpha} xf_X(t)\,dt + \int_{\alpha}^{\infty} xf_X(t)\,dt

또한, 우항의 두번째 식에서 $X \geq \alpha$ 이므로, 다음과 같은 부등식이 성립한다.

\int_{0}^{\alpha} xf_X(t)\,dt + \int_{\alpha}^{\infty} xf_X(t)\,dt \geq \int_{0}^{\alpha} xf_X(t)\,dt + \alpha\int_{\alpha}^{\infty} f_X(t)\,dt \geq \alpha\int_{\alpha}^{\infty} f_X(t)\,dt

맨 처음 식의 기대값 $E[X]$ 와 최종 결과만 가져오면 다음과 같다.

E[X] \geq \alpha\int_{\alpha}^{\infty} f_X(t)\,dt = \alpha P(X \geq \alpha)

위 식을 정리하면, 우리가 원하는 결과를 얻는다.

P(X \geq \alpha) \leq \frac{E[X]}{\alpha}

AI 엔지니어 (진)