체비쇼프 부등식

NK590·2023년 10월 2일

체비쇼프 부등식(Chebyshev Inequality)은, 임의의 확률변수 $X$ 와 임의의 상수 $\alpha$ 에 대하여 성립하는 다음의 부등식이다.

P(|X-E[X]| \geq \alpha) \leq \frac{Var[X]}{\alpha^2} \quad \cdots \quad (1)

혹은, 확률 분포 $X$ 의 평균을 $\mu$ , 표준편차를 $\sigma$ 라고 했을 때에 다음과 같이 바꿔쓸 수 있다.

P(|X - \mu| \geq \sigma\alpha) \leq \frac{1}{\alpha^2} \quad \cdots \quad (2)

여기서 마르코프 부등식과 다르게, $X$ 와 $\alpha$ 값에 대한 제약조건이 없는 점에 주의하자.

증명

먼저 (1) 식에 대해서 증명을 한 후, (1) 식에서 (2) 식을 유도한다.

우선, $|X-E[X]| \geq \alpha$ , 즉 $-\alpha \leq X-E[X] \leq \alpha$ 일 확률은 양변을 제곱한 $-\alpha^2 \leq (X-E[X])^2 \leq \alpha^2$ 일 확률과 동일하다. 즉, 다음이 성립한다.

P(|X-E[X]| \geq \alpha) = P((X-E[X])^2 \geq \alpha^2) \quad \cdots \quad (3)

여기서, 다음과 같은 확률변수 $Y$ 를 생각하자.

Y = (X - E[X])^2

이 때, $Y$ 와 $\alpha^2$ 은 항상 0보다 크므로, 마르코프 부등식을 적용할 수 있다.

P(Y \geq \alpha^2) \leq \frac{E[Y]}{\alpha^2}

여기서, 분산의 정의에 의해,

E[Y] = E[(X - E[X])^2] = Var[X]

가 성립하므로, 위 식을 정리하면 다음과 같다.

P((X-E[X])^2 \geq \alpha^2) \leq \frac{Var[X]}{\alpha^2}

최종적으로, (3) 식에 의해, 우리가 얻고자 하는 체비쇼프 부등식을 얻을 수 있다.

P(|X-E[X]| \geq \alpha) \leq \frac{Var[X]}{\alpha^2}

마지막으로, $E[X] = \mu$ , $\alpha = k\sigma$ 를 위 식에 대입하면, 다음과 같은 결과를 얻는다.

P(|X-\mu| \geq k\sigma) \leq \frac{Var[X]}{k^2 \sigma^2} = \frac{\sigma^2}{k^2 \sigma^2} = \frac{1}{k^2}

이는 또한 우리가 얻고자 했던 (2) 식이다.

체비쇼프 부등식의 의미

앞서 설명했던 (2)식

P(|X - \mu| \geq \sigma\alpha) \leq \frac{1}{\alpha^2} \quad \cdots \quad (2)

의 의미를 생각해보면, 확률변수 $X$ 의 특정 값이 평균 $\mu$ 에서 $\sigma\alpha$ 만큼 떨어져 있을 확률은 $1/\alpha^2$ 안으로 수렴한다. 예를 들어, $\alpha = 2$ , 즉 특정 값이 $2\sigma$ 밖에 있을 확률은 위 부등식에 의해 최대 $1/4$ 로 보장된다. 즉, 특정 확률변수에 대해 표준편차가 주어졌을 때, 실제 평균에서 떨어져있는 값의 분포가 어떻게 되어 있는 지를 보장해주는 부등식이라고 할 수 있다.

체비쇼프 부등식의 놀라운 점은 이런 결과가 확률변수의 분포 형태와 상관없이 무조건 보장된다는 점이다. 역으로 말하면, 확률변수의 분포 형태가 조금 더 구체적인 형태로 주어지거나, 특정 제약조건이 걸리면 부등식이 훨씬 더 강하게 bounded될 것을 암시한다.

NK590

AI 엔지니어 (진)

이전 포스트

마르코프 부등식

다음 포스트

체비쇼프 부등식

증명

체비쇼프 부등식의 의미

마르코프 부등식

행렬식

0개의 댓글