순서통계량

choyunjeong·2024년 12월 18일

수리통계학 제 5판 - 송성주, 전명식

목록 보기

10/20

3.5 순서통계량

확률밀도함수가 $f(x)$ , 누적분포함수가 $F(x)$ 인 모집단으로부터 크기가 $n$ 인 랜덤표본 $X_1, X_2,\ldots, X_n$ 을 얻었다고 하자. 이제 이 랜덤표본을 작은 것부터 크기순으로 나열하여 다음과 같은 순서통계량을 구할 수 있다.

X_{(1)}\le X_{(2)} \le\dots \le X_{(n)}

비모수적 통계방법에서 자주 사용된다.

연속형 확률변수 $X_1, X_2,\ldots, X_n$ 의 순서통계량 $X_{(1)}, X_{(2)},\ldots, X_{(n)}$ 은 1:1변환이 아니므로 변환의 대상영역을 각 영역에서 1:1변환이 되도록 나누어 줌으로써 순서통계량의 결합 확률밀도함수를 구할 수 있다. 예를 들어 표본의 크기가 $n=3$ 인 경우, 순서통계량은 6:1변환이므로 표본공간을

A_1=\{(x_1,x_2,x_3):x_1<x_2<x_3\}\Rightarrow X_{(1)}=X_1, X_{(2)}=X_2, X_{(3)}=X_3 \\ A_2=\{(x_1,x_2,x_3):x_2<x_1<x_3\}\Rightarrow X_{(1)}=X_2, X_{(2)}=X_1, X_{(3)}=X_3 \\ A_3=\{(x_1,x_2,x_3):x_1<x_3<x_2\}\Rightarrow X_{(1)}=X_1, X_{(2)}=X_3, X_{(3)}=X_2 \\ A_4=\{(x_1,x_2,x_3):x_2<x_3<x_1\}\Rightarrow X_{(1)}=X_2, X_{(2)}=X_3, X_{(3)}=X_1 \\ A_5=\{(x_1,x_2,x_3):x_3<x_1<x_2\}\Rightarrow X_{(1)}=X_3, X_{(2)}=X_1, X_{(3)}=X_2 \\ A_6=\{(x_1,x_2,x_3):x_3<x_2<x_1\}\Rightarrow X_{(1)}=X_3, X_{(2)}=X_2, X_{(3)}=X_1 \\

의 3!가지의 공통부분이 없는 부분영역으로 나누면 이에 대한 변환된 영역은

B=\{(x_{(1)}, x_{(2)}, x_{(3)}):x_{(1)}<x_{(2)}<x_{(3)}\}

이 된다. 그러면 각 영역 $A_i$ 에서 $(X_1, X_2,X_3)$ 에서 $(X_{(1)}, X_{(2)}, X_{(3)})$ 으로의 변환은 1:1 변환이 되며, 자코비안 $J_i$ 의 절댓값은 1이 되고, 순서 통계량의 결합 확률밀도함수는 $f(x_{(1)})f(x_{(2)})f(x_{(3)})$ 이 된다. 따라서 모든 가능한 3!를 합하면 $x_{(1)}, x_{(2)}, x_{(3)}$ 의 결합 확률밀도함수는 $3!f(x_{(1)})f(x_{(2)})f(x_{(3)})$ 이 된다. 이와 같은 내용을 일반화하면 통계량 $X_{(1)}, X_{(2)},\ldots, X_{(n)}$ 의 결합 확률밀도함수는 $f(x)$ 가 연속인 경우

g(x_{(1)}, x_{(2)},\ldots, x_{(n)})=n!f(x_{(1)})f(x_{(2)})\cdots f(x_{(n)})

$\\[20pt]$

예 3.13
$X_1, X_2,X_3$ 을 확률밀도함수 $f(x)=3x^2\ (0<x<1)$ 으로부터 얻은랜덤표본이라고 하자. 이때 순서통계량 $X_{(1)}, X_{(2)}, X_{(3)}$ 의 결합 확률밀도함수를 구해 보면, $0<x_{(1)}<x_{(2)}<x_{(3)}<1$ 인 경우에는 다음과 같다.

g(x_{(1)}, x_{(2)},x_{(3)})=3!(3x_{(1)}^2)(3x_{(2)}^2)(3x_{(3)}^2)=162x_{(1)}^2x_{(2)}^2x_{(3)}^3

한편 $k$ 번째 순서통계량 $X_{(k)}$ 의 확률밀도함수는 다음 정리와 같다.

$\\[20pt]$

정리 3.17
랜덤표본 $X_1, X_2,\ldots, X_n$ 을 확률밀도함수가 $f(x)$ 이고 누적분포함수가 $F(x)$ 인 모집단으로부터 얻었다고 하자. 이제 $a<x<b$ 에 대하여 $f(x)>0$ 이라고 한다면, $k$ 번째 순서통계량 $X_{(k)}$ 의 확률밀도함수는

f_{X_{(k)}}(x_{(k)})=\dfrac{n!}{(k-1)!(n-k)!}[F(x_{(k)})]^{k-1}[1-F(x_{(k)})]^{n-k} f(x_{(k)}) \quad a<x_{(k)}<b,

[설명]
$X_{(k)}=x_{(k)}$ 이기 위해서 1개의 관찰값은 $x_{(k)}$ 이어야 하고 이 때 확률밀도함수는 $f(x_{(k)})$ 이며, $(k-1)$ 개의 관찰값은 $x_{(k)}$ 보다 작아야 하며 이 때 확률은 $P[X\le x_{(k)}]=F(x_{(k)})$ 가 되며 $(n-k)$ 개의 관찰값은 $x_{(k)}$ 보다 커야 하며, $P(X>x_{(k)})=1-F(x_{(k)})$ 이 된다.

또한 같은 설명으로 $i$ 번째 순서통계량 $X_{(i)}$ 와 $j$ 번째 순서통계량 $X_{(j)}$ 의 결합 확률밀도함수는
$P[X\le x_{(i)}]=F(x_{(i)}),\ P[x_{(i)}\le X\le x_{(j)}]=F(x_{(j)})-F(x_{(i)}).\ P[X\ge x_{(j)}]=1-F(x_{(j)})$ 이므로

f_{X_{(i)},X_{(j)}}(x_{(i)},x_{(j)})= \\[10pt]\dfrac{n!}{(i-1)!(j-i-1)!(n-j)!} \times [F(x_{(i)})]^{i-1}f(x_{(i)})[F(x_{(j)})-F(x_{(i)})]^{j-i-1}f(x_{(j)})[1-F(x_{(j)})]^{n-j}

와 같이 구할 수 있다.

$\\[20pt]$

표본최솟값 $X_{(1)}$ , 표본최댓값 $X_{(n)}$ 의 분포

크기가 $n$ 인 랜덤표본의 순서통계량들 중에서 특별한 경우로 응용성이 높다.

- $X_{(1)}$ 분포

1) 누적분포함수

\begin{aligned} G_1(x_{(1)}) &=P[X_{(1)}\le x_{(1)}] \\[10pt] &=1-P[X_{(1)}>x_{(1)}] \\[10pt] &=1-P[\forall X_i>x_{(1)}] \\[10pt] &=1-[1-F(x_{(1)})]^n \end{aligned}

2) 확률밀도함수

\begin{aligned} f_{X_{(1)}}(x_{(1)}) &=\dfrac{d}{dx_{(1)}}G_1(x_{(1)}) \\[10pt] &=\dfrac{d}{dx_{(1)}}[1-[1-F(x_{(1)})]^n] \\[10pt] &=n[1-F(x_{(1)})]^{n-1}f(x_{(1)}) \end{aligned}

- $X_{(n)}$ 분포

1) 누적분포함수

\begin{aligned} G_n(x_{(n)}) &=P[X_{(n)}\le x_{(n)}] \\[10pt] &=P[\forall X_i\le x_{(n)}] \\[10pt] &=[F(x_{(n)})]^n \end{aligned}

2) 확률밀도함수

\begin{aligned} f_{X_{(n)}}(x_{(n)}) &=\dfrac{d}{dx_{(n)}}G_n(x_{(n)}) \\[10pt] &=\dfrac{d}{dx_{(n)}}[F(x_{(n)})^n] \\[10pt] &=n[F(x_{(n)})]^{n-1}f(x_{(n)}) \end{aligned}

$\\[20pt]$

예 4.9: 최대 가능도추정량
$X_1, X_2,\ldots, X_n$ 을 $U(0,\theta)$ 로부터 얻은 랜덤표본이라고 하자. 이때 가능도함수는

\begin{aligned} L(\theta;x_1,x_2,\ldots,x_n)&=\prod_{i=1}^{n}f(x_i,\theta) \\[15pt] &=\dfrac{1}{\theta^n} \end{aligned}

이 되며, 모든 $\theta$ 에 대해 연속이 아니므로 모수 $\theta$ 에 대하여 미분 불가. 미분을 하는 대신 가능도 함수의 형태를 살펴보면 쉽게 최대가능도 추정량을 구할 수 있다. 균일분포의 최대가능도 추정량은 표본최댓값 $X_{(n)}$ 이다. $X_{(n)}$ 의 분포를 구할 때 위의 가능도함수가 아니라 확률밀도함수를 사용한다.

\begin{aligned} [F(x_{(n)})]^n &= P[X_i\le x_{(n)}] \\[5pt] &=\left(\dfrac{x_{(n)}}{\theta}\right)^n \end{aligned}

\begin{aligned} \therefore f_{X_{(n)}}(x_{(n)}) &=\dfrac{d}{dx_{(n)}}[F(x_{(n)})^n] \\[10pt] &=\dfrac{d}{dx_{(n)}}\left[\left(\dfrac{x_{(n)}}{\theta}\right)^n\right] \\[10pt] &=n\left(\dfrac{x_{(n)}}{\theta}\right)^{n-1}\dfrac{1}{\theta} \\[10pt] &=n\dfrac{(x_{(n)})^{n-1}}{\theta^n} \end{aligned}

$\\[20pt]$

예 4.18: 비편향추정량
앞의 예 4.9에서 고려한 $\theta$ 의 추정량 $X_{(n)}$ 에 대해 생각해 보자. 이 분포에서 나오는 $X$ 의 값은 모두 0에서 $\theta$ 사이에 있으므로 표본최댓값 $X_{(n)}$ 도 $\theta$ 보다 클 수 없다. $\theta$ 보다 작을 수는 있으나 클 수는 없으므로 그 기댓값은 당연히 $\theta$ 보다 작게 된다. 즉, 표본 최댓값은 비편향추정량이 아니다.

\begin{aligned} E(X_{(n)})&=\int_{0}^{\theta}t\dfrac{nt^{n-1}}{\theta^n} dt \\[15pt] &=\left.\dfrac{nt^{n-1}}{(n+1)\theta^n}\right|_{0}^{\theta} \\[15pt] &= \dfrac{n}{(n+1)}\theta \end{aligned}

으로 예상한 바와 같이 $\theta$ 보다 작다. 따라서

T_1(X)=\left(\dfrac{n+1}{n}\right)X_{(n)}

이라고 한다면

E(T_1(X))=\dfrac{n+1}{n}\cdot\dfrac{n}{n+1}\cdot \theta=\theta

이므로 $T_1(X)$ 은 $\theta$ 의 비편향추정량이다.

$\\[20pt]$

예 4.40: 일치추정량
앞의 예 4.9에서 고려한 $\theta$ 의 추정량 $X_{(n)}$ 에 대해 생각해 보자. 이제 모수 $\theta$ 의 추정량 $X_{(n)}$ 의 일치성에 대해 살펴본다.

\begin{aligned} P[|X_{(n)}-\theta|\le \epsilon] &= P[\theta-\epsilon\le X_{(n)}\le \theta+\epsilon] \\[10pt] &=\int_{\theta-\epsilon}^{\theta}\dfrac{n(x_{(n)})^{n-1}}{\theta^n} dx_{(n)} \\[10pt] &=\left.\dfrac{(x_{(n)})^{n}}{\theta^n}\right|_{\theta-\epsilon}^{\theta} \\[10pt] &=1-\left[\dfrac{\theta-\epsilon}{\theta}\right]^n \end{aligned}

이 성립한다. $0<\epsilon<\theta$ 이면 $n$ 이 커질 때 $\rightarrow 0$ 이므로 $P[|X_{(n)}-\theta|\le \epsilon]\rightarrow 1$ 이 되고, $\epsilon\ge\theta$ 이면 $n$ 에 대해 $\rightarrow 0$ 이므로 $P[|X_{(n)}-\theta|\le \epsilon]= 1$ 이 된다. 그러므로 표본최댓값 $X_{(n)}$ 은 $\theta$ 의 일치추정량이다.

$\\[20pt]$

2024 하반기 예상문제 5번: 신뢰구간
$X_1, X_2, \ldots, X_n$ 는 $U(0, \theta)$ 로부터의 랜덤표본인 경우 $\theta$ 에 대한 95% 신뢰구간을 구하시오

앞의 예 4.9에서 고려한 $\theta$ 의 추정량 $X_{(n)}$ 에 대해 생각해 보자. $T=X_{(n)}$ 이라고 하면 그의 확률밀도함수는 $f_{\Gamma}(t;\theta)=n(t/\theta)^{n-1}(1/\theta)\quad 0<t<\theta$ 이 된다. 이제 임의의 $\alpha_1,\ \alpha_2\ (\alpha_1+\alpha_2=\alpha)$ 에 대하여

\begin{aligned} \alpha_1&=\int_{0}^{h_1(\theta)}n\left(\dfrac{t}{\theta}\right)^{n-1}\dfrac{1}{\theta}dt \\[15pt] &= \int_{0}^{h_1(\theta)/\theta}nu^{n-1}du\quad (\because u=\dfrac{t}{\theta},\ du=\dfrac{1}{\theta}dt)\\[15pt] &= \left.u^n\right|_{0}^{h_1(\theta)/\theta} \\[15pt] &= \left[\dfrac{h_1(\theta)}{\theta}\right]^n \\[25pt] \therefore h_1(\theta)&=\theta\alpha_1^{1/n} \end{aligned}

$\\[25pt]$

\begin{aligned} \alpha_2&=\int_{h_2(\theta)}^{\theta}n\left(\dfrac{t}{\theta}\right)^{n-1}\dfrac{1}{\theta}dt \\[15pt] &= \int_{h_2(\theta)/\theta}^{1}nu^{n-1}du\quad (\because u=\dfrac{t}{\theta},\ du=\dfrac{1}{\theta}dt)\\[15pt] &= \left.u^n\right|_{h_2(\theta)/\theta}^{1} \\[15pt] &= 1-\left[\dfrac{h_2(\theta)}{\theta}\right]^n \\[25pt] \therefore h_2(\theta)&=\theta(1-\alpha_2)^{1/n} \end{aligned}

로부터 $\theta$ 에 대한 $(1-\alpha)\times100\%$ 신뢰구간 $[X_{(n)}(1-\alpha_2)^{-1/n}, X_{(n)}\alpha_1^{-1/n}]$ 으로 계산된다. 95% 신뢰수준 $(1-\alpha = 0.95)$ 에서 일반적으로 $\alpha_1 = \alpha_2 = \frac{\alpha}{2} = 0.025$ 로 설정합니다.

따라서 신뢰구간은 최종적으로,

\left[ X_{(n)} \cdot 0.975^{-1/n}\le\theta\le X_{(n)} \cdot 0.025^{-1/n} \right]

[참고문헌]

수리통계학 제 5판 - 송성주, 전명식

choyunjeong

이전 포스트

대수의 법칙과 중심극한정리

다음 포스트

순서통계량

수리통계학 제 5판 - 송성주, 전명식

3.5 순서통계량

대수의 법칙과 중심극한정리

적률추정법

0개의 댓글