충분통계량
X = ( X 1 , . . . , X n ) X = (X_1, ..., X_n) X = ( X 1 , . . . , X n ) f ( x 1 , . . . , x n ; θ 1 , . . . θ k ) f(x_1, ..., x_n; \theta_1, ... \theta_k) f ( x 1 , . . . , x n ; θ 1 , . . . θ k ) S ( X ) = ( S 1 ( X ) , . . . , S l ( X ) ) S(X) = (S_1(X), ..., S_l(X)) S ( X ) = ( S 1 ( X ) , . . . , S l ( X ) ) l l l
이 때 조건부 확률변수 ( X 1 , . . . , X n ∣ S ( X ) ) (X_1, ..., X_n | S(X)) ( X 1 , . . . , X n ∣ S ( X ) ) θ = ( θ 1 , . . . , θ k ) \theta = (\theta_1, ..., \theta_k) θ = ( θ 1 , . . . , θ k ) 의존하지 않으면 S ( X ) S(X) S ( X ) l = 1 l= 1 l = 1 S ( X ) S(X) S ( X ) θ \theta θ 충분통계량 이라고 한다.
충분통계량은 표본과 동일한 모수에 대한 정보를 가지고 있는 통계량(벡터)를 의미한다. 따라서 충분통계량이 주어지면 표본은 모수에 대한 아무런 정보도 가지지 않으므로, 위의 경우에서 ( X 1 , . . . , X n ∣ S ( X ) ) (X_1, ..., X_n|S(X)) ( X 1 , . . . , X n ∣ S ( X ) ) S ( X ) S(X) S ( X )
우리는 표본이 모수에 대한 정보를 가지고 있기 때문에 이를 이용해 모수를 추정하는 것인데 충분통계량이 주어지면 더 이상 표본을 모수 추정에 사용할 이유가 없어진다. 따라서 충분통계량을 표본 대신 이용해도 동일한 모수 추정의 효과를 보이는 것이다. 충분통계량의 크기가 원래 표본보다 작은 경우, 모수 추정에 있어서 자료의 축소 효과를 낼 수 있다.
충분통계량의 예시
베르누이 분포
X 1 , . . . , X n X_1, ..., X_n X 1 , . . . , X n B e r ( p ) Ber(p) B e r ( p ) S = ∑ i = 1 n X i S = \sum_{i=1}^n X_i S = ∑ i = 1 n X i p p p
f ( x 1 , . . . , x n ∣ s ) = P ( X 1 = x 1 , . . . , X n = x n , S = s ) P ( S = s ) = P ( X 1 = x 1 , . . . , X n = x n ) P ( S = s ) , s = ∑ i = 1 n x i = p s ( 1 − p ) n − s ( n s ) p s ( 1 − p ) n − s = 1 ( n s ) , s = ∑ i = 1 n x i ∴ f ( x 1 , . . . , x n ∣ s ) = 1 ( n s ) , s = ∑ i = 1 n f(x_1, ..., x_n | s) = \frac{P(X_1 = x_1, ..., X_n = x_n, S = s)}{P(S = s)} \\ = \frac{P(X_1= x_1, ..., X_n = x_n)}{P(S=s)}, \ s = \sum_{i=1}^n x_i = \frac{p^s(1-p)^{n-s}}{\binom{n}{s}p^s(1-p)^{n-s}} = \frac{1}{\binom{n}{s}}, s = \sum_{i=1}^n x_i \\ {} \\ \therefore f(x_1, ..., x_n|s) = \frac{1}{\binom{n}{s}}, s = \sum_{i=1}^n f ( x 1 , . . . , x n ∣ s ) = P ( S = s ) P ( X 1 = x 1 , . . . , X n = x n , S = s ) = P ( S = s ) P ( X 1 = x 1 , . . . , X n = x n ) , s = i = 1 ∑ n x i = ( s n ) p s ( 1 − p ) n − s p s ( 1 − p ) n − s = ( s n ) 1 , s = i = 1 ∑ n x i ∴ f ( x 1 , . . . , x n ∣ s ) = ( s n ) 1 , s = i = 1 ∑ n 따라서 확률변수 X 1 , . . . , X n ∣ S X_1, ..., X_n | S X 1 , . . . , X n ∣ S p p p S S S p p p
정규분포
X 1 , . . . , X n X_1, ..., X_n X 1 , . . . , X n N ( θ , σ 2 ) N(\theta, \sigma^2) N ( θ , σ 2 ) X ˉ = ∑ i = 1 n X i n \bar{X} = \frac{\sum_{i=1}^n X_i}{n} X ˉ = n ∑ i = 1 n X i θ \theta θ
f ( x 1 , . . . , x n ∣ s ) = f ( x 1 , . . . , x n ) f S ( s ) = ∏ i = 1 n f X i ( x i ) f S ( s ) = ∏ i = 1 n 1 σ 2 π e − ( x i − θ ) 2 2 σ 2 1 σ 2 π e − n ( s − θ ) 2 2 σ 2 = ( 1 σ 2 π ) n e − 1 2 σ 2 ∑ i = 1 n ( x i − θ ) 2 1 σ 2 π e − n ( s − θ ) 2 2 σ 2 = ( 1 σ 2 π ) n − 1 e − 1 2 σ 2 [ ∑ i = 1 n ( x i − θ ) 2 − n ( s − θ ) 2 ] = ( 1 σ 2 π ) n − 1 e − 1 2 σ 2 [ ∑ i = 1 n ( x i − x ˉ ) 2 ] ∴ f ( x 1 , . . . , x n ∣ s ) = ( 1 σ 2 π ) n − 1 e − 1 2 σ 2 [ ∑ i = 1 n ( x i − x ˉ ) 2 ] f(x_1, ..., x_n|s) = \frac{f(x_1, ..., x_n)}{f_S(s)} = \frac{\prod_{i=1}^n f_{X_i}(x_i)}{f_S(s)} = \frac{\prod_{i=1}^n \frac{1}{\sigma \sqrt{2 \pi}}e^{-\frac{(x_i - \theta)^2}{2\sigma^2}}}{\frac{1}{\sigma \sqrt{2 \pi}}e^{-\frac{n(s-\theta)^2}{2\sigma^2}}} \\ = \frac{\left( \frac{1}{\sigma \sqrt{2 \pi}}\right)^ne^{-\frac{1}{2\sigma^2}\sum_{i=1}^n (x_i - \theta)^2}}{\frac{1}{\sigma \sqrt{2 \pi}}e^{-\frac{n(s-\theta)^2}{2\sigma^2}}} = (\frac{1}{\sigma \sqrt{2 \pi}})^{n-1}e^{-\frac{1}{2 \sigma^2}\left[\sum_{i=1}^n (x_i -\theta)^2 - n(s - \theta)^2\right]} \\ = (\frac{1}{\sigma \sqrt{2 \pi}})^{n-1}e^{-\frac{1}{2 \sigma^2}\left[\sum_{i=1}^n (x_i - \bar{x})^2\right]} \\ {} \\ \therefore f(x_1, ..., x_n|s) =(\frac{1}{\sigma \sqrt{2 \pi}})^{n-1}e^{-\frac{1}{2 \sigma^2}\left[\sum_{i=1}^n (x_i - \bar{x})^2\right]} f ( x 1 , . . . , x n ∣ s ) = f S ( s ) f ( x 1 , . . . , x n ) = f S ( s ) ∏ i = 1 n f X i ( x i ) = σ 2 π 1 e − 2 σ 2 n ( s − θ ) 2 ∏ i = 1 n σ 2 π 1 e − 2 σ 2 ( x i − θ ) 2 = σ 2 π 1 e − 2 σ 2 n ( s − θ ) 2 ( σ 2 π 1 ) n e − 2 σ 2 1 ∑ i = 1 n ( x i − θ ) 2 = ( σ 2 π 1 ) n − 1 e − 2 σ 2 1 [ ∑ i = 1 n ( x i − θ ) 2 − n ( s − θ ) 2 ] = ( σ 2 π 1 ) n − 1 e − 2 σ 2 1 [ ∑ i = 1 n ( x i − x ˉ ) 2 ] ∴ f ( x 1 , . . . , x n ∣ s ) = ( σ 2 π 1 ) n − 1 e − 2 σ 2 1 [ ∑ i = 1 n ( x i − x ˉ ) 2 ] 따라서 확률변수 X 1 , . . . , X n ∣ S X_1, ..., X_n|S X 1 , . . . , X n ∣ S θ \theta θ X ˉ \bar{X} X ˉ θ \theta θ
