1. 대수의 법칙
정리 3.12 μ < ∞ \mu<\infty μ < ∞ f ( x ) f(x) f ( x ) X 1 , X 2 , … , X n X_1,X_2,\ldots,X_n X 1 , X 2 , … , X n
X ˉ n → p μ or 1 n ∑ i = 1 n X i → p E ( X ) \bar{X}_n\xrightarrow{p}\mu\quad \text{or}\quad \dfrac{1}{n}\sum_{i=1}^{n}X_i\xrightarrow{p}E(X) X ˉ n p μ or n 1 i = 1 ∑ n X i p E ( X )
[증명]
P [ ∣ X n ˉ − μ ∣ < ϵ ] = P [ ∣ X n ˉ − μ ∣ 2 < ϵ 2 ] ≥ 1 − E ( X n ˉ − μ ) 2 ϵ 2 = 1 − σ 2 / n ϵ 2 → 1 \begin{aligned} P[|\bar{X_n}-\mu|<\epsilon] &=P[|\bar{X_n}-\mu|^2<\epsilon^2] \\[10pt] &\ge 1-\dfrac{E(\bar{X_n}-\mu)^2}{\epsilon^2} \\[10pt] &= 1-\dfrac{\sigma^2/n}{\epsilon^2}\rightarrow1 \end{aligned} P [ ∣ X n ˉ − μ ∣ < ϵ ] = P [ ∣ X n ˉ − μ ∣ 2 < ϵ 2 ] ≥ 1 − ϵ 2 E ( X n ˉ − μ ) 2 = 1 − ϵ 2 σ 2 / n → 1 \\[20pt]
정의 3.5: 확률수렴 X 1 , X 2 , … , X n , … X_1,X_2,\ldots,X_n,\ldots X 1 , X 2 , … , X n , … X X X ϵ > 0 \epsilon >0 ϵ > 0
lim n → ∞ P ( ∣ X n − X ∣ ≥ ϵ ) = 0 o r lim n → ∞ P ( ∣ X n − X ∣ < ϵ ) = 1 \lim_{n\rightarrow\infty}P(|X_n-X|\ge\epsilon)=0 \quad or \quad\lim_{n\rightarrow\infty}P(|X_n-X|<\epsilon)=1 n → ∞ lim P ( ∣ X n − X ∣ ≥ ϵ ) = 0 o r n → ∞ lim P ( ∣ X n − X ∣ < ϵ ) = 1 을 만족한다면 X n X_n X n X X X X n → p X X_n\xrightarrow{p}X X n p X
\\[30pt]
2. 중심극한정리
정의 3.6: 분포수렴 X 1 , X 2 , … , X n , … X_1,X_2,\ldots,X_n,\ldots X 1 , X 2 , … , X n , … F X 1 , F X 2 , … , F X n , … F_{X_1},F_{X_2},\ldots,F_{X_n},\ldots F X 1 , F X 2 , … , F X n , … X X X F X F_X F X F X F_X F X x x x
lim n → ∞ F X n ( x ) = F X ( x ) \lim_{n\rightarrow\infty}F_{X_n}(x)=F_X(x) n → ∞ lim F X n ( x ) = F X ( x ) X n X_n X n X X X
X n → d X X_n\xrightarrow{d}X X n d X
\\[20pt]
정리 3.14 (중심극한정리) 모분포의 형태에 관계 없이 평균과 분산이 각각 μ \mu μ σ 2 < ∞ \sigma^2<\infty σ 2 < ∞ f ( x ) f(x) f ( x ) X 1 , X 2 , … , X n X_1,X_2,\ldots,X_n X 1 , X 2 , … , X n Z n Z_n Z n
Z n = ∑ i = 1 n X i − E ( ∑ i = 1 n X i ) Var ( ∑ i = 1 n X i ) = ∑ i = 1 n X i − ( ∑ i = 1 n E ( X i ) ) ∑ i = 1 n Var ( X ˉ n ) = ∑ i = 1 n X i − ∑ i = 1 n μ n σ 2 = ∑ i = 1 n ( X i − μ ) n σ \begin{aligned} Z_n &=\dfrac{\sum_{i=1}^{n}X_i-E(\sum_{i=1}^{n}X_i)}{\sqrt{\text{Var}(\sum_{i=1}^{n}X_i)}} \\[20pt] &= \dfrac{\sum_{i=1}^{n}X_i-(\sum_{i=1}^{n}E(X_i))}{\sqrt{\sum_{i=1}^{n}\text{Var}(\bar{X}_n)}} \\[20pt] &= \dfrac{\sum_{i=1}^{n}X_i-\sum_{i=1}^{n}\mu}{\sqrt{n\sigma^2}} \\[15pt] &=\dfrac{\sum_{i=1}^{n}(X_i-\mu)}{\sqrt{n}\sigma} \end{aligned} Z n = Var ( ∑ i = 1 n X i ) ∑ i = 1 n X i − E ( ∑ i = 1 n X i ) = ∑ i = 1 n Var ( X ˉ n ) ∑ i = 1 n X i − ( ∑ i = 1 n E ( X i ) ) = n σ 2 ∑ i = 1 n X i − ∑ i = 1 n μ = n σ ∑ i = 1 n ( X i − μ ) 표본의 크기 n n n N ( 0 , 1 ) N(0,\ 1) N ( 0 , 1 )
Z n → d N ( 0 , 1 ) Z_n\xrightarrow{d}N(0,\ 1) Z n d N ( 0 , 1 )
[증명]
평균과 분산이 각각 μ \mu μ σ 2 \sigma^2 σ 2 f ( x ) f(x) f ( x ) X 1 , X 2 , … , X n X_1,X_2,\ldots, X_n X 1 , X 2 , … , X n X i − μ X_i-\mu X i − μ i i i M ( X i − μ ) ( t ) = E [ e t ( X i − μ ) ] M_{(X_i-\mu)}(t)=E[e^{t(X_i-\mu)}] M ( X i − μ ) ( t ) = E [ e t ( X i − μ ) ] m ( t ) m(t) m ( t )
m ′ ( 0 ) = E ( X i − μ ) = 0 , m ′ ′ ( 0 ) = E ( X i − μ ) 2 = σ 2 m'(0)=E(X_i-\mu)=0,\quad m''(0)=E(X_i-\mu)^2=\sigma^2 m ′ ( 0 ) = E ( X i − μ ) = 0 , m ′ ′ ( 0 ) = E ( X i − μ ) 2 = σ 2 이다. 이제 테일러 전개에 의해
m ( t ) = m ( 0 ) + m ′ ( 0 ) t + m ′ ′ ( ξ ) t 2 2 ! ( 0 < ξ < t ) = 1 + m ′ ′ ( ξ ) t 2 2 ! = 1 + σ 2 t 2 2 ! + ( m ′ ′ ( ξ ) − σ 2 ) t 2 2 ! \begin{aligned} m(t)&=m(0)+m'(0)t+\dfrac{m''(\xi)t^2}{2!}\quad (0<\xi<t) \\[10pt] &=1+\dfrac{m''(\xi)t^2}{2!} \\[10pt] &=1+\dfrac{\sigma^2t^2}{2!} + \dfrac{(m''(\xi)-\sigma^2)t^2}{2!} \\[10pt] \end{aligned} m ( t ) = m ( 0 ) + m ′ ( 0 ) t + 2 ! m ′ ′ ( ξ ) t 2 ( 0 < ξ < t ) = 1 + 2 ! m ′ ′ ( ξ ) t 2 = 1 + 2 ! σ 2 t 2 + 2 ! ( m ′ ′ ( ξ ) − σ 2 ) t 2 이 된다. 편의상,
Z n = ∑ i = 1 n ( X i − μ ) n σ Z_n=\dfrac{\sum_{i=1}^{n}(X_i-\mu)}{\sqrt{n}\sigma} Z n = n σ ∑ i = 1 n ( X i − μ ) 으로 표기하면 Z n Z_n Z n
M Z n ( t ) = E [ exp ( t ⋅ ∑ i = 1 n ( X i − μ ) n σ ) ] = E [ exp ( t n σ ⋅ ∑ i = 1 n ( X i − μ ) ) ] = M ∑ i = 1 n ( X i − μ ) ( t n σ ) = ∏ i = 1 n M ( X i − μ ) ( t n σ ) = [ M ( X i − μ ) ( t n σ ) ] n = [ m ( t n σ ) ] n \begin{aligned} M_{Z_n}(t) &= E\left[\exp\left(t\cdot\dfrac{\sum_{i=1}^{n}(X_i-\mu)}{\sqrt{n}\sigma}\right)\right]\\[20pt] &= E\left[\exp\left(\dfrac{t}{\sqrt{n}\sigma}\cdot\sum_{i=1}^{n}(X_i-\mu)\right)\right]\\[20pt] &=M_{\sum_{i=1}^{n}(X_i-\mu)}\left(\dfrac{t}{\sqrt{n}\sigma}\right) \\[15pt] &=\prod_{i=1}^{n}M_{(X_i-\mu)}\left(\dfrac{t}{\sqrt{n}\sigma}\right) \\[15pt] &=\left[M_{(X_i-\mu)}\left(\dfrac{t}{\sqrt{n}\sigma}\right)\right]^n \\[15pt] &=\left[m\left(\dfrac{t}{\sqrt{n}\sigma}\right)\right]^n \\[15pt] \end{aligned} M Z n ( t ) = E [ exp ( t ⋅ n σ ∑ i = 1 n ( X i − μ ) ) ] = E [ exp ( n σ t ⋅ i = 1 ∑ n ( X i − μ ) ) ] = M ∑ i = 1 n ( X i − μ ) ( n σ t ) = i = 1 ∏ n M ( X i − μ ) ( n σ t ) = [ M ( X i − μ ) ( n σ t ) ] n = [ m ( n σ t ) ] n 이고, 0 < ξ < t n σ 0<\xi<\dfrac{t}{\sqrt{n}\sigma} 0 < ξ < n σ t
M Z n ( t n σ ) = [ 1 + σ 2 2 ( t n σ ) 2 + ( m ′ ′ ( ξ ) − σ 2 ) 2 ( t n σ ) 2 ] n = [ 1 + σ 2 t 2 2 n σ 2 + ( m ′ ′ ( ξ ) − σ 2 ) t 2 2 n σ 2 ] n = [ 1 + t 2 2 n + ( m ′ ′ ( ξ ) − σ 2 ) t 2 2 n σ 2 ] n \begin{aligned} M_{Z_n}\left(\dfrac{t}{\sqrt{n}\sigma}\right) &=\left[1+\dfrac{\sigma^2}{2}\left(\dfrac{t}{\sqrt{n}\sigma}\right)^2 + \dfrac{(m''(\xi)-\sigma^2)}{2}\left(\dfrac{t}{\sqrt{n}\sigma}\right)^2\right]^n \\[15pt] &=\left[1+\dfrac{\sigma^2t^2}{2n\sigma^2} + \dfrac{(m''(\xi)-\sigma^2)t^2}{2n\sigma^2}\right]^n \\[15pt] &=\left[1+\dfrac{t^2}{2n} + \dfrac{(m''(\xi)-\sigma^2)t^2}{2n\sigma^2}\right]^n \end{aligned} M Z n ( n σ t ) = [ 1 + 2 σ 2 ( n σ t ) 2 + 2 ( m ′ ′ ( ξ ) − σ 2 ) ( n σ t ) 2 ] n = [ 1 + 2 n σ 2 σ 2 t 2 + 2 n σ 2 ( m ′ ′ ( ξ ) − σ 2 ) t 2 ] n = [ 1 + 2 n t 2 + 2 n σ 2 ( m ′ ′ ( ξ ) − σ 2 ) t 2 ] n 이 된다. n → ∞ n\rightarrow\infty n → ∞
lim n → ∞ ( 1 + t 2 2 n ) → exp ( t 2 / 2 ) , t n σ → 0 , ξ → 0 \lim_{n\rightarrow\infty} \left(1+\dfrac{t^2}{2n}\right) \rightarrow \exp(t^2/2), \quad \dfrac{t}{\sqrt{n}\sigma} \rightarrow 0, \quad \xi\rightarrow 0 n → ∞ lim ( 1 + 2 n t 2 ) → exp ( t 2 / 2 ) , n σ t → 0 , ξ → 0 그리고 m ′ ′ ( 0 ) m''(0) m ′ ′ ( 0 ) m ′ ′ ( ξ ) − σ 2 → 0 m''(\xi)-\sigma^2\rightarrow 0 m ′ ′ ( ξ ) − σ 2 → 0
lim n → ∞ M Z n ( t ) = exp ( t 2 / 2 ) \lim_{n\rightarrow \infty}M_{Z_n}(t)=\exp(t^2/2) n → ∞ lim M Z n ( t ) = exp ( t 2 / 2 ) 이 성립하며, 이는 표준정규 확률분포의 적률생성함수이다. 따라서 확률변량 Z n Z_n Z n N ( 0 , 1 ) N(0,1) N ( 0 , 1 )
Z n = X ˉ n − μ σ / n → d N ( 0 , 1 ) Z_n=\dfrac{\bar{X}_n-\mu}{\sigma/\sqrt{n}}\xrightarrow{d} N(0,1) Z n = σ / n X ˉ n − μ d N ( 0 , 1 ) ∵ ( Z n = ∑ i = 1 n ( X i − μ ) n σ = n X ˉ n − n μ n σ = n ( X ˉ n − μ ) n σ = X ˉ n − μ σ / n ) \because\quad \left(Z_n=\dfrac{\sum_{i=1}^{n}(X_i-\mu)}{\sqrt{n}\sigma}=\dfrac{n\bar{X}_n-n\mu}{\sqrt{n}\sigma}=\dfrac{n(\bar{X}_n-\mu)}{\sqrt{n}\sigma}=\dfrac{\bar{X}_n-\mu}{\sigma/\sqrt{n}}\right) ∵ ( Z n = n σ ∑ i = 1 n ( X i − μ ) = n σ n X ˉ n − n μ = n σ n ( X ˉ n − μ ) = σ / n X ˉ n − μ ) 이걸 다시 다르게 표기하면 다음과 같이 가능하다.
n ( X ˉ n − μ ) → d N ( 0 , σ 2 ) \sqrt{n}(\bar{X}_n-\mu)\xrightarrow{d} N(0,\sigma^2) n ( X ˉ n − μ ) d N ( 0 , σ 2 ) 위 중심극한정리에서 중요한 점 중의 하나는 모분포에 대해 특정한 꼴을 필요로 하지 않는다. 즉, 모분포의 형태에 관계 없이 유한한 평균과 분산만 존재하면 확률변량 Z n Z_n Z n 한다.
\\[30pt]
3. 델타방법
점근적으로 정규분포를 따르는 확률변량의 함수의 표본분포를 근사하기 위한 방법으로 델타방법을 활용할 수 있다.
정리 3.16 X 1 , X 2 , … , X n , … X_1,X_2,\ldots,X_n,\ldots X 1 , X 2 , … , X n , …
n ( X n − θ ) → d N ( 0 , σ 2 ) \sqrt{n}(X_n-\theta)\xrightarrow{d}N(0,\sigma^2) n ( X n − θ ) d N ( 0 , σ 2 ) 이때 함수 g ( θ ) g(\theta) g ( θ ) g ′ ( θ ) g'(\theta) g ′ ( θ )
n ( g ( X n ) − g ( θ ) ) → d N ( 0 , σ 2 [ g ′ ( θ ) ] 2 ) \sqrt{n}(g(X_n)-g(\theta))\xrightarrow{d}N(0,\sigma^2[g'(\theta)]^2) n ( g ( X n ) − g ( θ ) ) d N ( 0 , σ 2 [ g ′ ( θ ) ] 2 ) 이 성립하며 이를 델타 방법이라한다.
[증명]X n X_n X n θ \theta θ θ ~ \tilde{\theta} θ ~
g ( X n ) = g ( θ ) + g ′ ( θ ~ ) ( X n − θ ) → g ( X n ) − g ( θ ) = g ′ ( θ ~ ) ( X n − θ ) → n [ g ( X n ) − g ( θ ) ] = g ′ ( θ ~ ) n ( X n − θ ) \begin{aligned} g(X_n)&=g(\theta)+g'(\tilde{\theta})(X_n-\theta) \\[15pt] \rightarrow\quad g(X_n)-g(\theta) &= g'(\tilde{\theta})(X_n-\theta) \\[15pt] \rightarrow\quad \sqrt{n}[g(X_n)-g(\theta)] &= g'(\tilde{\theta})\sqrt{n}(X_n-\theta) \\[15pt] \end{aligned} g ( X n ) → g ( X n ) − g ( θ ) → n [ g ( X n ) − g ( θ ) ] = g ( θ ) + g ′ ( θ ~ ) ( X n − θ ) = g ′ ( θ ~ ) ( X n − θ ) = g ′ ( θ ~ ) n ( X n − θ ) 한편 X n → p θ X_n\xrightarrow{p}\theta X n p θ θ ~ → p θ \tilde{\theta}\xrightarrow{p}\theta θ ~ p θ g ′ ( θ ~ ) → p g ′ ( θ ) g'(\tilde{\theta})\xrightarrow{p}g'(\theta) g ′ ( θ ~ ) p g ′ ( θ )
n ( X n − θ ) → d N ( 0 , σ 2 ) \sqrt{n}(X_n-\theta)\xrightarrow{d}N(0,\sigma^2) n ( X n − θ ) d N ( 0 , σ 2 ) 으로부터, 슬럿츠키 정리를 사용하여
n [ g ( X n ) − g ( θ ) ] = g ′ ( θ ~ ) n ( X n − θ ) → d g ′ ( θ ) ⋅ N ( 0 , σ 2 ) \sqrt{n}[g(X_n)-g(\theta)]=g'(\tilde{\theta})\sqrt{n}(X_n-\theta)\xrightarrow{d}g'(\theta)\cdot N(0,\sigma^2) n [ g ( X n ) − g ( θ ) ] = g ′ ( θ ~ ) n ( X n − θ ) d g ′ ( θ ) ⋅ N ( 0 , σ 2 ) 가 된다. 여기서 정규분포의 선형변환 성질에 따라 X ∼ N ( μ , σ 2 ) X~\sim N(\mu,\sigma^2) X ∼ N ( μ , σ 2 ) Y = a X + b Y=aX+b Y = a X + b Y ∼ N ( a μ + b , a 2 σ 2 ) Y\sim N(a\mu+b,a^2\sigma^2) Y ∼ N ( a μ + b , a 2 σ 2 )
n ( g ( X n ) − g ( θ ) ) → d N ( 0 , σ 2 [ g ′ ( θ ) ] 2 ) \sqrt{n}(g(X_n)-g(\theta))\xrightarrow{d}N(0,\sigma^2[g'(\theta)]^2) n ( g ( X n ) − g ( θ ) ) d N ( 0 , σ 2 [ g ′ ( θ ) ] 2 ) 이 성립한다.
이 방법은 때로는 점근적 정규성에 대한 가정을 하지 않고, 확률변량의 함수의 기댓값 또는 분산의 근삿값을 구하는 데에도 활용.
\\[20pt]
예 3.11 ( λ ) (\lambda) ( λ ) X 1 , X 2 , … , X n X_1,X_2,\ldots,X_n X 1 , X 2 , … , X n 중심극한정리에 의해 표본 n n n
Z n = n ( X ˉ n − λ ) → d N ( 0 , λ ) Z_n=\sqrt{n}(\bar{X}_n-\lambda)\xrightarrow{d}N(0,\lambda) Z n = n ( X ˉ n − λ ) d N ( 0 , λ ) \\[5pt] g ( x ) = x g(x)=\sqrt{x} g ( x ) = x g ′ ( λ ) = 1 / 2 λ g'(\lambda)=1/2\sqrt{\lambda} g ′ ( λ ) = 1 / 2 λ [ g ′ ( λ ) ] = 1 / 4 λ [g'(\lambda)]=1/4\lambda [ g ′ ( λ ) ] = 1 / 4 λ
n ( X ˉ n − λ ) → d N ( 0 , 1 4 ) \sqrt{n}\left(\sqrt{\bar{X}_n}-\sqrt{\lambda}\right)\xrightarrow{d}N\left(0,\ \dfrac{1}{4}\right) n ( X ˉ n − λ ) d N ( 0 , 4 1 ) [참고문헌]
