Ch6 추정

통계적 추정

• 추정 (estimation)
  모집단으로부터 추출한 표본에서 얻은 통계량을 이용하여 모집단의 특성을 나타내는 값인 모수를 파악하는 것을 추정이라고 한다.

• 점추정 (point estimation)
  표본이 달라지면 추정 결과도 달라진다. 따라서 추정에 사용하는 통계량은 하나의 확률변수로, 이 통계량을 추정량이라고 한다. 추정량은 가변적이므로 최적의 추적량을 설정하여 가장 보편타당한 추정값을 얻어야한다. 최적의 추정값을 구하는 과정

• 구간추정 (interval estimation)
  그러나 점추정에 의한 모수의 추정은 표본이 어떻게 선정되는지에 따라서 잘못 추정할 수 있어 오류를 범할 수 있다. 어느 정도 확신을 가지고 모수의 참값이 포함되었을 구간을 추정하는 방법을 구간추정이라고 한다.

추정량과 그 성질

• 미지의 모수 $\theta$로 추정하는 데 통계량 $\hat\theta$ 을 사용했다면 $\hat\theta$을 $\theta$의 추정량(estigmator) 라고 하고 $\theta$의 통곗값을 $\theta$의 추정값(estimate)이라 한다.

비편향추정량

• 모수 $\theta$ 의 점추량 $\hat\theta$ 에 대해여 $E(\hat\theta) = \theta$이면 추정량 $\hat\theta$은 비편향성(unbiasedness)을 갖는다하고 $\hat\theta$을 $\theta$ 의 비편향추정량(unbiased estimator) 또는 불편추정량이라고 한다. 비편향 추정량이 아닌 추정량은 편향추정량(biased estimator) 이라고 한다.
  $\hat\theta$이 $\theta$의 편향추정량이면 $b(\hat\theta) = E(\hat\theta) - \theta$를 편향(bias) 라고 한다.

모평균 $\mu$ 와 모분산 $\sigma^2$의 비편향추정량

모평균 $\mu$ 와 모분산 $\sigma^2$의 점추정량인 표본평균과 포본분산은 각각 비편향추정량이다.

• 표본평균 $\bar{X}$ 는 모평균 $\mu$의 비편향추정량
• 표본분산 $S^2$은 모분산 $\sigma^2$의 비편향추정량

(1)

모평균이 $\mu$인 모집단에서 취한 크기 $n$인 확률표본을 $X_1, X_2, \cdots, X_n$이라 하면 이 확률변수들은 서로 독립이며 동일한 분포를 이루므로

이다. 한편, 표본평균은

이므로 다음이 성립한다.

따라서 표본평균 $\overline{X}$는 모평균 $\mu$의 비편향추정량이다.

(2)

표본분산 $S^2$을 다음과 같이 변형할 수 있다.

그러므로 표본분산 $S^2$은 모분산 $\sigma^2$의 비편향추정량이다.

표본표준편차 $S$는 모표준편차 $\sigma$의 비편향추정량이 아니다. 그러나 표본의 크기가 크면 $(n>=30)$ 표본표준편차의 편향은 무시할 수 있을 정도로 작아지므로 보통 $\hat\sigma = S$를 사용한다.

유효추정량

모수 $\theta$의 두 비편향추정량을 $\hat{\theta}_1$, $\hat{\theta}_2$이라 하고, 각각의 분산을 $\text{Var}(\hat{\theta}_1)$, $\text{Var}(\hat{\theta}_2)$이라 할 때, $\text{Var}(\hat{\theta}_1) < \text{Var}(\hat{\theta}_2)$이면 $\hat{\theta}_1$이 $\hat{\theta}_2$보다 더 유효한 추정량(more efficient estimator)이라 한다.

그리고 분산비 $\dfrac{\text{Var}(\hat{\theta}_1)}{\text{Var}(\hat{\theta}_2)}$을 $\hat{\theta}_1$에 대한 $\hat{\theta}_2$의 효율(efficiency)이라 한다. 모수 $\theta$의 가능한 모든 비편향추정량 중 분산이 가장 작은 추정량은 최소분산비편향추정량(minimum variance unbiased estimator) 또는 최량유효추정량(the most efficient estimator)이라고 한다.

$\text{Var}(\hat{\theta}_1) < \text{Var}(\hat{\theta}_2) < \text{Var}(\hat{\theta}_3)$인 모수 $\theta$의 비편향추정량 $\hat{\theta}_1$, $\hat{\theta}_2$, $\hat{\theta}_3$의 확률분포를 나타낸다. 이때 $\hat{\theta}_1$이 최소분산비편향추정량이다.

일치추정량(consistent estimator)

모수 $\theta$의 추정량을 $\hat{\theta}$이라 할 때, 임의의 양수 $\epsilon$에 대하여 $\hat{\theta}$이 $\theta$에 확률 수렴하면, 즉

$\lim_{n \to \infty} \text{P}(|\hat{\theta} - \theta| < \epsilon) = 1 \quad \text{또는} \quad \lim_{n \to \infty} \text{P}(|\hat{\theta} - \theta| \ge \epsilon) = 0$

이 성립하면 $\hat{\theta}$을 $\theta$의 일치추정량이라고 한다. 추정량의 일치성을 밝히는 데에는 체비셰프 부등식(Chebyshev inequality)이 유용하다. 체비셰프 부등식은 확률변수 $X$의 평균과 분산이 각각 $\mu$와 $\sigma^2$일 때, 임의의 양수 $\epsilon$에 대하여 다음이 성립함을 의미한다.

$\text{P}(|X - \mu| < \epsilon) \ge 1 - \frac{\sigma^2}{\epsilon^2} \quad \text{또는} \quad \text{P}(|X - \mu| \ge \epsilon) \le \frac{\sigma^2}{\epsilon^2}$

모평균 $\mu$, 모분산 $\sigma^2$, 모비율 $p$의 일치추정량

모평균 $\mu$, 모분산 $\sigma^2$, 모비율 $p$의 점추정량인 표본평균, 표본분산, 표본비율은 각각 일치추정량이다.

(1) 표본평균 $\overline{X}$는 모평균 $\mu$의 일치추정량이다.

(2) 표본분산 $S^2$은 모분산 $\sigma^2$의 일치추정량이다.

(3) 표본비율 $\hat{p}$은 모비율 $p$의 일치추정량이다.

증명

(1) $\text{E}(\overline{X}) = \mu$, $\text{Var}(\overline{X}) = \dfrac{\sigma^2}{n}$이므로 다음이 성립한다.

$\text{P}(|\overline{X} - \mu| \ge \epsilon) \le \frac{\text{Var}(\overline{X})}{\epsilon^2} = \frac{\sigma^2}{n\epsilon^2}$

$\lim_{n \to \infty} \text{P}(|\overline{X} - \mu| \ge \epsilon) = \lim_{n \to \infty} \frac{\sigma^2}{n\epsilon^2} = 0$

따라서 표본평균 $\overline{X}$는 모평균 $\mu$의 일치추정량이다.

충분통계량(sufficient statistic)

이제 추정량의 또 다른 성질인 충분성을 알아보자. 충분성이란 추정량이 표본이 제공하는 모수의 모든 정보를 이용했다는 의미이다. 즉 해당 추정량이 표본의 모든 관측값을 이용할 뿐만 아니라, 관측값이 제공하는 정보도 이용했음을 의미한다.

모수 $\theta$를 추정하는 데 있어서 통계량 $\hat{\theta}$을 $\theta$의 추정량으로 사용할 때 통계량 $\hat{\theta}$이 표본에 포함된 $\theta$의 모든 정보를 갖고 있으면, 통계량 $\hat{\theta}$을 $\theta$의 충분통계량이라고 한다.

모수 $\theta$를 갖는 분포로부터 확률표본 $X_1, X_2, \cdots, X_n$을 추출했을 때, 그 추정량을 $\hat{\theta}$이라 하자. 만일 $\hat{\theta}$이 주어졌을 때, $X_1, X_2, \cdots, X_n$의 조건부분포

$f(x_1, x_2, \cdots, x_n \mid \hat{\theta}) = \frac{f(x_1, x_2, \cdots, x_n, \hat{\theta})}{g(\hat{\theta})}$

과 $\theta$가 독립이면 $\hat{\theta}$을 $\theta$의 충분통계량이라고 한다.

점추정

점추정량을 구하는 방법에는 적률법, 최대우도법, 최소제곱법 등이 있다. 여기서는 적률법과 최대우도법을 살펴보자.

적률법

모집단으로부터 추출한 확률표본의 표본적률을 모집단에 대응하는 적률과 같게 둠으로써 방정식을 얻을 수 있다. 이 방정식을 미지의 모수에 관해 풀어서 추정값을 구하는 방법을 적률법(method of moments)이라고 한다.

최대우도법

미지의 모수 $\theta$를 갖는 확률변수 $X$의 모집단 확률분포를 $f(x;\theta)$라 하자. 이 모집단으로부터 추출한 크기 $n$인 확률표본이 $X_1, X_2, \cdots, X_n$일 때, $X_1, X_2, \cdots, X_n$의 결합확률밀도함수는 다음과 같다.

$f(x_1, x_2, \cdots, x_n;\theta) = f(x_1;\theta)\,f(x_2;\theta)\cdots f(x_n;\theta)$

결합확률밀도함수는 $\theta$의 함수로 볼 수 있으므로 다음과 같이 표기한다.

$L(\theta) = f(x_1;\theta)\,f(x_2;\theta)\cdots f(x_n;\theta)$

$L(\theta)$를 확률표본의 우도함수(likelihood function) 또는 가능도함수라고 한다. 즉 우도함수와 결합확률밀도함수는 같으나, 함수를 모수 $\theta$의 함수로 볼 때 이를 우도함수라고 한다. 우도함수 $L(\theta)$에 $\theta$ 대신 통계량 $\hat{\theta}$을 대입했을 때 $L(\theta)$가 최대이면, $\hat{\theta}$을 모수 $\theta$의 최대우도추정량(maximum likelihood estimator) 또는 최대가능도추정량이라고 한다. 최대우도 추정량 $\hat{\theta}$은 다음과 같은 방정식으로 구할 수 있다.

$\frac{\partial L(\theta)}{\partial \theta} = 0 \quad \left(\text{또는} \quad \frac{\partial \ln L(\theta)}{\partial \theta} = 0\right)$

이 방정식을 최대우도방정식(maximum likelihood equation)이라고 한다. 그런데 $L(\theta)$를 최대로 만드는 $\theta$를 구하기보다 $\ln L(\theta)$를 최대로 만드는 $\theta$를 구하는 것이 쉬울 때가 많다. 이처럼 우도함수를 이용하여 주어진 표본의 값이 나올 확률을 최대로 만드는 추정량을 구하는 방법을 최대우도법(maximum likelihood method)이라고 한다.

일반적으로 모집단의 모수인 모평균, 모분산, 모표준편차, 모비율을 추정하는 추정량으로 보통 표본평균, 표본분산, 표본표준편차, 표본비율을 각각 사용하는데 이들은 앞에서 살펴본 추정량의 성질을 대부분 만족한다.

구간추정

구간추정은 미지의 모수 $\theta$의 참값이 속할 것이라 믿는 구간을 추정하는 것이다. 미지의 모수 $\theta$의 구간추정을 위해 표본에서 추정량 $\hat{\theta}_1$, $\hat{\theta}_2$을 정한다. 주어진 양수 $\alpha$ ($0 < \alpha < 1$)에 대해

$\text{P}(\hat{\theta}_1 < \theta < \hat{\theta}_2) = 1 - \alpha$

를 만족할 때, 구간 $(\hat{\theta}_1, \hat{\theta}_2)$을 $\theta$의 $100(1-\alpha)$% 신뢰구간(confidence interval) 또는 구간추정량(interval estimator)이라 한다. 이때 $1 - \alpha$를 신뢰계수(confidence coefficient) 또는 신뢰도(degree of confidence)라 하고, $\hat{\theta}_1$과 $\hat{\theta}_2$을 신뢰한계(confidence limit)라 하며, $\hat{\theta}_1$을 신뢰하한(confidence lower limit), $\hat{\theta}_2$을 신뢰상한(confidence upper limit)이라 한다.

이때 $\alpha$는 오차확률이고, 표본 결과를 이용하여 모집단의 모수를 추측하기 때문에 필연적으로 오차가 발생한다. 오차를 무릅쓰고라도 의미 있는 신뢰구간을 추정해야 하므로 보통 $\alpha$는 0.01, 0.05, 0.1을 많이 사용한다.

모평균의 추정

모평균의 점추정

모평균 $\mu$의 추정량으로 여러 가지 통계량을 사용할 수 있는데 가장 대표적인 것이 표본평균이다. 모집단으로부터 추출한 크기 $n$인 확률표본을 $X_1, X_2, \cdots, X_n$이라 할 때, 모평균의 추정량인 표본평균은 다음과 같이 정의한다.

$\overline{X} = \frac{1}{n}\sum_{i=1}^{n} X_i$

모평균이 $\mu$이고 모분산이 $\sigma^2$인 무한 모집단으로부터 크기 $n$인 표본을 복원추출할 때, 표본평균 $\overline{X}$는 다음과 같은 성질을 갖는다.

$\text{E}(\overline{X}) = \mu, \quad \text{Var}(\overline{X}) = \frac{\sigma^2}{n}$

이때 추정량의 표준편차 $\dfrac{\sigma}{\sqrt{n}}$는 어떤 불편추정량이 얼마나 좋은지를 나타내는 추정량의 정도를 의미하는 측도로서 표준오차(standard error)라 하고, 기호 $\text{SE}(\overline{X})$로 표기한다. 그러나 일반적으로 $\sigma$는 미지의 수이므로 $\sigma$ 대신 표본표준편차 $S$를 대입하여 $\dfrac{S}{\sqrt{n}}$를 사용하는데, 이를 표준오차의 추정값이라 한다.

한편, 정규 모집단으로부터 추출한 크기가 $n$인 확률표본의 표본평균 $\overline{X}$는 정규분포 $\text{N}\!\left(\mu, \dfrac{\sigma^2}{n}\right)$을 따르므로 이를 표준화한 다음 $Z$-통계량은 표준정규분포 $\text{N}(0, 1)$을 따른다.

$Z = \frac{\overline{X} - \mu}{\sigma / \sqrt{n}}$

따라서 표준정규분포의 성질로부터 임의의 양수 $\alpha$ ($0 < \alpha < 1$)에 대해 다음이 성립한다.

$\text{P}(-z_{\alpha/2} < Z < z_{\alpha/2}) = 1 - \alpha$

이 결과를 그래프로 나타내면 그림과 같고, 구간추정에서 $z_{\alpha/2}$ 값으로 $z_{0.05} = 1.645$, $z_{0.025} = 1.96$, $z_{0.005} = 2.58$을 주로 사용한다.

이때 절댓값을 이용하면 $\text{P}(|Z| < z_{\alpha/2}) = 1 - \alpha$이고, $Z$-통계량을 대입하면 다음과 같이 정리할 수 있다.

$\text{P}\!\left(\left|\frac{\overline{X} - \mu}{\sigma / \sqrt{n}}\right| < z_{\alpha/2}\right) = 1 - \alpha \quad \text{또는} \quad \text{P}\!\left(|\overline{X} - \mu| < z_{\alpha/2}\frac{\sigma}{\sqrt{n}}\right) = 1 - \alpha$

여기서 $|\overline{X} - \mu|$는 |(추정값) $-$ (참값)|으로 오차를 나타낸다. 이때 $z_{\alpha/2}\dfrac{\sigma}{\sqrt{n}}$는 오차한계(limit of error)이므로, 모평균 $\mu$에 대한 추정값의 $100(1-\alpha)$% 오차한계는 $z_{\alpha/2}\dfrac{\sigma}{\sqrt{n}}$이다.

한편, 오차한계의 크기는 표본의 크기에 따라 달라지므로 오차한계는 조사 결과의 신뢰성과 정확성을 판단하는 근거가 된다.

모평균의 점추정 정리

모평균의 점추정은 다음과 같이 정리할 수 있다.

(1) 모평균 $\mu$의 점추정량은 표본평균 $\overline{X}$이다.

(2) 추정량의 표준오차는 추정량 $\overline{X}$의 표준편차 $\dfrac{\sigma}{\sqrt{n}}$이다. 즉 다음이 성립한다.

$\text{SE}(\overline{X}) = \frac{\sigma}{\sqrt{n}}$

(3) 모평균 $\mu$에 대한 추정값의 $100(1-\alpha)$% 오차한계는 $z_{\alpha/2}\dfrac{\sigma}{\sqrt{n}}$이다.

모평균의 구간추정

모분산 $\sigma^2$을 아는 경우와 모르는 경우로 나누어 모평균의 구간추정을 살펴보자.

모분산 $\sigma^2$을 아는 경우

정규 모집단 $\text{N}(\mu, \sigma^2)$에서 모분산 $\sigma^2$을 알 때, 미지의 모평균 $\mu$의 신뢰구간을 구해보자.

정규 모집단으로부터 추출한 크기 $n$인 확률표본의 표본평균 $\overline{X}$는 정규분포 $\text{N}\!\left(\mu, \dfrac{\sigma^2}{n}\right)$을 따른다. 따라서 이를 표준화한 다음 $Z$-통계량은 표준정규분포 $\text{N}(0, 1)$을 따른다.

$Z = \frac{\overline{X} - \mu}{\sigma / \sqrt{n}}$

그리고 앞에서 살펴보았듯이 표준정규분포의 성질로부터 임의의 양수 $\alpha$ ($0 < \alpha < 1$)에 대하여 다음이 성립한다.

$\text{P}\!\left(|\overline{X} - \mu| < z_{\alpha/2}\frac{\sigma}{\sqrt{n}}\right) = 1 - \alpha$

그러므로 모평균 $\mu$에 대한 추정값의 $100(1-\alpha)$% 오차한계는 $z_{\alpha/2}\dfrac{\sigma}{\sqrt{n}}$이고, 위 식의 좌변 괄호 속 부등식을 $\mu$에 대해 풀면 다음과 같다.

$\text{P}\!\left(\overline{X} - z_{\alpha/2}\frac{\sigma}{\sqrt{n}} < \mu < \overline{X} + z_{\alpha/2}\frac{\sigma}{\sqrt{n}}\right) = 1 - \alpha$

모분산을 아는 경우 모평균의 구간추정 정리

모분산 $\sigma^2$을 알 때, 모평균 $\mu$의 $100(1-\alpha)$% 신뢰구간은 다음과 같다.

$\left(\overline{X} - z_{\alpha/2}\frac{\sigma}{\sqrt{n}}, \quad \overline{X} + z_{\alpha/2}\frac{\sigma}{\sqrt{n}}\right)$

즉 모평균 $\mu$의 $100(1-\alpha)$% 신뢰구간은 다음과 같다.

$\text{추정값} \pm 100(1-\alpha)\% \ \text{오차한계}$

이는 모평균 $\mu$가 위 구간에 포함됨을 $100(1-\alpha)$% 신뢰할 수 있다는 의미이다. 또한 정규분포를 따르지 않는 모집단에서도 모분산 $\sigma^2$을 알고 있다면, $n$이 대표본($n \ge 30$)인 경우 중심극한정리에 따라 위 식을 미지의 모평균 $\mu$의 신뢰구간으로 그대로 사용한다.

---

모분산 $\sigma^2$을 모르는 경우

정규 모집단 $\text{N}(\mu, \sigma^2)$에서 모분산 $\sigma^2$을 모를 때, 미지의 모평균 $\mu$의 신뢰구간을 구해보자.

우선 정규 모집단으로부터 추출한 표본의 크기 $n$이 대표본($n \ge 30$)일 경우 모평균 $\mu$의 $100(1-\alpha)$% 신뢰구간은 모표준편차 $\sigma$ 대신 표본표준편차 $S$를 대입하여 다음과 같이 구할 수 있다.

모분산을 모르는 경우 모평균의 구간추정 정리

모분산 $\sigma^2$을 모를 때, $n$이 대표본($n \ge 30$)일 경우 모평균 $\mu$의 $100(1-\alpha)$% 신뢰구간은 다음과 같다. 여기서 $S$는 표본표준편차이다.

$\left(\overline{X} - z_{\alpha/2}\frac{S}{\sqrt{n}}, \quad \overline{X} + z_{\alpha/2}\frac{S}{\sqrt{n}}\right)$

---

정규분포를 따르지 않는 모집단에서 $n$이 대표본일 경우, 중심극한정리에 의해 $\overline{X}$는 근사적으로 정규분포를 따르므로 모표준편차 $\sigma$는 표본표준편차 $S$로 추정할 수 있다. 따라서 모평균 $\mu$의 구간추정은 식을 그대로 사용할 수 있다.

식을 이용하여 신뢰구간을 구하는 경우, 표본에 따라 $\overline{X}$와 $S$가 변하므로 신뢰구간도 변한다. 따라서 신뢰구간을 반복하여 구할 때 모평균 $\mu$를 포함하지 않는 신뢰구간도 있지만 전체의 약 $100(1-\alpha)$% 정도는 모평균 $\mu$를 포함할 것으로 기대할 수 있다.

그러나 표본의 크기 $n$이 소표본($n < 30$)일 경우에는 모집단이 정규분포를 따르더라도 $\sigma$ 대신 $S$를 대입한 결과가 정규분포와는 크게 다를 수 있다. 이 경우에는 다른 분포가 필요하다. 따라서 $Z$-통계량에서 $\sigma$ 대신 $S$를 대입한 다음과 같은 $T$-통계량을 이용한다.

$T = \frac{\overline{X} - \mu}{S / \sqrt{n}}$

$T$-통계량은 자유도 $(n-1)$인 $t$-분포를 따른다. 그러므로 임의의 양수 $\alpha$ ($0 < \alpha < 1$)에 대하여 다음이 성립한다.

$\text{P}(-t_{\alpha/2}(n-1) < T < t_{\alpha/2}(n-1)) = 1 - \alpha$

식 $T$-통계량을 대입하면 다음과 같다.

$\text{P}\!\left(-t_{\alpha/2}(n-1) < \frac{\overline{X} - \mu}{S / \sqrt{n}} < t_{\alpha/2}(n-1)\right) = 1 - \alpha$

여기서 $t_{\alpha/2}(n-1)$은 자유도 $(n-1)$인 $t$-분포의 오른쪽 꼬리 넓이가 $\dfrac{\alpha}{2}$인 점을 나타낸다. 위 식의 좌변 괄호 속 부등식을 $\mu$에 대해 풀면 다음과 같이 쓸 수 있다.

$\text{P}\!\left(\overline{X} - t_{\alpha/2}(n-1)\frac{S}{\sqrt{n}} < \mu < \overline{X} + t_{\alpha/2}(n-1)\frac{S}{\sqrt{n}}\right) = 1 - \alpha$

따라서 다음과 같이 모평균의 구간추정을 구할 수 있다.

모분산을 모르는 경우 모평균의 구간추정 (소표본)**

모분산 $\sigma^2$을 모를 때, $n$이 소표본($n < 30$)일 경우 모평균 $\mu$의 $100(1-\alpha)$% 신뢰구간은 다음과 같다. 여기서 $S$는 표본표준편차이다.

$\left(\overline{X} - t_{\alpha/2}(n-1)\frac{S}{\sqrt{n}}, \quad \overline{X} + t_{\alpha/2}(n-1)\frac{S}{\sqrt{n}}\right)$

모평균 차의 추정

각각 정규분포 $N(\mu_1, \sigma_1^2)$, $N(\mu_2, \sigma_2^2)$을 따르면서 서로 독립인 두 모집단에서 두 모평균의 차인 $\mu_1-\mu_2$의 신뢰구간을 두 모분산 $\sigma_1^2$과 $\sigma_2^2$을 아는 경우와 모르는 경우로 나누어서 살펴보자. 또한 두 모평균을 비교할 때 두 모집단이 서로 독립이 아닌 경우에 사용하는 짝비교(paired comparison) 방법을 이용하여 모평균 차의 신뢰구간을 구해보자.

두 모분산 $\sigma_1^2$과 $\sigma_2^2$을 아는 경우

각각 정규분포 $N(\mu_1, \sigma_1^2)$, $N(\mu_2, \sigma_2^2)$을 따르는 두 모집단에 대하여 크기가 각각 $n_1$, $n_2$이고 서로 독립인 두 확률표본의 표본평균을 각각 $\overline{X}_1$, $\overline{X}_2$라 하면, 통계량 $\overline{X}_1-\overline{X}_2$의 기대값과 분산은 각각 다음과 같다.

$\overline{X}_1-\overline{X}_2$를 표준화한 $Z$-통계량은 다음과 같이 표준정규분포 $N(0,1)$을 따른다.

따라서 표준정규분포의 성질로부터 임의의 양수 $\alpha(0<\alpha<1)$에 대하여 다음이 성립한다.

위 식에 $Z$-통계량을 대입하여 좌변 괄호 속 부등식을 $\mu_1-\mu_2$에 대해 풀면 다음과 같이 쓸 수 있다.

따라서 모평균 차의 구간추정은 다음과 같이 구할 수 있다.

두 모분산을 아는 경우 모평균 차의 구간추정

모분산 $\sigma_1^2$과 $\sigma_2^2$을 알 때, 모평균 차 $\mu_1-\mu_2$의 $100(1-\alpha)\%$ 신뢰구간은 다음과 같다.

또한 정규분포를 따르지 않는 두 모집단에서 모분산 $\sigma_1^2$과 $\sigma_2^2$을 알 때, 모평균 차 $\mu_1-\mu_2$의 신뢰구간은 $n_1$, $n_2$가 대표본$(n_1 \ge 30, n_2 \ge 30)$일 경우 중심극한정리에 의해 [정리 6-7]의 식을 그대로 사용한다.

---

두 모분산 $\sigma_1^2$과 $\sigma_2^2$을 모르는 경우

각각 정규분포 $N(\mu_1, \sigma_1^2)$, $N(\mu_2, \sigma_2^2)$을 따르는 두 모집단에 대하여 두 모분산 $\sigma_1^2$과 $\sigma_2^2$을 모를 때, 모평균 차 $\mu_1-\mu_2$의 신뢰구간을 구해보자. 우선 두 정규 모집단으로부터 추출한 표본의 크기 $n_1$, $n_2$가 대표본$(n_1 \ge 30, n_2 \ge 30)$일 경우 $\mu_1-\mu_2$의 $100(1-\alpha)\%$ 신뢰구간은 모표준편차 $\sigma_1$과 $\sigma_2$ 대신 표본표준편차 $S_1$과 $S_2$를 대입하여 다음과 같이 구할 수 있다.

두 모분산을 모르는 경우 모평균 차의 구간추정

모분산 $\sigma_1^2$과 $\sigma_2^2$을 모를 때, $n_1$, $n_2$가 대표본$(n_1 \ge 30, n_2 \ge 30)$일 경우 모평균 차 $\mu_1-\mu_2$의 $100(1-\alpha)\%$ 신뢰구간은 다음과 같다.

또한 정규분포를 따르지 않는 두 모집단에서 $n_1$, $n_2$가 대표본의 경우, 중심극한정리에 의해 $\overline{X}_1-\overline{X}_2$는 근사적으로 정규분포를 따르므로 모표준편차 $\sigma_1$과 $\sigma_2$는 표본표준편차 $S_1$과 $S_2$로 추정할 수 있다. 따라서 $\mu_1-\mu_2$의 구간추정은 [정리 6-8]의 식을 그대로 사용할 수 있다.

한편 표본의 크기 $n_1$, $n_2$가 소표본$(n_1<30, n_2<30)$일 경우, 두 모평균 차의 추정에서는 $\overline{X}_1-\overline{X}_2$를 표준화한 $Z$-통계량을 사용할 수 없고 $t$-분포를 이용해야 한다. 따라서 $\sigma_1^2=\sigma_2^2$인 경우와 $\sigma_1^2 \ne \sigma_2^2$인 경우로 나누어서 신뢰구간을 구해보자.

---

두 모분산 $\sigma_1^2$과 $\sigma_2^2$을 모르지만 $\sigma_1^2=\sigma_2^2$인 경우

두 모집단의 모분산을 모르지만 같다고$(\sigma_1^2=\sigma_2^2)$ 가정할 수 있을 때, 공통분산의 추정은 다음과 같은 합동표본분산 $S_p^2$을 이용한다.

합동표본분산 $S_p^2$을 이용하여 $\overline{X}_1-\overline{X}_2$를 표준화한 $T$-통계량은 다음과 같다.

통계량 $T$는 자유도 $(n_1+n_2-2)$인 $t$-분포를 따른다. 따라서 임의의 양수 $\alpha(0<\alpha<1)$에 대하여 다음이 성립한다.

위 식의 좌변 괄호 속 부등식을 $\mu_1-\mu_2$에 대해 풀면 다음과 같이 쓸 수 있다.

두 모분산을 모르지만 $\sigma_1^2=\sigma_2^2$인 경우 모평균 차의 구간추정

두 모분산 $\sigma_1^2$, $\sigma_2^2$을 모르지만 $\sigma_1^2=\sigma_2^2$일 때, $n_1$, $n_2$가 소표본$(n_1<30, n_2<30)$이면 두 모평균 차 $\mu_1-\mu_2$의 $(1-\alpha)100\%$ 신뢰구간은 다음과 같다.

---

두 모분산 $\sigma_1^2$과 $\sigma_2^2$을 모르지만 $\sigma_1^2 \ne \sigma_2^2$인 경우

$\sigma_1^2 \ne \sigma_2^2$일 때 다음 $T$-통계량은 근사적으로 $t$-분포를 따른다는 성질을 이용한다.

두 모분산을 모르지만 $\sigma_1^2 \ne \sigma_2^2$인 경우 모평균 차의 구간추정

두 모분산 $\sigma_1^2$, $\sigma_2^2$을 모르지만 $\sigma_1^2 \ne \sigma_2^2$일 때, $n_1$, $n_2$가 소표본$(n_1<30, n_2<30)$이면 두 모평균 차 $\mu_1-\mu_2$의 $100(1-\alpha)\%$ 신뢰구간은 다음과 같다.

이때 자유도 $n^*$은 근사적으로 다음과 같다. 만약 $n^*$가 정수가 아니라면 $n^*$를 넘지 않는 최대정수를 자유도로 선택한다.

---

짝비교에 의한 모평균 차의 구간추정

두 모평균의 비교에 있어서 두 모집단이 서로 독립이 아닌 경우에 짝비교 방법을 이용한다. 예를 들어 실험의 효과를 알아보기 위한 실험 전과 후의 비교, 왼손과 오른손의 악력 비교 등 한 개체에서 그 처리 효과를 비교할 때 짝비교 방법을 사용한다. 짝비교의 경우 하나의 짝의 실험 단위에는 처리 $1(X_1)$을, 다른 실험 단위에는 처리 $2(X_2)$를 적용하고, 각 짝에서 얻은 관측값의 차$(D=X_1-X_2)$를 이용하여 두 처리를 비교한다. 짝비교에서의 자료 구조는 다음과 같다.

두 확률변수 $X_1$과 $X_2$가 정규분포를 따른다고 가정할 때, $D_i=X_{1i}-X_{2i}$는 정규분포 $N(\mu_1-\mu_2, \sigma_D^2)$을 따른다. 이때 $\sigma_D^2$은 알고 있다고 가정한다. 또한 짝 $(X_{1i}, X_{2i})$는 서로 독립적으로 추출하며 $X_{1i}$와 $X_{2i}$는 일반적으로 강한 양의 상관관계를 갖는다.

$D_1, D_2, \cdots, D_n$의 표본평균

는 정규분포

을 따르고, 이를 표준화한 다음 $Z$-통계량은 표준정규분포 $N(0,1)$을 따른다.

따라서 표준정규분포의 성질로부터 임의의 양수 $\alpha(0<\alpha<1)$에 대하여 다음이 성립한다.

위 식에 $Z$-통계량을 대입하여 좌변 괄호 속 부등식을 $\mu_1-\mu_2$에 대해 풀면 다음과 같이 쓸 수 있다.

짝비교에 의한 모평균 차의 구간추정

두 모평균 차 $\mu_1-\mu_2$의 $100(1-\alpha)\%$ 신뢰구간은 다음과 같다.

실제로 $\sigma_D^2$을 모르는 경우에는 다음 $T$-통계량을 이용한다.

통계량 $T$는 자유도 $(n-1)$인 $t$-분포를 따른다. 따라서 같은 방법으로 두 모평균 차 $\mu_1-\mu_2$의 $100(1-\alpha)\%$ 신뢰구간을 구하면 다음과 같다.

여기서

이다.

모비율의 추정

어떤 특정한 속성의 모비율이 $p$ 인 무한 모집단으로부터 n개의 확률표본을 추출했을 때, 특정한 속성을 갖는 개체의 총수를 $X$라 하면 확률변수 $X$는 이항분포 $B(n,p)$를 따른다. 이때 모비율의 추정량인 표본비율은 다음과 같이 정의했다.

$\hat p = \frac{X}{n}$

확률변수 $X$가 이항분포 $\text{B}(n, p)$를 따를 때, 다음이 성립한다.

$\text{E}(X) = np$

$\text{Var}(X) = np(1-p)$

따라서 표본비율 $\hat{p}$의 평균과 분산은 각각 다음과 같다.

$\text{E}(\hat{p}) = p$

$\text{Var}(\hat{p}) = \frac{p(1-p)}{n}$

그러므로 $\hat{p}$은 모비율 $p$의 불편추정량이고, $\hat{p}$의 표준오차는 $\sqrt{\dfrac{p(1-p)}{n}}$이며 표준오차의 추정값은 $\sqrt{\dfrac{\hat{p}(1-\hat{p})}{n}}$임을 알 수 있다.

이항 모집단의 모비율 $p$의 점추정량이 $\hat{p} = \dfrac{X}{n}$이고 표본의 크기 $n$이 대표본일 때, 확률변수 $X$의 분포는 근사적으로 정규분포 $\text{N}(np, \, np(1-p))$에 가까워진다. 따라서 표본비율 $\hat{p}$의 분포는 근사적으로 정규분포 $\text{N}\!\left(p, \, \dfrac{p(1-p)}{n}\right)$를 따른다는 사실이 알려져 있다.

이때 대표본의 기준은 흔히 $n\hat{p} > 5$, $n(1-\hat{p}) > 5$로 $n$이 충분히 큰 경우를 의미하므로

$Z = \frac{X - np}{\sqrt{n\hat{p}(1-\hat{p})}} = \frac{\hat{p} - p}{\sqrt{\dfrac{\hat{p}(1-\hat{p})}{n}}}$

는 근사적으로 표준정규분포를 따른다. 따라서 임의의 양수 $\alpha$ ($0 < \alpha < 1$)에 대하여 다음이 성립한다.

$\text{P}\!\left(-z_{\alpha/2} < \frac{\hat{p} - p}{\sqrt{\dfrac{\hat{p}(1-\hat{p})}{n}}} < z_{\alpha/2}\right) = 1 - \alpha$

좌변의 괄호 속 부등식을 $p$에 대해 풀면 다음과 같다.

$\text{P}\!\left(\hat{p} - z_{\alpha/2}\sqrt{\frac{\hat{p}(1-\hat{p})}{n}} < p < \hat{p} + z_{\alpha/2}\sqrt{\frac{\hat{p}(1-\hat{p})}{n}}\right) = 1 - \alpha$

따라서 모비율의 구간추정은 다음과 같이 구할 수 있다.

모비율의 구간추정

$n$이 대표본($n \ge 30$)일 경우 모비율 $p$의 $100(1-\alpha)$% 신뢰구간은 다음과 같다.

$\left(\hat{p} - z_{\alpha/2}\sqrt{\frac{\hat{p}(1-\hat{p})}{n}}, \quad \hat{p} + z_{\alpha/2}\sqrt{\frac{\hat{p}(1-\hat{p})}{n}}\right)$

---

모비율 차의 추정

두 이항 모집단으로부터 추출한 크기가 $n_1$, $n_2$이고 서로 독립인 확률표본의 표본비율을 각각 $\hat{p}_1$, $\hat{p}_2$이라 하면 통계량 $\hat{p}_1 - \hat{p}_2$의 기댓값과 분산은 다음과 같다.

$\text{E}(\hat{p}_1 - \hat{p}_2) = p_1 - p_2$

$\text{Var}(\hat{p}_1 - \hat{p}_2) = \frac{p_1(1-p_1)}{n_1} + \frac{p_2(1-p_2)}{n_2}$

표본의 크기 $n_1$, $n_2$가 충분히 클 때, $\hat{p}_1 - \hat{p}_2$을 표준화한 다음 $Z$-통계량은 근사적으로 표준정규분포를 따른다.

$Z = \frac{(\hat{p}_1 - \hat{p}_2) - (p_1 - p_2)}{\sqrt{\dfrac{\hat{p}_1(1-\hat{p}_1)}{n_1} + \dfrac{\hat{p}_2(1-\hat{p}_2)}{n_2}}}$

따라서 임의의 양수 $\alpha$ ($0 < \alpha < 1$)에 대하여 다음이 성립한다.

$\text{P}\!\left(-z_{\alpha/2} < \frac{(\hat{p}_1 - \hat{p}_2) - (p_1 - p_2)}{\sqrt{\dfrac{\hat{p}_1(1-\hat{p}_1)}{n_1} + \dfrac{\hat{p}_2(1-\hat{p}_2)}{n_2}}} < z_{\alpha/2}\right) = 1 - \alpha$

그러므로 좌변의 괄호 속 부등식을 $p_1 - p_2$에 대해 풀면 다음과 같다.

$\text{P}\!\left((\hat{p}_1 - \hat{p}_2) - z_{\alpha/2}\sqrt{\frac{\hat{p}_1(1-\hat{p}_1)}{n_1} + \frac{\hat{p}_2(1-\hat{p}_2)}{n_2}} < p_1 - p_2 < (\hat{p}_1 - \hat{p}_2) + z_{\alpha/2}\sqrt{\frac{\hat{p}_1(1-\hat{p}_1)}{n_1} + \frac{\hat{p}_2(1-\hat{p}_2)}{n_2}}\right) = 1 - \alpha$

모비율 차의 구간추정 정리

$n_1$, $n_2$가 대표본($n_1 \ge 30$, $n_2 \ge 30$)일 경우 두 모비율 차 $p_1 - p_2$의 $100(1-\alpha)$% 신뢰구간은 다음과 같다.

$\left((\hat{p}_1 - \hat{p}_2) - z_{\alpha/2}\sqrt{\frac{\hat{p}_1(1-\hat{p}_1)}{n_1} + \frac{\hat{p}_2(1-\hat{p}_2)}{n_2}}, \quad (\hat{p}_1 - \hat{p}_2) + z_{\alpha/2}\sqrt{\frac{\hat{p}_1(1-\hat{p}_1)}{n_1} + \frac{\hat{p}_2(1-\hat{p}_2)}{n_2}}\right)$

---

모분산의 추정

모평균이 $\mu$이고 모분산이 $\sigma^2$인 모집단으로부터 추출한 크기 $n$인 확률표본을 $X_1, X_2, \cdots, X_n$이라 할 때, 모분산의 추정량인 표본분산은 다음과 같이 정의한다.

$S^2 = \frac{1}{n-1}\sum_{i=1}^{n}(X_i - \overline{X})^2$

무한 모집단으로부터 확률표본을 추출하여 얻은 표본분산 $S^2$은 다음과 같은 성질을 갖는다.

$\text{E}(S^2) = \sigma^2$

그러므로 $S^2$은 모분산 $\sigma^2$의 불편추정량임을 알 수 있다. 모표준편차 $\sigma$의 추정량인 표본표준편차(sample standard deviation)는 다음과 같이 정의한다.

$S = \sqrt{\frac{1}{n-1}\sum_{i=1}^{n}(X_i - \overline{X})^2}$

이때 $\text{E}(S) < \sigma$이므로 표본표준편차 $S$는 모표준편차 $\sigma$의 불편추정량이 아니다. 그러나 표본의 크기 $n$이 크면($n > 30$) 편향이 작아서 $S$를 $\sigma$의 추정량으로 사용할 수 있다.

모평균 $\mu$를 아는 경우와 모르는 경우로 나누어 모분산의 구간추정을 살펴보자.

---

모평균 $\mu$를 아는 경우 모분산 $\sigma^2$의 구간추정

정규분포 $\text{N}(\mu, \sigma^2)$을 따르는 모집단에서 모평균 $\mu$를 알 때, 미지의 모분산 $\sigma^2$의 신뢰구간을 구해보자. 다음과 같이 정의한 $\chi^2$-통계량은 자유도가 $n$인 $\chi^2$-분포를 따른다.

$\chi^2 = \frac{\sum_{i=1}^{n}(X_i - \mu)^2}{\sigma^2}$

따라서 임의의 양수 $\alpha$ ($0 < \alpha < 1$)에 대하여 다음이 성립한다.

$\text{P}\!\left(\chi^2_{1-\alpha/2}(n) < \chi^2 < \chi^2_{\alpha/2}(n)\right) = 1 - \alpha$

여기서 $\chi^2_{1-\alpha/2}(n)$과 $\chi^2_{\alpha/2}(n)$은 각각 $100(\alpha/2)$% 점과 $100(1-\alpha/2)$% 점이다. 앞의 식에 $\chi^2$-통계량을 대입하면 다음과 같다.

$\text{P}\!\left(\chi^2_{1-\alpha/2}(n) < \frac{\sum_{i=1}^{n}(X_i - \mu)^2}{\sigma^2} < \chi^2_{\alpha/2}(n)\right) = 1 - \alpha$

좌변의 괄호 속 부등식을 $\sigma^2$에 대해 풀면 다음과 같이 쓸 수 있다.

$\text{P}\!\left(\frac{\sum_{i=1}^{n}(X_i - \mu)^2}{\chi^2_{\alpha/2}(n)} < \sigma^2 < \frac{\sum_{i=1}^{n}(X_i - \mu)^2}{\chi^2_{1-\alpha/2}(n)}\right) = 1 - \alpha$

따라서 모평균을 아는 경우 모분산의 신뢰구간은 다음과 같이 구할 수 있다.

모평균을 아는 경우 모분산의 구간추정 정리

모평균 $\mu$를 알 때, 모분산 $\sigma^2$의 $100(1-\alpha)$% 신뢰구간은 다음과 같다.

$\left(\frac{\sum_{i=1}^{n}(X_i - \mu)^2}{\chi^2_{\alpha/2}(n)}, \quad \frac{\sum_{i=1}^{n}(X_i - \mu)^2}{\chi^2_{1-\alpha/2}(n)}\right)$

---

모평균 $\mu$를 모르는 경우 모분산 $\sigma^2$의 구간추정

정규분포 $\text{N}(\mu, \sigma^2)$을 따르는 모집단에서 모평균 $\mu$를 모를 때, 미지의 모분산 $\sigma^2$의 신뢰구간을 구해보자. 다음과 같이 정의한 $\chi^2$-통계량은 자유도가 $(n-1)$인 $\chi^2$-분포를 따른다.

$\chi^2 = \frac{(n-1)S^2}{\sigma^2}$

따라서 임의의 양수 $\alpha$ ($0 < \alpha < 1$)에 대하여 다음이 성립한다.

$\text{P}\!\left(\chi^2_{1-\alpha/2}(n-1) < \frac{(n-1)S^2}{\sigma^2} < \chi^2_{\alpha/2}(n-1)\right) = 1 - \alpha$

위 식에서 좌변의 괄호 속 부등식을 $\sigma^2$에 대해 풀면 다음과 같이 쓸 수 있다.

$\text{P}\!\left(\frac{(n-1)S^2}{\chi^2_{\alpha/2}(n-1)} < \sigma^2 < \frac{(n-1)S^2}{\chi^2_{1-\alpha/2}(n-1)}\right) = 1 - \alpha$

따라서 모평균을 모르는 경우 모분산의 신뢰구간은 다음과 같이 구할 수 있다.

모평균을 모르는 경우 모분산의 구간추정

모평균 $\mu$를 모를 때, 모분산 $\sigma^2$의 $100(1-\alpha)$% 신뢰구간은 다음과 같다.

$\left(\frac{(n-1)S^2}{\chi^2_{\alpha/2}(n-1)}, \quad \frac{(n-1)S^2}{\chi^2_{1-\alpha/2}(n-1)}\right)$

---

모분산 비의 구간추정

서로 독립인 두 정규 모집단 $\text{N}(\mu_1, \sigma_1^2)$, $\text{N}(\mu_2, \sigma_2^2)$으로부터 크기 $n_1$, $n_2$인 확률표본을 추출할 때, 표본분산을 $S_1^2$, $S_2^2$이라고 하면 다음과 같은 통계량 $F$는 자유도 $(n_1 - 1, \, n_2 - 1)$인 $F$-분포를 따른다.

$F = \frac{S_1^2 / \sigma_1^2}{S_2^2 / \sigma_2^2}$

이로부터 다음과 같은 신뢰구간을 얻을 수 있다. 임의의 양수 $\alpha$ ($0 < \alpha < 1$)에 대하여

$\text{P}\!\left(F_{1-\alpha/2}(n_1-1, \, n_2-1) < \frac{S_1^2/\sigma_1^2}{S_2^2/\sigma_2^2} < F_{\alpha/2}(n_1-1, \, n_2-1)\right) = 1 - \alpha$

가 성립하므로 좌변의 괄호 속 부등식을 $\dfrac{\sigma_1^2}{\sigma_2^2}$에 대해 풀면 다음과 같이 쓸 수 있다.

$\text{P}\!\left(\frac{S_1^2}{S_2^2} \cdot \frac{1}{F_{\alpha/2}(n_1-1, \, n_2-1)} < \frac{\sigma_1^2}{\sigma_2^2} < \frac{S_1^2}{S_2^2} \cdot \frac{1}{F_{1-\alpha/2}(n_1-1, \, n_2-1)}\right) = 1 - \alpha$

따라서 모분산 비의 신뢰구간은 다음과 같이 구할 수 있다.

$\left(\frac{S_1^2 / S_2^2}{F_{\alpha/2}(n_1-1, \, n_2-1)}, \quad \frac{S_1^2 / S_2^2}{F_{1-\alpha/2}(n_1-1, \, n_2-1)}\right)$

이 결과는 다음과 같이 정리할 수 있다.

모분산 비의 구간추정

모분산 비 $\dfrac{\sigma_1^2}{\sigma_2^2}$의 $100(1-\alpha)$% 신뢰구간은 다음과 같다.

$\left(\frac{S_1^2}{S_2^2}\,F_{1-\alpha/2}(n_2-1, \, n_1-1), \quad \frac{S_1^2}{S_2^2}\,F_{\alpha/2}(n_2-1, \, n_1-1)\right)$

---

표본의 크기 결정

모수를 추정하기 위해 표본을 추출할 때 표본의 크기를 얼마로 해야 하는지를 결정해야 한다. 일반적으로 표본의 크기가 너무 크면 시간과 노력이 많이 소비되는 반면, 표본의 크기가 너무 작으면 오차가 큰 정보를 얻을 수 있다. 따라서 정해진 오차한계를 만족하는 표본의 크기 결정이 필요하다.

모평균 추정에서 표본의 크기 결정

모평균 $\mu$를 추정하는 데 오차한계를 정해진 값 $d$보다 작게 하고자 할 때 표본의 크기를 결정해보자. 모분산 $\sigma^2$을 알 때, 모평균 $\mu$의 $100(1-\alpha)\%$ 신뢰구간

에서

는 모수와 추정량 차이의 $100(1-\alpha)\%$ 오차한계를 의미한다. 따라서 오차한계

를 $d$보다 작다고 하고 $n$에 대해 풀면 표본의 크기를 결정할 수 있다.

모평균 추정에서 표본의 크기 결정

모분산 $\sigma^2$을 아는 경우, 모평균 $\mu$에 대한 표본의 크기 $n$의 범위는 다음과 같다.

모표준편차 $\sigma$를 알고 있는 경우, 위 식을 이용하면 되지만 실제로는 $\sigma$를 모르는 경우가 대부분이다. 이럴 때는 예비표본을 추출한 후 $\sigma$를 추정하여 표본의 크기 $n$을 구할 수 있다.

---

모비율 추정에서 표본의 크기 결정

모비율 $p$의 $100(1-\alpha)\%$ 신뢰구간

에서 오차한계

을 정해진 값 $d$보다 작다고 두고, $n$에 대해 풀면 다음과 같다.

위 식은 $\hat{p}$이 사전조사나 과거 경험으로 추정한 $p$값과 일치하리라 기대할 수 있을 경우에만 사용할 수 있다. 그러나 $p$값에 대한 사전정보가 전혀 없을 때는 $\hat{p}(1-\hat{p})$의 최대변동인

일 때 주로 위 식을 사용한다.

모비율 추정에서 표본의 크기 결정

모비율 $p$에 대한 표본의 크기 $n$의 범위는 다음과 같다.