[Theory of Statistics] 1. Statistical Models, Goals, and Performance Criteria

본 포스팅은 서울대학교 통계학과 이재용 교수님의 수업 내용과, Mathematical Statistics, Basic Ideas and Selected Topics Volume I에 기반한 내용입니다.

1.1 Data, Models, Parameters, and Statistics

Terminologies(1)

• $(\Omega, \mathcal{F}, \mathbf{P})$: 확률 공간 (Probability Space).
  - $\Omega$: 집합, 표본공간.
  - $\mathcal{F}$: $\ \Omega$ 상에 정의된 $\sigma-field$.
  - $\mathbf{P}$: $\ \mathcal{F}$ 상에 정의된 확률 측도.
• 자료 (or 관측치): $\mathbf{X}=(X_1, \ldots, X_n),\ \Omega \rightarrow \mathbf{R}^n$ 인 random vector.
  - 측도 가능한 함수 $(\mathbf{X}^{-1}(B)\in \mathcal{F}, \ \forall{B}=\mathcal{B}^n=\mathbf{R}^n)$ 상의 Borel $\sigma-field$.
• 모형: $\ \mathcal{P}=\mathbf{X}$의 분포들의 모임.
• 모수함수: $\ \Theta \rightarrow \mathcal{P}$ 함수.

Example. 일표본 모형
$X_i=\mu+\epsilon_i,\; \epsilon_i \stackrel{\text{iid}}{\sim} F,\; i=1,\ldots,n, \quad \mu \in \mathbf{R}, \quad F:\mathbf{R}$ 상의 분포
자료: $\ \mathbf{X}=(X_1, \ldots, X_n)$
모형: $\ \mathcal{P}=\{\Phi^n(\cdot-\mu):\; \mu \in \mathbf{R}\}, \; \Phi: N(0,1)$의 cdf.
(i) $\ \mathcal{P}=\{\Phi(\cdot-\mu):\; \mu \in \mathbf{R}\}$: $\ \mu$ 모수, $\Theta=\mathbf{R}$.
$\quad \rightarrow \mu$결정 시, $X_1$ 분포 결정. 그래서 $\mu$를 $X_1$분포의 이름이라 생각할 수 있다.
(ii) $\ \mathcal{P}=\{\Phi(\frac{\cdot-\mu}{\sigma}):\; \mu \in \mathbf{R}, \; \sigma>0\}$: $\ (\mu, \sigma)$ 모수, $\Theta=\mathbf{R}\times \mathbf{R}_{+}$
(iii) $\ \mathcal{P}=\{F(\cdot-\mu):\; \mu \in \mathbf{R}\}$: $(\mu, F)$모수,
$\quad$$\Theta=R\times\{$$R$에 정의된 0에 대칭인 분포$\}$
$\quad$$F: R$에 정의된 0에 대칭인 분포

---

Terminologies(2)

• $\Theta$가 유클리드공간 $\mathbf{R}^n$의 부분집합일 때의 모형을 모수적(parametric)이라고 한다.
• $\Theta$가 무한차원공간일 때, $\mathcal{P}$를 비모수적(nonparametric)이라고 한다.
  (ex) $\Theta=${$\mathbf{R}$상의 모든 분포들의 모임} or {$\mathbf{R}$상의 밀도 함수들의 모임}
• $\Theta$를 유클리드 공간과 무한차원공간으로 표현할 수 있을 때, $\mathcal{P}$를 준모수적(semiparametric) 모형이라 한다.
  (ex) $\{F(\cdot - \mu):\ \mu \in R,\; F:\mathbf{R}$에 정의된 0에 대칭인 분포$\}$
  $\rightarrow$ 다만 semiparametric의 경우, 엄격하게 정의되지는 않음.
• 식별가능(identifiable): 모수함수와 모수가 1-1 대응.
  i.e. $\; \theta_1 \ne \theta_2\; \Rightarrow\; \mathcal{P}(\theta_1)\ne \mathcal{P}(\theta_2)$
• 관심모수(parameter of interest): 모수 중에서 1차적 관심의 대상.
• 잠재모수(nuisance parameter): 모수 중에서 2차적 관심의 대상.

Example. 이표본 모형
$X_1,\ldots, X_n \stackrel{\text{iid}}{\sim}F,\quad Y_1,\ldots, Y_n \stackrel{\text{iid}}{\sim}F(\cdot-\Delta), \quad \Delta \in \mathbf{R}$에서 일차적으로 $\Delta$에 관심이 있기에 $\Delta$가 관심모수, $F$가 장애모수.

---

Terminologies(3)

• 통계량: 표본공간에서 정의된 함수. 보통 치역은 유클리드 공간.
  (ex) $T(x)=\frac{x}{n},\quad T(x_1,\ldots,x_n)=\frac{1}{n}\Sigma x_i,\quad F_n(t)=\frac{1}{n}\Sigma_{i=1}^nI(X_i\leq t)$: 경험적 분포

Example. 회귀모형

• 자료: $(Z_i, Y_i),\quad i=1,\ldots. n \quad Y_i=\mathbf{R}$(회귀모형) or $\{0,1\}$(분류모형).
  $Z_i$들은 확률변수 or 상수, $Z_i \in \mathbf{R}^k$
• 목적: 조건부 분포 $f(y|z)$에 대한 추론.
• (모형 1) $\quad y_i|z_i \sim f(y|z), \quad i=1,\ldots,n$.
  $\mathcal{P}=\{y \in \mathbf{R}, z\in\mathbf{R}^k$일 때, 조건부 밀도함수$\ f(y|z)\}$
• (모형 2) $\quad y_i=\mu(z_i)+\epsilon_i,\quad i=1,\ldots,n, \quad \epsilon \stackrel{\text{iid}}{\sim}F$
  $\mu: \mathbf{R}^k \rightarrow \mathbf{R}$ 함수.