적률생성함수

choyunjeong·2024년 12월 11일

수리통계학 제 5판 - 송성주, 전명식

목록 보기
6/20

2.8 적률생성함수

확률변수의 적률은 분포형태를 결정짓는 데 매우 중요한 역할을 한다.
예) 평균, 분산, 왜도, 첨도 등
젹률생성함수는 확률변수의 형태를 결정지으며, 확률변수들의 합에 대한 분포를 알아내는 데 매우 유용하다.

\\[20pt]

정의 2.15
확률변수 XX의 함수 g(X)=Xrg(X)=X^r에 대한 기댓값을 XX의 rr차 적률이라고 하며 다음과 같이 표기

μr′=E[Xr]\mu_r'=E[X^r]

평균 μ=E(X)\mu=E(X)에 대한 XX의 rr차 중심적률이라 정의

μr=E[(X−μ)r]\mu_r=E[(X-\mu)^r]

\\[20pt]

정의 2.16
어떤 h>0h>0에 대하여 −h<t<h-h<t<h를 만족하는 모든 tt에서 E[etX]<∞E[e^{tX}]<\infty일 때, 다음을 확률변수 XX의 적률생성함수라고 한다.

MX(t)=E[etX]M_X(t)=E[e^{tX}]

\\[20pt]

예 2.48

X∼B(n,p)X\sim B(n,p)의 적률생성함수.

MX(t)=E(etX)=∑x=0netx(nx)px(1−p)n−x=∑x=0n(nx)(pet)x(1−p)n−x=(1−p+pet)n(∵(a+b)n=∑xn(nx)(a)x(b)n−x)\begin{aligned} M_X(t) &=E(e^{tX}) \\[10pt] &=\sum_{x=0}^{n}e^{tx}\binom{n}{x}p^x(1-p)^{n-x} \\[15pt] &=\sum_{x=0}^{n}\binom{n}{x}(pe^t)^x(1-p)^{n-x} \\[10pt] &= (1-p+pe^t)^n \quad (\because (a+b)^n=\sum_{x}^{n} \binom{n}{x}(a)^x(b)^{n-x}) \end{aligned}

\\[20pt]

예 2.49

X∼EXP(λ)X\sim \text{EXP}(\lambda)의 적률생성함수.

MX(t)=E(etX)=∫0∞etx⋅1λexp⁡{(−x/λ)}dx=∫0∞1λexp⁡{(t−1/λ)x}dx=1λλλt−1[exp⁡{(t−1/λ)x}]0∞=1λt−1[lim⁡x→∞exp⁡{(t−1/λ)x}−1]=11−λt,t<1λ\begin{aligned} M_X(t) &=E(e^{tX}) \\[10pt] &=\int_{0}^{\infty}e^{tx}\cdot\dfrac{1}{\lambda}\exp\{(-x/\lambda)\} dx\\[15pt] &=\int_{0}^{\infty}\dfrac{1}{\lambda}\exp\{(t-1/\lambda)x\} dx\\[15pt] &=\dfrac{1}{\lambda}\dfrac{\lambda}{\lambda t-1}[\exp\{(t-1/\lambda)x\}]_{0}^{\infty}\\[15pt] &=\dfrac{1}{\lambda t-1}[\lim_{x\rightarrow \infty}\exp\{(t-1/\lambda)x\}-1]\\[10pt] &=\dfrac{1}{1-\lambda t},\quad t<\dfrac{1}{\lambda} \end{aligned}

\\[20pt]

예 2.49

Z∼N(0,1)Z\sim N(0,1)의 적률생성함수.

MZ(t)=E(etX)=∫−∞∞exp⁡(tz)12πexp⁡(−z2/2)dz=∫−∞∞12πexp⁡{(−(z−t)2/2+t2/2)}dz=exp⁡(t2/2)\begin{aligned} M_Z(t) &=E(e^{tX}) \\[10pt] &=\int_{-\infty}^{\infty}\exp(tz)\dfrac{1}{\sqrt{2\pi}}\exp(-z^2/2) dz\\[15pt] &=\int_{-\infty}^{\infty}\dfrac{1}{\sqrt{2\pi}}\exp\{(-(z-t)^2/2+t^2/2)\} dz\\[15pt] &=\exp(t^2/2) \end{aligned}

\\[20pt]

예 2.50

X∼GAM(k,θ)X\sim \text{GAM}(k,\theta)의 적률생성함수.

MX(t)=E(etX)=∫0∞etx⋅1θkΓ(k)xk−1e−x/θdx=1θkΓ(k)∫0∞xk−1exp⁡{(t−1/θ)/x}dx=(1/θ−t)−k1θkΓ(k)∫0∞uk−1exp⁡(−u)du=1λt−1[lim⁡x→∞exp⁡{(t−1/λ)x}−1]=(1−θt)−k,t<1θ\begin{aligned} M_X(t) &=E(e^{tX}) \\[10pt] &=\int_{0}^{\infty}e^{tx}\cdot\dfrac{1}{\theta^k\Gamma(k)}x^{k-1}e^{-x/\theta} dx\\[10pt] &=\dfrac{1}{\theta^k\Gamma(k)}\int_{0}^{\infty}x^{k-1}\exp\{(t-1/\theta)/x\} dx\\[10pt] &=(1/\theta-t)^{-k}\dfrac{1}{\theta^k\Gamma(k)}\int_{0}^{\infty}u^{k-1}\exp(-u) du \\[10pt] &=\dfrac{1}{\lambda t-1}[\lim_{x\rightarrow \infty}\exp\{(t-1/\lambda)x\}-1]\\[10pt] &=(1-\theta t)^{-k},\quad t<\dfrac{1}{\theta} \end{aligned}

\\[20pt]

정리 2.27
적률생성함수의 t=0t=0에서의 rr차 미분값이 rr차 적률과 동일

MX(r)(0)=E(Xr)M_X^{(r)}(0)=E(X^r)

즉,

MX(1)(0)=E(X),MX(2)(0)=E(X2),Var(X)=MX(2)(0)−[MX(2)(0)]2M_X^{(1)}(0)=E(X),\quad M_X^{(2)}(0)=E(X^2),\quad \text{Var}(X)=M_X^{(2)}(0)-[M_X^{(2)}(0)]^2

[증명]

MX(1)(0)=ddtE[etX]=ddt∫−∞∞etxfX(x)dx ∣t=0=∫−∞∞ddtetx ∣t=0fX(x)dx=∫−∞∞x⋅1⋅fX(x)dx=E(X)\begin{aligned} M_X^{(1)}(0) &= \dfrac{d}{dt}E[e^{tX}]\\[10pt] &=\left.\dfrac{d}{dt}\int_{-\infty}^{\infty}e^{tx}f_X(x)dx\ \right|_{t=0} \\[10pt] &=\left.\int_{-\infty}^{\infty}\dfrac{d}{dt}e^{tx}\ \right|_{t=0}f_X(x)dx \\[10pt] &=\int_{-\infty}^{\infty}x\cdot 1\cdot f_X(x)dx \\[10pt] &=E(X) \end{aligned}

\\[20pt]

예 2.52

  • 기댓값
    MX(1)(t)=(ddt)(1−p+pet)=n(1−p+pet)n−1⋅pet∴E(X)=MX(1)(0)=n(q+p)n−1⋅p=np\begin{aligned} M^{(1)}_X(t) &=\left(\dfrac{d}{dt}\right)\left(1-p+pe^t\right)=n(1-p+pe^t)^{n-1}\cdot pe^t \\[30pt] \therefore E(X) &=M^{(1)}_X(0)=n(q+p)^{n-1}\cdot p=np \end{aligned}

\\[20pt]

  • 분산
MX(2)(t)=(n(1−p+pet)n−1⋅pet)=n(1−p+pet)n−1⋅p+pn(n−1)(1−p+p)n−2pMX(2)(0)=np+p2n(n−1)∴Var(X)=MX(2)(0)−{MX(1)(0)}2=np(1−p)\begin{aligned} M^{(2)}_X(t) &=\left(n(1-p+pe^t)^{n-1}\cdot pe^t\right) \\[10pt] &=n(1-p+pe^t)^{n-1}\cdot p+pn(n-1)(1-p+p)^{n-2}p \\[20pt] M^{(2)}_X(0)&=np+p^2n(n-1) \\[20pt] \therefore \text{Var}(X)&=M^{(2)}_X(0)-\left\{M^{(1)}_X(0)\right\}^2=np(1-p) \end{aligned}

\\[20pt]

정리 2.28
확률변수 XX와 YY가 같은 적률생성함수를 가지면 두 확률변수는 같은 확률밀도함수를 가진다.

\\[20pt]

예 2.53
X∼EXP(λ)X\sim \text{EXP}(\lambda)이면, MX(t)=1/(1−λt), t<1/λM_X(t)=1/(1-\lambda t),\ t<1/\lambda이다. 그런데 Y=aXY=aX의 적률생성함수는

MY(t)=E(etaX)=∫0∞etax1λexp⁡(−x/λ) dx=∫0∞1λexp⁡{(ta−1/λ)x} dx=11−λat,t<1λa\begin{aligned} M_Y(t)=E(e^{taX}) &=\int_{0}^{\infty}e^{tax}\dfrac{1}{\lambda}\exp(-x/\lambda)\ dx \\[15pt] &=\int_{0}^{\infty}\dfrac{1}{\lambda}\exp\{(ta-1/\lambda)x\}\ dx \\[10pt] &=\dfrac{1}{1-\lambda at},\quad t<\dfrac{1}{\lambda a} \end{aligned}

이는 모수가 aλa\lambda인 지수 확률변수의 적률생성함수이며 따라서 Y∼EXP(aλ)Y\sim \text{EXP}(a\lambda)이다.

\\[20pt]

예 2.54
확률변수 XX가 표준정규분포 N(0,1)N(0,1)을 따른다고 할 때 Y=X2Y=X^2의 분포를 구해보자.

MY(t)=E(etY)=E(etX2)=∫−∞∞etx212πexp⁡(−x22) dx=∫−∞∞12πexp⁡[−12x2(1−2t)] dx=(1−2t)−1/2∫−∞∞12π(1−2t)−1/2exp⁡[−12x2(1−2t)] dx{∼N(0,(1−2t)−1}=(1−2t)−1/2,t<1/2\begin{aligned} M_Y(t)&=E(e^{tY})=E(e^{tX^2}) \\[10pt] &=\int_{-\infty}^{\infty}e^{tx^2}\dfrac{1}{\sqrt{2\pi}}\exp\left(-\dfrac{x^2}{2}\right)\ dx \\[15pt] &=\int_{-\infty}^{\infty}\dfrac{1}{\sqrt{2\pi}}\exp\left[-\dfrac{1}{2}x^2(1-2t)\right]\ dx \\[15pt] &=(1-2t)^{-1/2}\int_{-\infty}^{\infty}\dfrac{1}{\sqrt{2\pi}(1-2t)^{-1/2}}\exp\left[-\dfrac{1}{2}x^2(1-2t)\right]\ dx \quad\{\sim N(0,(1-2t)^{-1}\} \\[10pt] &=(1-2t)^{-1/2},\quad t<1/2 \end{aligned}

YY의 mgf ∼GAM(1/2,2)=χ2(1)\text{mgf}\ \sim \text{GAM}(1/2,2)= \chi^2(1). 즉, Y∼χ2(1)Y\sim \chi^2(1)

\\[20pt]

예 2.55
확률변수 XX가 GAM(k,θ)\text{GAM}(k,\theta)을 따른다고 할 때 Y=2X/θY=2X/ \theta의 분포를 구해보자. (t<1/2)(t<1/2)

MY(t)=E(etY)=E[exp⁡(2tθX)]=⋮=(11−θ(2t/θ))k=(1−2t)−2k/2,t<1/2\begin{aligned} M_Y(t)&=E(e^{tY})=E\left[\exp\left(\dfrac{2t}{\theta}X\right)\right] \\ &=\quad\quad\quad \vdots \\ &=\left(\dfrac{1}{1-\theta(2t/\theta)}\right)^k \\[15pt] &=(1-2t)^{-2k/2},\quad t<1/2 \end{aligned}

YY의 mgf ∼GAM(k,2)=χ2(2k)\text{mgf}\ \sim \text{GAM}(k,2)= \chi^2(2k). 즉, Y∼χ2(2k)Y\sim \chi^2(2k)

\\[20pt]

독립확률변수들의 합의 분포
여러 개의 독립인 확률변수들의 합의 꼴로 표현되는 통계량에 관심이 있을 경우 선형변환과 합에 대한 적률생성합수의 활용.

\\[20pt]

정리 2.29

  1. 확률변수 XX의 적률생성함수가 MX(t)M_X(t)이면, 확률변수 Y=aX+bY=aX+b의 적률생성함수는 다음과 같다.
    MY(t)=ebtMX(at)M_Y(t)=e^{bt}M_X(at)
    [증명]
MY(t)=E[etY]=E[et(aX+b)]=ebtE(eatX)=ebtMX(at)\begin{aligned} M_Y(t)&=E[e^{tY}]=E[e^{t(aX+b)}] \\[10pt] &=e^{bt}E(e^{atX})=e^{bt}M_X(at) \end{aligned}
  1. 확률변수 Xi, (i=1,2,…,n)X_i,\ (i=1,2,\ldots,n)가 서로 독립이고 각각 적률생성함수 MXi(t)M_{X_i}(t)를 가진다고 할 때 Y=X1+X2+…+XnY=X_1+X_2+\ldots+X_n의 적률생성함수는 다음과 같다.
    MY(t)=MX1(t)MX2(t)⋯MXn(t)M_Y(t)=M_{X_1}(t)M_{X_2}(t)\cdots M_{X_n}(t)\\[20pt]
    [증명]
MY(t)=E[etY]=E[et(X1+X2+…+Xn)]=E[etX1etX2⋯etXn]=E[etX1]E[etX2]⋯E[etXn]=MX1(t)MX2(t)⋯MXn(t)\begin{aligned} M_Y(t)&=E[e^{tY}]=E[e^{t(X_1+X_2+\ldots+X_n)}] \\[10pt] &=E[e^{tX_1}e^{tX_2}\cdots e^{tX_n}] \\[10pt] &=E[e^{tX_1}]E[e^{tX_2}]\cdots E[e^{tX_n}] \\[10pt] &=M_{X_1}(t)M_{X_2}(t)\cdots M_{X_n}(t) \\[20pt] \end{aligned}

\\[20pt]

정리2.28, 29를 이용하여 통계이론에 자주 사용되는 중요한 분포들을 비교적 쉽게 구할 수 있다.

\\[20pt]

예 2.56
X1,X2,…,XnX_1,X_2,\ldots,X_n이 서로 독립이고 성공률이 pp로 같은 베르누이 확률변수라고 하자.

MX(t)=pet+q(p+q=1)M_X(t)=pe^t+q\quad (p+q=1)

이므로 Y=X1+X2+⋯+XnY=X_1+X_2+\cdots+X_n이라고 하면

MY(t)=∏i=1nMX(t)=(pet+q)nM_Y(t)=\prod_{i=1}^n M_X(t) =(pe^t+q)^n

이 되며 이는 이항확률변수 B(n,p)B(n,p)의 적률생성함수이다. 따라서 Y∼(n, p)Y\sim (n,\ p)이다.

\\[20pt]

예 2.57
X1,X2,…,XnX_1,X_2,\ldots,X_n이 서로 독립이고 확률변수 Xi, (i=1,2,…,n)X_i,\ (i=1,2,\ldots,n)는 각각 평균이 λi\lambda_i인 포아송분포를 따른다고 하자.

MXi(t)=E(etXi)=∑x=0∞etxλixe−λix!=e−λi∑x=0∞(λiet)xx!=e−λi⋅eλiet=exp⁡{λi(et−1)}\begin{aligned} M_{X_i}(t)&=E(e^{tX_i}) \\[10pt] &=\sum_{x=0}^{\infty}e^{tx}\dfrac{\lambda_i^x e^{-\lambda_i}}{x!} \\[10pt] &=e^{-\lambda_i}\sum_{x=0}^{\infty}\dfrac{(\lambda_i e^{t})^x}{x!} \\[10pt] &= e^{-\lambda_i}\cdot e^{\lambda_i e^{t}}\\[10pt] &=\exp\{\lambda_i(e^t-1)\} \end{aligned}

이므로 Y=X1+X2+⋯+XnY=X_1+X_2+\cdots+X_n이라고 하면

MY(t)=∏i=1nMXi(t)=exp⁡{∑i=1nλi(et−1)}\begin{aligned} M_Y(t)&=\prod_{i=1}^n M_{X_i}(t) \\[10pt] &=\exp\left\{\sum_{i=1}^{n}\lambda_i(e^t-1)\right\} \end{aligned}

이 되며 이는 평균이 ∑i=1nλi\sum_{i=1}^{n}\lambda_i인 포아송 확률변수의 적률생성함수이다. 따라서 Y∼POI(∑i=1nλi)Y\sim \text{POI}\left(\sum_{i=1}^{n}\lambda_i\right)이다.

\\[20pt]

예 2.58
X1,X2,…,XnX_1,X_2,\ldots,X_n이 서로 독립이고 확률변수 Xi, (i=1,2,…,n)X_i,\ (i=1,2,\ldots,n)는 모두 평균이 λ\lambda인 지수분포의 합은 감마분포를 따른다.

MXi(t)=11−λt,t<1λM_{X_i}(t)=\dfrac{1}{1-\lambda t},\quad t<\dfrac{1}{\lambda}

이므로 Y=X1+X2+⋯+XnY=X_1+X_2+\cdots+X_n이라고 하면

MY(t)=E[exp⁡(tY)]=E[exp⁡(t(X1,X2,…,Xn))]=E[exp⁡(tX1)]⋅E[exp⁡(tX2)]…⋅E[exp⁡(tXn)]=∏i=1nMXi(t)=(11−λt)n,t<1λ\begin{aligned} M_Y(t)&= E[\exp(tY)]\\[10pt] &= E[\exp(t(X_1,X_2,\ldots,X_n))]\\[10pt] &= E[\exp(tX_1)]\cdot E[\exp(tX_2)]\ldots\cdot E[\exp(tX_n)] \\[5pt] &=\prod_{i=1}^n M_{X_i}(t) \\[10pt] &=\left(\dfrac{1}{1-\lambda t}\right)^n,\quad t<\dfrac{1}{\lambda} \end{aligned}

이며 이는 GAM(n, λ)\text{GAM}(n,\ \lambda) 확률변수의 적률생성함수이다. 그러므로 Y∼GAM(n, λ)Y\sim \text{GAM}(n,\ \lambda)이다.

\\[20pt]

예 2.59
X1,X2,…,XnX_1,X_2,\ldots,X_n이 서로 독립이고 확률변수 Xi∼N(μi, σi2)X_i\sim N(\mu_i,\ \sigma_i^2)이라고 하자. X∼N(μ, σ2)X\sim N(\mu,\ \sigma^2)이면 그 적률생성함수는

MX(t)=∫−∞∞etx12πσ2exp⁡[−(x−μ)2/2σ2]dx=et(μ+σz)∫−∞∞12πexp⁡(−z2/2)dz(z=x−μσ)=eμtMZ(σt)=eμt+12σ2t2\begin{aligned} M_{X}(t)&=\int_{-\infty}^{\infty} e^{tx}\dfrac{1}{\sqrt{2\pi\sigma^2}}\exp[-(x-\mu)^2/2\sigma^2]dx \\[15pt] &=e^{t(\mu+\sigma z)}\int_{-\infty}^{\infty} \dfrac{1}{\sqrt{2\pi}}\exp(-z^2/2)dz\quad \left(z=\dfrac{x-\mu}{\sigma}\right) \\[15pt] &=e^{\mu t}M_Z(\sigma t) \\[10pt] &=e^{\mu t+\frac{1}{2}\sigma^2 t^2} \end{aligned}

이므로 Y=∑i=1naiXiY=\sum_{i=1}^{n}a_iX_i라고 하면

MY(t)=E(et(aX))=E(eatX)=eaμt+12σ2a2t2=∏i=1nMaiXi(t)=exp⁡(∑i=1naiμit+12∑i=1nai2μi2t2)\begin{aligned} M_Y(t)&=E(e^{t(aX)})=E(e^{atX})=e^{a\mu t+\frac{1}{2}\sigma^2 a^2t^2} \\ &=\prod_{i=1}^n M_{a_iX_i}(t) \\[10pt] &=\exp\left(\sum_{i=1}^{n}a_i\mu_it+\dfrac{1}{2}\sum_{i=1}^{n}a_i^2\mu_i^2t^2\right) \end{aligned}

이 되며 이는 N(∑i=1naiμi,∑i=1nai2σi2)N\left(\sum_{i=1}^{n}a_i\mu_i,\sum_{i=1}^{n}a_i^2\sigma_i^2\right) 확률변수의 적률생성함수이다. 따라서 Y∼(∑i=1naiμi,∑i=1nai2σi2)Y\sim \left(\sum_{i=1}^{n}a_i\mu_i,\sum_{i=1}^{n}a_i^2\sigma_i^2\right)이다.

결합 적률생성함수
본문 참고 p127-128

[참고문헌]

  • 수리통계학 제 5판 - 송성주, 전명식
profile
choyunjeong
이전 포스트

확률변수들의 함수

다음 포스트

표본 분포

0개의 댓글