수리통계- 6.회귀분석

WooSeongkyun·2023년 3월 27일
수리통계학
0

수리통계학

목록 보기
6/6

상관분석

correlation analysis

  • 의미
    - 두 변수 사이의 선형관계가 유의미 하게 존재하는지, 존재한다면 어느정도의 선형관계인지 '상관계수'라는 정량화된 값을 통하여 분석하는 방법

  • 상관계수 correlation coefficient
    - 두 변수 XX,YY 사이의 선형관계를 측정하는 상관계수는 다음과 같이 정의된다
    - ρ=Cov(X,Y)SD(X)SD(Y)\rho=\displaystyle\frac{Cov(X,Y)}{SD(X)SD(Y)}

  • 성질
    1. ρ(X,Y)=ρ(Y,X)\rho(X,Y)=\rho(Y,X)
    2. ρ(X,Y)=ρ(aX+b,cY+d)\rho(X,Y)=\rho(aX+b,cY+d)
    3. ∣ρ(X,Y)∣≤1|\rho(X,Y)|\le 1
    4. ∣ρ(X,Y)∣=1|\rho(X,Y)|=1 의 필요충분조건은 Y=aX+bY=aX+b 이다
    5. 확률 변수 XX 와 YY 가 서로 독립이면 ρ(X,Y)=0\rho(X,Y)=0 이다

  • 증명
    2. ρ(aX+b,cY+d)=Cov(aX+b,cY+d)SD(aX+b)SD(cY+d)\rho(aX+b,cY+d)=\displaystyle\frac{Cov(aX+b,cY+d)}{SD(aX+b)SD(cY+d)}
    - acCov(X,Y)aSD(X)⋅cSD(Y)\displaystyle\frac{acCov(X,Y)}{aSD(X)\cdot cSD(Y)}
    - =Cov(X,Y)SD(X)SD(Y)=ρ(X,Y)=\displaystyle\frac{Cov(X,Y)}{SD(X)SD(Y)}=\rho(X,Y)
    3. - −1≤ρ≤1-1 \le \rho \le 1
    - 증명
    - X∗=(X−μX)/σXX ^{*}=(X-\mu _{X})/\sigma _{X} , Y∗=(Y−μY)/σYY ^{*}=(Y-\mu _{Y})/\sigma _{Y} 라고 하자
    - VAR(X∗±Y∗)=E[((X∗±Y∗)−E(X∗±Y))2]VAR(X ^{*} \pm Y ^{*})=\mathbb{E}[((X ^{*} \pm Y ^{*})-\mathbb{E}(X ^{*} \pm Y)) ^{2}]
    - =E[(X∗−E(X∗)±(Y∗−E[Y]∗)2)]=Var(X∗)+Var(Y∗)±2E[(X∗−E(X∗)(Y∗−E(Y∗))]=\mathbb{E}[(X ^{*}-\mathbb{E}(\boldsymbol{X}^{*})\pm(Y ^{*} - \mathbb{E}[Y] ^{*}) ^{2}) ]=Var(X ^{*})+Var(Y ^{*})\pm2 \mathbb{E}[(X ^{*}-\mathbb{E}(X ^{*})(Y ^{*}-\mathbb{E}(Y ^{*}))]
    - =Var(X∗)+Var(Y∗)2±Cov(X∗,Y∗)≥0=Var(X ^{*})+Var(Y ^{*}) 2\pm Cov(X ^{*},Y ^{*}) \ge 0
    - E[X∗]=E(X−μX)/σX=0\mathbb{E}[X ^{*}]=\mathbb{E}(X-\mu _{X})/\sigma _{X}=0 이므로 Var(X∗)=E[X/σX]=1σX2⋅σX2=1Var(X ^{*})=\mathbb{E}[X/\sigma _{X}]=\displaystyle\frac{1}{\sigma _{X} ^{2}}\cdot \sigma _{X} ^{2}=1 . Var(Y∗)=1Var(Y ^{*})=1 도 동일하게 증명된다.
    - Cov(X∗,Y∗)=E[(X∗)(Y∗)]=E[(X−μX)(Y−μY)]/(σXσY)=ρCov(X ^{*},Y ^{*})=\mathbb{E}[(X ^{*})(Y ^{*})]=\mathbb{E}[(X-\mu _{X})(Y- \mu _{Y})]/(\sigma _{X}\sigma _{Y})=\rho
    - 2±2ρ≥02\pm2 \rho \ge 0
    - 1±ρ≥01 \pm \rho \ge 0
    - 1+ρ>01+\rho>0 으로 부터 −1<ρ-1<\rho , 1−ρ>01-\rho>0 으로 부터 ρ<1\rho<1 이란 사실을 얻어
    - −1≤ρ≤1-1 \le \rho \le 1
    4. ρ(X,Y)=1\rho(X,Y)=1 이면 Var(X∗−Y∗)=0Var(X ^{*} -Y ^{*})=0 이다.
    - 분산이 0이라면, E[(T−E(T))2]\mathbb{E}[(T-\mathbb{E}(T)) ^{2}] 가 0이라는 것인데, 제곱항이 항상 0이상의 수이므로, 평균하였을 때 0이 나오려면 (T−E[T])2=0(T - \mathbb{E}[T]) ^{2}=0 이라는 결과가 나온다. 따라서 T=E[T]T=\mathbb{E}[T] , TT 가 상수임을 알 수 있다.
    - X∗−Y∗X ^{*}-Y ^{*}는 상수이다. 이 경우 X−μXσX−Y−μYσY=C\displaystyle\frac{X-\mu _{X}}{\sigma _{X}}-\displaystyle\frac{Y-\mu _{Y}}{\sigma _{Y}}=C
    - Y−μYσY=X−μXσX−C\displaystyle\frac{Y-\mu _{Y}}{\sigma _{Y}}=\displaystyle\frac{X-\mu _{X}}{\sigma _{X}}-C
    - Y=σY(X−μXσX−C)+μYY=\sigma _{Y}(\displaystyle\frac{X-\mu _{X}}{\sigma _{X}}-C)+\mu _{Y}
    - ρ(X,Y)=−1\rho(X,Y)=-1 인경우 Var(X∗+Y∗)=0Var(X ^{*}+Y ^{*})=0 이 되어 이경우 XX 앞에 붙은 계수 부호가 - 가 된다

  • 표본 상관계수 sample correlation coefficient
    - 조건
    - 샘플 크기가 nn 인 이변량 랜덤표본 (X1,Y1),(X2,Y2),⋯ ,(Xn,Yn)(X _{1},Y _{1}),(X _{2},Y _{2}),\cdots,(X _{n},Y _{n}) 이 있다고 하자
    - 정의
    - R=∑i=1n(xi−x‾)(yi−y‾)n−1∑i=1n(xi−x‾)2n−1∑i=1n(yi−y‾)2n−1=∑i=1n(xi−x‾)(yi−y‾)∑i=1n(xi−x‾)2∑i=1n(yi−y‾)2R=\displaystyle\frac{\displaystyle\frac{\displaystyle\sum_{i=1}^{n}{(x_{i}-\overline{x})(y_i-\overline{y})}}{n-1}}{\sqrt{\displaystyle\frac{\displaystyle\sum_{i=1}^{n}{(x_i-\overline{x})^2}}{n-1}}\sqrt{\displaystyle\frac{\displaystyle\sum_{i=1}^{n}{(y_{i}-\overline{y})^2}}{n-1}}}=\displaystyle\frac{\displaystyle\sum_{i=1}^{n}{(x_{i}-\overline{x})(y_{i}-\overline{y})}}{\sqrt{\displaystyle\sum_{i=1}^{n}{(x_i-\overline{x})^2}}\sqrt{\displaystyle\sum_{i=1}^{n}({y_{i}-\overline{y})^2}}}

  • 정리
    - 조건
    - 샘플 크기가 nn 인 이변량 랜덤표본 (X1,Y1),(X2,Y2),⋯ ,(Xn,Yn)(X _{1},Y _{1}),(X _{2},Y _{2}),\cdots,(X _{n},Y _{n}) 이 있다고 하자
    - 모수벡터가 (μX,μY,σX2,σY2,ρ)(\mu _{X},\mu _{Y},\sigma _{X} ^{2},\sigma _{Y} ^{2},\rho) 라고 하자
    - 이때 상관계수 ρ(X,Y)=0\rho(X,Y)=0 이라고 하자
    - 정리
    - 표본상관계수 RR 의 함수인 통계량 T=Rn−2(1−R2)T=\displaystyle\frac{R \sqrt{n-2}}{\sqrt{(1-R ^{2})}} 는 자유도가 t−2t-2인 tt 분포를 따른다

    	 - 의미
		-  귀무가설 $H:\rho =0$ , 대립가설 $H _{1}:\rho \neq 0$ 로 하여 $|T|\ge t _{\alpha/2}(n-2)$ 일 때 귀무가설을 기각하는 방식으로 활용한다
		- 그러나 반대로 $\rho \neq 0$ 가 아닌 경우 $R$의 분포가 복잡하기 때문에, Fisher가 사용한 다른 방식을 활용해야 한다.

1변수 선형회귀모형

simple linear regression

  • 의미
    - 두 확률변수 XX 와 YY 사이의 관계를 알고자 할 때 선형관계 정도를 넘어, 두 변수사이의 함수관계를 파악하고자 하자
    - 이 경우 두 변수 사이 선형 함수의 관계가 있는지, 만약 존재한다면 그 함수를 어떻게 찾을 수 있는지 방법론을 살펴보고자 한다
  • 용어
    - 독립변수 indepdent variable / 설명 변수 explanatory variable / 예측변수 predictor X
    - 독립변수의 수많은 이름
    - 종속변수 dependent variable / 반응 변수 response variable
    - 종속변수의 수많은 이름
    - 회귀 함수 regression function
    - E[Y∣x]\mathbb{E}[Y|x]
    - XX 에 대한 YY 의 회귀함수
  • 정리
    - 조건
    - 두 확률 변수 XX,YY 가 있고, 회귀함수식 E[Y∣x]=β0+β1x\mathbb{E}[Y|x]=\beta _{0}+\beta _{1}x 가 존재한다고 하자
    - 정리
    - E[Y∣X=x]=μY+ρσYσX(X−μX)\mathbb{E}[Y|X=x]=\mu _{Y}+\rho \displaystyle\frac{\sigma _{Y}}{\sigma _{X}}(X-\mu _{X})
    - 증명
    - ∫−∞∞E[Y∣x]fX(x)dx=∫−∞∞[∫−∞∞yfX,Y(x,y)fX(x)dy]fX(x)dx=∫−∞∞y[∫−∞∞fX,Y(x,y)dx]dy\displaystyle\int_{-\infty }^{\infty }{\mathbb{E}[Y|x]f _{X}(x)dx}=\displaystyle\int_{-\infty }^{\infty }{[\displaystyle\int_{-\infty }^{\infty }y \displaystyle\frac{f _{X,Y}(x,y)}{f _{X}(x)}dy]{f _{X}(x)dx}}=\displaystyle\int_{-\infty }^{\infty }{y[\displaystyle\int_{-\infty }^{\infty }{f _{X,Y}(x,y)}dx]dy}
    - =∫−∞∞yfY(y)dy=μY=\displaystyle\int_{-\infty }^{\infty }{y f _{Y}(y)dy}=\mu _{Y}
    - 또 다시 위식의 E[Y∣x]\mathbb{E}[Y|x] 를 β0+β1x\beta _{0}+\beta _{1}x 로 표기하여 다시 적분하면
    - ∫−∞∞E[Y∣x]fX(x)=∫−∞∞(β0+β1x)fX(x)dx=β0+β1μX\displaystyle\int_{-\infty }^{\infty }{\mathbb{E}[Y|x]f _{X}(x)=\displaystyle\int_{-\infty }^{\infty }{(\beta _{0}+\beta _{1}x)}f _{X}(x)dx}=\beta _{0}+\beta _{1}\mu _{X}
    - μY=β0+β1μX\mu _{Y}=\beta _{0}+\beta _{1}\mu _{X}
    - E[Y∣x]=β0+β1x=(μY−β1μX)+β1x=μY+β1(x−μX)\mathbb{E}[Y|x]=\beta _{0}+\beta _{1}x=(\mu _{Y}-\beta _{1}\mu _{X})+\beta _{1}x=\mu _{Y}+\beta _{1}(x-\mu _{X})
    - 양변에 (x−μX)(x-\mu _{X}) 를 곱하고 평균을 취하면
    - [E(Y∣x)−μX](x−μX)=β1(x−μX)2[\mathbb{E}(Y|x)-\mu _{X}](x-\mu _{X})=\beta _{1}(x-\mu _{X}) ^{2}
    - ∫−∞∞(y−μY)(x−μX)fX,Y(x,y)dy=β1(x−μX)2fX(x)\displaystyle\int_{-\infty }^{\infty }{(y-\mu _{Y})(x-\mu _{X})f _{X,Y}(x,y)dy}=\beta _{1}(x-\mu _{X}) ^{2}f _{X}(x)
    - 이를 다시 양변 xx 에 대하여 적분하면
    - Cov(X,Y)=β1σX2Cov(X,Y)= \beta _{1}\sigma _{X} ^{2}
    - β1=Cov(X,Y)σX2=σYσX⋅1σXσYCov(X,Y)=σYσXρ\beta _{1}=\displaystyle\frac{Cov(X,Y)}{\sigma _{X} ^{2}}=\displaystyle\frac{\sigma _{Y}}{\sigma _{X}}\cdot \displaystyle\frac{1}{\sigma _{X}\sigma _{Y}}Cov(X,Y)=\displaystyle\frac{\sigma _{Y}}{\sigma _{X}}\rho
    - E[Y∣x]=μY+σYσXρ(x−μX)\mathbb{E}[Y|x]=\mu _{Y}+\displaystyle\frac{\sigma _{Y}}{\sigma _{X}}\rho(x-\mu _{X})
    - 종합하여 β1=ρσYσX\beta _{1}=\rho \displaystyle\frac{\sigma _{Y}}{\sigma _{X}} 이고, β0=μY−ρ⋅σYσX⋅μX\beta _{0}=\mu _{Y}-\rho \cdot \displaystyle\frac{\sigma _{Y}}{\sigma _{X}}\cdot \mu _{X}
    - 의미
    - 독립변수를 1 표준편차(1σX\sigma _{X}) 만큼 증가시키면 종속변수는 (1ρσY)\rho \sigma _{Y}) 만큼 증가하는 선형식이다

회귀모수의 추정

  • 최소제곱추정방법 Least Square Estimate
    - 반응함수 YiY _{i} 과 회귀함수의 값 β0+β1xi\beta _{0}+\beta _{1}x _{i} 가 주어졌을 때, 어떻게하면 오차를 최소화하는 β0,β1\beta _{0},\beta _{1}를 구할것인가가 관심사가 될 수 있다
    - SSE=⟨y−xβ,y−xβ⟩=∑i=1n(yi−(β0+β1xi))2SSE=\langle {\boldsymbol{y}-\boldsymbol{x}}\boldsymbol{\beta},{\boldsymbol{y}-\boldsymbol{x}\boldsymbol{\beta}} \rangle=\displaystyle\sum\limits_{i=1}^{n}{(y _{i}-(\beta _{0}+\beta _{1}x _{i})) ^{2}}
  • LSE를 활용한 추정량 β^\hat{\boldsymbol{\beta}} 구하기 ref
    - 다변수함수의 일반화된 추정량 공식을 활용하자(β^=(XtX)−1XtY\hat{\boldsymbol{\beta}}=(\boldsymbol{X} ^{t}\boldsymbol{X} )^{-1}\boldsymbol{X} ^{t}\boldsymbol{Y} )
    - 1nxty=1n[11⋯1x1x2⋯xn][y1y2⋯yn]=1n[∑i=1nyi∑i=1nxiyi]\displaystyle\frac{1}{n}\boldsymbol{x} ^{t}\boldsymbol{y}=\displaystyle\frac{1}{n}\begin{bmatrix} 1 & 1 & \cdots & 1 \\ x _{1} & x _{2} & \cdots & x _{n} \end{bmatrix}\begin{bmatrix} y _{1} \\ y _{2} \\ \cdots \\ y _{n} \end{bmatrix}=\displaystyle\frac{1}{n}\begin{bmatrix} \displaystyle\sum\limits_{i=1}^{n}{y_i} \\ \displaystyle\sum\limits_{i=1}^{n}{x _{i}y _{i}} \end{bmatrix}
    - =[y‾xy‾]=\begin{bmatrix} \overline{y} \\ \overline{xy} \end{bmatrix}
    - 1nxtx=1n[11⋯1x1x2⋯xn][1x11x2⋯1xn]\displaystyle\frac{1}{n}\boldsymbol{x} ^{t}\boldsymbol{x}=\displaystyle\frac{1}{n}\begin{bmatrix} 1 & 1 & \cdots & 1 \\ x _{1 } & x _{2} & \cdots & x _{n} \end{bmatrix}\begin{bmatrix} 1 & x _{1} \\ 1 & x _{2} \\ \cdots \\ 1 & x _{n} \end{bmatrix}
    - =1n[n∑ixi∑ixi∑ixi2]=\displaystyle\frac{1}{n}\begin{bmatrix} n & \displaystyle\sum\limits_{i }^{}{x _{i}} \\ \displaystyle\sum\limits_{i}^{}{x _{i}} & \displaystyle\sum\limits_{i}^{}{x _{i} ^{2}} \end{bmatrix}
    - =[1x‾x‾x2‾]=\begin{bmatrix} 1 & \overline{x} \\ \overline{x} & \overline{x ^{2}} \end{bmatrix}
    - (1nxtx)−1=1x2‾−x‾2[x‾2−x‾−x‾1](\displaystyle\frac{1}{n}\boldsymbol{x} ^{t}\boldsymbol{x}) ^{-1}=\displaystyle\frac{1}{\overline{x ^{2}}-\overline{x} ^{2} }\begin{bmatrix} \overline{x} ^{2} & -\overline{x} \\ - \overline{x} & 1 \end{bmatrix}
    - =1SX2[x‾2−x‾−x‾1]=\displaystyle\frac{1}{S _{X} ^{2}}\begin{bmatrix} \overline{x} ^{2} & - \overline{x} \\ -\overline{x} & 1 \end{bmatrix}
  • (xtx)xty(\boldsymbol{x} ^{t}\boldsymbol{x})\boldsymbol{x} ^{t}\boldsymbol{y}
    - =1SX2[x‾2−x‾−x‾1][y‾xy‾]=\displaystyle\frac{1}{S _{X} ^{2}}\begin{bmatrix} \overline{x} ^{2} & -\overline{x} \\ -\overline{x} & 1 \end{bmatrix}\begin{bmatrix} \overline{y} \\ \overline{xy} \end{bmatrix}
    - =1SX2[x2‾y‾−x‾⋅xy‾−x‾⋅y‾+xy‾]=\displaystyle\frac{1}{S _{X} ^{2}}\begin{bmatrix} \overline{x ^{2}}\overline{y}-\overline{x}\cdot \overline{xy} \\ -\overline{x} \cdot \overline{y}+\overline{xy} \end{bmatrix}
    - =1SX2[(SX2+x‾2)y‾−x‾(CXY+x‾⋅y‾)CXY]=\displaystyle\frac{1}{S _{X} ^{2}}\begin{bmatrix} (S _{X} ^{2}+ \overline{x} ^{2})\overline{y} - \overline{x}(C _{XY}+ \overline{x} \cdot \overline{y}) \\ C _{XY}\end{bmatrix}
    - =1SX2[SX2y‾+x‾2y‾−x‾CXY−x‾2y‾CXY]=\displaystyle\frac{1}{S _{X} ^{2}}\begin{bmatrix} S _{X} ^{2}\overline{y}+ \overline{x} ^{2}\overline{y}-\overline{x}C _{XY}-\overline{x} ^{2}\overline{y} \\ C _{XY} \end{bmatrix}
    - =[y‾−CXYSX2x‾CXYSX2]=\begin{bmatrix} \overline{y}-\displaystyle\frac{C _{XY }}{S _{X} ^{2}} \overline{x} \\ \displaystyle\frac{C _{XY}}{S _{X} ^{2}} \end{bmatrix}
  • MLE를 활용한 추정량 β^\hat{\boldsymbol{\beta}} 구하기
    - 조건
    - 서로 독립인 확률변수 Y1,Y2,⋯ ,YnY _{1},Y _{2},\cdots,Y _{n} 이 각각 N(β0+β1t,σ2)\mathcal{N}(\beta _{0}+\beta _{1}t,\sigma ^{2}) 를 따른다고 하자
    - 정리
    - 이때 모수 β0,β1,σ2\beta _{0},\beta _{1},\sigma ^{2} 에 대한 추정량은 다음과 같다
    - β1^=Cov(X,Y)SX2\hat{\beta _{1}}=\displaystyle\frac{Cov(X,Y)}{S _{X} ^{2}}
    - β0^=y‾−Cov(X,Y)SX2x‾\hat{\beta _{0}}=\overline{y}-\displaystyle\frac{Cov(X,Y)}{S _{X} ^{2}}\overline{x}
    - σ^2=1n∑i=1n(yi−(β^0+β^1xi))2\hat{\sigma} ^{2}=\displaystyle\frac{1}{n}\displaystyle\sum\limits_{i=1}^{n}{(y _{i}-(\hat{\beta}_{0}+\hat{\beta}_{1}x _{i}) ) ^{2}} 이다
    - 증명
    - f(x;β0,β1,σ)=(12πσ2)n/2exp[−(12σ2)∑i=1n(yi−(β0+β1xi))2]f(\boldsymbol{x};\beta _{0},\beta _{1},\sigma)=(\displaystyle\frac{1}{2 \pi \sigma ^{2}}) ^{n/2}exp[-(\displaystyle\frac{1}{2\sigma ^{2}})\displaystyle\sum\limits_{i=1}^{n}{(y_{i}-(\beta _{0}+\beta _{1}x _{i})) ^{2}}]
    - L=log⁡(f)=(−n/2)log⁡(2πσ2)−(1/2σ2)∑i=1n(yi−(β0+β1xi))2L=\log_{}{(f)}=(-n/2)\log_{}{(2\pi \sigma ^{2})}-(1/2 \sigma ^{2})\displaystyle\sum\limits_{i=1}^{n}{(y _{i}-(\beta _{0}+\beta _{1}x _{i})) ^{2}}
    - ∂L∂β0:∑i=1nyi−(β0+β1xi)=0\cfrac{\partial {L}}{\partial {\beta _{0}}}:\displaystyle\sum\limits_{i=1}^{n}{y _{i}-(\beta _{0}+\beta _{1}x _{i})}=0
    - ∂L∂β1:∑i=1nxi(yi−(β0+β1xi))=0\cfrac{\partial {L}}{\partial {\beta _{1}}}: \displaystyle\sum\limits_{i=1}^{n}{x _{i}(y _{i}-(\beta _{0}+\beta _{1}x _{i}))}=0
    - ∂L∂σ:−nσ+1σ3∑i=1n(yi−(β0+β1xi))=0\cfrac{\partial {L}}{\partial {\sigma }}:- \displaystyle\frac{n}{\sigma}+\displaystyle\frac{1}{\sigma ^{3}}\displaystyle\sum\limits_{i=1}^{n}{(y _{i}-(\beta _{0}+\beta _{1}x _{i}))}=0
    - 위의 두 식은 MLE 구할때의 나온 값으로 β^0=y‾−Cov(X,Y)SX2x‾\hat{\beta}_{0}=\overline{y}-\displaystyle\frac{Cov(X,Y)}{S _{X} ^{2}}\overline{x} , β^1=Cov(X,Y)SX2\hat{\beta}_{1}=\displaystyle\frac{Cov(X,Y)}{S _{X} ^{2}} 임을 알 수 있다.
    - σ^2=1n∑i=1n(yi−(β^0+β^1xi))2\hat{\sigma} ^{2}=\displaystyle\frac{1}{n}\displaystyle\sum\limits_{i=1}^{n}{(y _{i}-(\hat{\beta}_{0}+\hat{\beta}_{1}x _{i})) ^{2}}

추정량의 성질

  • 조건
    - 서로 독립인 확률변수 Y1,Y2,⋯ ,YnY _{1},Y _{2},\cdots, Y _{n} 이 각각 N(β0+β1xi,σ2)\mathcal{N}(\beta _{0}+\beta _{1}x _{i},\sigma ^{2}) 를 따른다고 하자
  • 정리
    - 이때 β0,β1\beta _{0},\beta _{1} 에 대한 최대가능도추정량MLE β^0,β^1\hat{\beta}_{0},\hat{\beta}_{1} 값은 다음과 같다
    - β^0∼N[β0,σ2∑i=1nxi2n∑i=1n(xi−x‾n)2]\hat{\beta}_{0} \sim \mathcal{N}[\beta _{0},\displaystyle\frac{\sigma ^{2}\displaystyle\sum\limits_{i=1}^{n}{x _{i} ^{2}}}{n \displaystyle\sum\limits_{i=1}^{n}{(x _{i}-\overline{x}_{n}) ^{2}}}]
    - β^1∼N[β1,σ2∑i=1n(xi−x‾n)2]\hat{\beta}_{1} \sim \mathcal{N}[\beta _{1},\displaystyle\frac{\sigma ^{2}}{\displaystyle\sum\limits_{i=1}^{n}{(x _{i}-\overline{x}_{n}) ^{2}}}]
  • 증명
    - β^1=∑i=1n(xi−x‾n)(yi−y‾)∑i=1n(xi−x‾n)2=∑i=1n(xi−x‾n)yi∑i=1n(xi−x‾n)2\hat{\beta}_{1}=\displaystyle\frac{\displaystyle\sum\limits_{i=1}^{n}{(x _{i}-\overline{x}_{n})(y _{i}-\overline{y})}}{\displaystyle\sum\limits_{i=1}^{n}{(x _{i}-\overline{x}_{n}) ^{2}}}=\displaystyle\frac{\displaystyle\sum\limits_{i=1}^{n}{(x _{i}-\overline{x}_{n})y _{i}}}{\displaystyle\sum\limits_{i=1}^{n}{(x _{i}-\overline{x }_{n}) ^{2}}} 는 서로 독립인 yiy _{i} 의 선형결합이므로 β^1\hat{\beta}_{1} 는 정규분포를 따른다. 
    	1. $\mathbb{E}[\hat{\beta}_{1}]=\mathbb{E}[\displaystyle\frac{\displaystyle\sum\limits_{i=1}^{n}{(x _{i}-\overline{x}_{n})y _{i}}}{\displaystyle\sum\limits_{i=1}^{n}{(x _{i}-\overline{x}_{n}) ^{2}}}]=\mathbb{E}[\displaystyle\frac{\displaystyle\sum\limits_{i=1}^{n}{(x _{i}-\overline{x }_{n})(\beta _{0}+\beta _{1}x _{i})}}{\displaystyle\sum\limits_{i=1}^{n}{(x _{i}-\overline{x}_{n}) ^{2}}}]$
		- $=\beta _{1}\displaystyle\frac{\displaystyle\sum\limits_{i=1}^{n}{(x _{i}-\overline{x}_{n})x _{i}}}{\displaystyle\sum\limits_{i=1}^{n}{(x _{i}-\overline{x}_{n}) ^{2}}}=\beta _{1}$
	2. $\mathbb{E}[\hat{\beta}_{0}]=\mathbb{E}[\overline{y}_{n}]-\hat{\beta}_{1}\mathbb{E}[x _{n}]=\hat{\beta}_{0}$
	3. $Var(\hat{\beta}_{1})=\displaystyle\frac{\displaystyle\sum\limits_{i=1}^{n}{(x _{i}-\overline{x}_{n}) ^{2}Var(y _{i})}}{(\displaystyle\sum\limits_{i=1}^{n}{(x _{i}-\overline{x }_{n}) ^{ ^{2}}}) ^{2}}$
		- $\displaystyle\frac{\sigma  ^{2}}{\displaystyle\sum\limits_{i=1}^{n}{(x _{i}-\overline{x}_{n}}) ^{2}}$
	4. 먼저 다음을 보이자
		- $Cov(\hat{\beta}_{1},y _{i})=Cov(\displaystyle\frac{\displaystyle\sum\limits_{i=1}^{n}{(x _{i}-\overline{x}_{n})y _{i}}}{\displaystyle\sum\limits_{i=1}^{n}{(x _{i}-\overline{x}_{n}) ^{2}}},y _{i})=\displaystyle\frac{\displaystyle\sum\limits_{i=1}^{n}{(x _{i}-\overline{x}_{n})}}{\displaystyle\sum\limits_{i=1}^{n}{(x _{i}-\overline{x}_{n}) ^{2}}}\sigma  ^{2}=0$
		- $Cov(\hat{\beta}_{1},\overline{y})=\displaystyle\frac{1}{n}\displaystyle\sum\limits_{i=1}^{n}{Cov(\hat{\beta}_{1},y _{i})}=0$
		- $Var(\hat{\beta}_{0})=Var(\overline{y}_{n}-\hat{\beta}_{1}\overline{x}_{n})$
		- $=Var(\overline{Y}_{n})+Var(\hat{\beta} _{1}\overline{x}_{n})+2 Cov(\overline{Y}_{n},-\hat{\beta}_{1}\overline{x}_{n})$
		- $=\sigma  ^{2}/n+\displaystyle\frac{\overline{x}_{n} ^{2}\sigma  ^{2}}{\displaystyle\sum\limits_{i=1}^{n}{(x _{i}-\overline{x}_{n}) ^{2}}}$
		- $=\displaystyle\frac{\sigma  ^{2}\displaystyle\sum\limits_{i=1}^{n}{x _{i} ^{2}}}{n \displaystyle\sum\limits_{i=1}^{n}{(x _{i}-\overline{x}_{n}) ^{2}}}$

주요 추정 정리

  • 조건
    - 서로 독립인 확률변수 Y1,Y2,⋯ ,YnY _{1},Y _{2},\cdots, Y _{n} 이 각각 N(β0+β1xi,σ2)\mathcal{N}(\beta _{0}+\beta _{1}x _{i},\sigma ^{2}) 를 따른다고 하자
  • 정리 1
    - nσ^2σ2\displaystyle\frac{n \hat{\sigma} ^{2}}{\sigma ^{2}} 는 자유도가 n−2n-2 인 카이제곱분포를 따른다
  • 정리 2
    - 확률변량 (β^1−β1)∑i=1n(xi−x‾n)2σ~\displaystyle\frac{(\hat{\beta}_{1}-\beta _{1})\sqrt{\displaystyle\sum\limits_{i=1}^{n}{(x _{i}-\overline{x}_{n}) ^{2}}}}{\tilde{\sigma}} 는 자유도가 n−2n-2 인 tt 분포를 따른다
    - 단 σ~2=1n−2∑i=1n(yi−(β0+β1xi))2\tilde{\sigma} ^{2}=\displaystyle\frac{1}{n-2}\displaystyle\sum\limits_{i=1}^{n}{(y _{i}-(\beta _{0}+\beta _{1}x _{i})) ^{2}}

다중선형 회귀모형

multiple linear regression

  • 정의
    - E[Y∣x1,x2,⋯ ,xk]=∑i=0kβixi\mathbb{E}[Y|{x}_{1},{x}_{2},\cdots,{x}_{k}]=\displaystyle\sum\limits_{i=0}^{k}{\beta _{i}x _{i}}
  • 행렬을 이용한 표현
    - 조건
    - Y=[Y1Y2⋯Yn]\boldsymbol{Y}=\begin{bmatrix} Y _{1} \\ Y _{2} \\ \cdots \\ Y _{n} \end{bmatrix} , β=[β0β1⋯βk]\boldsymbol{\beta}=\begin{bmatrix} \beta _{0} \\ \beta _{1} \\ \cdots \\ \beta _{k}\end{bmatrix} , X=[1X11X12⋯X1k1X21X22⋯X2k⋯1Xn1Xn2⋯Xnk]\boldsymbol{X}=\begin{bmatrix} 1 & X _{11} & X _{12} & \cdots & X _{1k} \\ 1 & X _{21} & X _{22} & \cdots & X _{2k} \\ \cdots \\ 1 & X _{n1} & X _{n2} & \cdots & X _{nk} \end{bmatrix}
    - 정의
    - E[Y]=Xβ\mathbb{E}[\boldsymbol{Y}]=\boldsymbol{X}\boldsymbol{\beta}
  • 잔차제곱합 Residual Sum of Square
    - 정의
    - RSS= ∥Y−Y^∥2\| \boldsymbol{Y}-\hat{\boldsymbol{Y}} \| ^{2}
    - =⟨Y−Xβ,Y−Xβ⟩=\langle {\boldsymbol{Y}-\boldsymbol{X}\boldsymbol{\beta}},{\boldsymbol{Y}-\boldsymbol{X}\boldsymbol{\beta}} \rangle
  • 성질
    - Cov(Y)=σ2ICov(\boldsymbol{Y})=\sigma ^{2}I 는 만족해야하는 조건이므로, 관측치 yiy _{i} 를 활용하여 자연스럽게 noise 값 σ2\sigma ^{2} 를 계산할 수 있다
    - 랜덤 오차 ϵ∈N(0,σ2)\epsilon \in \mathcal{N}(0,\sigma ^{2}) 를 따르는 경우 회귀모수에 대한 최소제곱 추정량은 β^∼N(β,(XtX)−1σ2)\hat{\boldsymbol{\beta}}\sim \mathcal{N}(\boldsymbol{\beta},(\boldsymbol{X} ^{t}\boldsymbol{X}) ^{-1}\sigma ^{2}) 를 따르게 된다
  • 모수 추정량 β^\hat{\boldsymbol{\beta}} 구하기
    - 결과
    - β^=(XtX)−1XtY\hat{\boldsymbol{\beta}}=(\boldsymbol{X} ^{t}\boldsymbol{X} )^{-1}\boldsymbol{X} ^{t}\boldsymbol{Y} 이다
    - 증명
    - RSS=∣Y−Xβ∣2=⟨Y−Xβ,Y−Xβ⟩=RSS=|\boldsymbol{Y}-\boldsymbol{X}\beta|^2=\langle \boldsymbol{Y}-\boldsymbol{X}\beta,\boldsymbol{Y}-\boldsymbol{X}\beta\rangle=(Y−Xβ)T(Y−Xβ)=(YT−βTXT)(Y−Xβ)=YTY−YTXβ−βTXTY+βTXTXβ(\boldsymbol{Y}-\boldsymbol{X}\beta)^T(\boldsymbol{Y}-\boldsymbol{X}\beta)=(\boldsymbol{Y}^T-\beta^T\boldsymbol{X}^T)(\boldsymbol{Y}-\boldsymbol{X}\beta)=\boldsymbol{Y}^T\boldsymbol{Y}-\boldsymbol{Y}^T\boldsymbol{X}\beta-\beta^T\boldsymbol{X}^T\boldsymbol{Y}+\beta^T\boldsymbol{X}^T\boldsymbol{X}\beta
    - =YTY−2βTXTY+βTXTXβ=\boldsymbol{Y}^T\boldsymbol{Y}-2\beta^T\boldsymbol{X}^T\boldsymbol{Y}+\beta^T\boldsymbol{X}^T\boldsymbol{X}\beta
    - (∂Ax∂x=A\displaystyle\frac{\partial {\boldsymbol{A}\boldsymbol{x}}}{\partial {\boldsymbol{x}}}=\boldsymbol{A}, ∂xAx∂x=2Ax\displaystyle\frac{\partial {\boldsymbol{x}\boldsymbol{A}\boldsymbol{x}}}{\partial {\boldsymbol{x}}}=2\boldsymbol{A}\boldsymbol{x} (A\boldsymbol{A}가 대칭행렬일 경우)을 활용함)
    - 미분을 이용하여 RSSRSS를 최소화하는 계수값을 찾자
    - ∂(RSS)∂β=−2XTY+2βT(XTX)=0\displaystyle\frac{\partial{(RSS)}}{\partial\beta}=-2\boldsymbol{X}^T\boldsymbol{Y}+2\beta^T(\boldsymbol{X}^T\boldsymbol{X})=0
    - XTXβ=XTY\boldsymbol{X}^T\boldsymbol{X}\beta=\boldsymbol{X}^T\boldsymbol{Y}
    - β=(XTX)−1(XTY)\beta=(\boldsymbol{X}^T\boldsymbol{X})^{-1}(\boldsymbol{X}^T\boldsymbol{Y}) : 추정된 β\beta값

가우스-마코프 정리

  • 용어 정리
    - 선형 추정량
    - YiY _{i} 의 선형결합으로 표현되는 추정량
    - 최적
    - 임의의 상수rir _{i}에 대하여 선형결합인 ∑i=0kriβi\displaystyle\sum\limits_{i=0}^{k}{r_{i}\beta _{i}} 추정을 고려하였을 때, 임의의 선형 비편향추정량인 β~i\tilde{\beta}_{i}에 대해 ∑i=0kriβ^i\displaystyle\sum\limits_{i=0}^{k}{r _{i}\hat{\beta}_{i}} 의 분산이 항상 ∑i=0kriβi~\displaystyle\sum\limits_{i=0}^{k}{r _{i}\tilde{\beta _{i}}} 의 분산보다 작거나 같다는 것이다.
    - 즉 ∑i=0kriβ^i\displaystyle\sum\limits_{i=0}^{k}{r _{i}\hat{\beta}_{i}} 는 ∑i=0kriβi\displaystyle\sum\limits_{i=0}^{k}{r _{i}\beta _{i}} 에 대한 최소분산 비편향추정량인 것이다.
  • 조건
    - 선형모형 E[Y∣X]=Xβ\mathbb{E}[\boldsymbol{Y}|\boldsymbol{X}]=\boldsymbol{X}\boldsymbol{\beta} 의 공산-공분산 행렬이 V=σ2I\boldsymbol{V}=\sigma ^{2}\boldsymbol{I} 라고 하자.
  • 정리
    - 임의의 상수벡터 r\boldsymbol{r} 에 대하여 r′β^\boldsymbol{r}'\boldsymbol{\hat{\beta}} 가 r′β\boldsymbol{r}'\beta 의 최적 비편향 선형추정량이다
    - 즉 회계계수 βi\beta _{i} 의 선형결합에 대한 최적 비편향 선형추정량은 βi\beta _{i} 를 그의 최소제곱 추정량으로 대체함으로서 구할 수 있다

결정계수

  • 조건
    - TSS (Total Sum of Square)
    - ∑i(yi−yˉ)2\displaystyle\sum_{i}^{}{(y_{i}-\bar{y})^2}
    - 종속변수의 변동성을 측정한 것
    - RSS (Residual Sum of Suare)
    - ∑i(yi−y^i)2\displaystyle\sum_{i}^{}{(y_{i}-\hat{y}_{i})^2}
    - 회귀식의 변동성의 양을 측정한 것이다
    - ESS(Explained Sum of Square)
    - ∑i(y^i−y‾)2\displaystyle\sum\limits_{i}^{}{(\hat{y} _{i}-\overline{y}) ^{2}}
    - 회귀식에 의해 줄어든 변동성을 측정한 양이다
    - TSS−RSSTSS-RSS 는 회귀를 수행하여 설명되는 종속변수의 변동성을 측정한 것이다

  • 정의

    	-  $R^2=\displaystyle\frac{TSS-RSS}{TSS}=\displaystyle\frac{ESS}{TSS}={\displaystyle\frac{\displaystyle\sum\limits_{i=1}^{n}{(\hat{y} _{i}-\overline{y }_{n}) ^{2}}}{\displaystyle\sum\limits_{i=1}^{n}{(y _{i}-\overline{y}_{n}) ^{2}}}}$

  • 해석
    - 즉 R2R^2는 회귀분석을 통하여 설명되는 종속변수의 변동성의 비율이다. 0에 가까울 경우 회귀분석이 종속변수의 변동성을 많이 설명할 수 없다는 것이고, 1의 경우는 반대로 해석할 수 있다
    - 각각 TSSTSS와 RSSRSS 측정하는 것을 보여주고 있다. 오른쪽 선형회귀 그래프가 왼쪽 그래프와 비교하여 데이터에 더 적합할 수록 R2R^2 값이 1에 가까워진다

  • 결정계수와 표본상관계수 사이의 관계
    - 표본상관계수 RR 의 정의는 다음과 같다
    - R=SXYSXSY=∑i=1n[(Xi−X‾n)(Yi−Y‾n)]∑i=1n(Xi−X‾n)2⋅∑i=1n(Yi−Y‾n)2R=\displaystyle\frac{S _{XY}}{S _{X}S _{Y}}=\displaystyle\frac{\displaystyle\sum\limits_{i=1}^{n}{[(X _{i}-\overline{X}_{n})(Y _{i}-\overline{Y}_{n})]}}{\sqrt{\displaystyle\sum\limits_{i=1}^{n}{(X _{i}-\overline{X}_{n}) ^{2}}}\cdot \sqrt{\displaystyle\sum\limits_{i=1}^{n}{(Y _{i}-\overline{Y}_{n}) ^{2}}}}
    - β^1=∑i=1n(xi−y‾n)(yi−y‾n)∑i=1n(xi−x‾n)2\hat{\beta}_{1}=\displaystyle\frac{\displaystyle\sum\limits_{i=1}^{n}{(x _{i}-\overline{y }_{n})(y _{i}-\overline{y}_{n})}}{\displaystyle\sum\limits_{i=1}^{n}{(x _{i}-\overline{x}_{n}) ^{2}}}
    - 1n∑i=1nY^i=1n∑i=1n(β^0+β^1Xi)=1n(nβ^0+nβ^1X‾n)=β^0+β^1X‾n=Y‾n\displaystyle\frac{1}{n}\displaystyle\sum\limits_{i=1}^{n}{\hat{Y}_{i}}=\displaystyle\frac{1}{n}\displaystyle\sum\limits_{i=1}^{n}{(\hat{\beta} _{0}+ \hat{\beta} _{1}X _{i})}=\displaystyle\frac{1}{n}(n \hat{\beta} _{0}+n \hat{\beta} _{1}\overline{X }_{n})=\hat{\beta} _{0}+ \hat{\beta} _{1}\overline{X}_{n}= \overline{Y}_{n} 의 성질을 활용하자
    - R2=∑i=1n(Y^i−Y‾n)2∑i=1n(Yi−Y‾n)2=β^12∑i=1n(xi−x‾i)2∑i=1n(Yi−Y‾n)2R ^{2}=\displaystyle\frac{\displaystyle\sum\limits_{i=1}^{n}{(\hat{Y}_{i}-\overline{Y}_{n}) ^{2}}}{\displaystyle\sum\limits_{i=1}^{n}{(Y _{i}-\overline{Y}_{n}) ^{2}}}=\displaystyle\frac{\hat{\beta}_{1} ^{2}\displaystyle\sum\limits_{i=1}^{n}{(x _{i}-\overline{x} _{i}) ^{2}}}{\displaystyle\sum\limits_{i=1}^{n}{(Y _{i}-\overline{Y}_{n}) ^{2}}}
    - =[∑i=1n(xi−x‾n)(Yi−Y‾n)]2∑i=1n(xi−x‾n)4⋅∑i=1n(xi−x‾n)2∑i=1n(Yi−Y‾n)2=\displaystyle\frac{[\displaystyle\sum\limits_{i=1}^{n}{(x _{i}-\overline{x }_{n})(Y _{i}-\overline{Y}_{n})}] ^{2}}{\displaystyle\sum\limits_{i=1}^{n}{(x _{i}-\overline{x}_{n}) ^{4}}}\cdot \displaystyle\frac{\displaystyle\sum\limits_{i=1}^{n}{(x _{i}-\overline{x }_{n}) ^{2}}}{\displaystyle\sum\limits_{i=1}^{n}{(Y _{i}-\overline{Y }_{n}) ^{2}}}
    - =[∑i=1n(xi−x‾n)(Yi−Y‾n)2]∑i=1n(xi−x‾n)2∑i=1n(Yi−Y‾n)2=(SXYSXSY)2=(표본상관계수로써의 R)2=\displaystyle\frac{[\displaystyle\sum\limits_{i=1}^{n}{(x _{i}-\overline{x}_{n})(Y _{i}-\overline{Y}_{n}) ^{2}}]}{\displaystyle\sum\limits_{i=1}^{n}{(x _{i}-\overline{x}_{n}) ^{2}\displaystyle\sum\limits_{i=1}^{n}{(Y _{i}-\overline{Y}_{n}) ^{2}}}}=(\displaystyle\frac{S _{XY}}{S _{X}S _{Y }}) ^{2}=(\text{표본상관계수로써의 }R) ^{2}

모형의 가설검정

  • 완전모형 Full Model
    - 원래의 형태의 모델
  • 축소 모형 Reduced Model
    - 귀무가설에서 가정된 모델
    - 귀무가설에서 일부의 파라미터가 0일것이라고 가정한다
  • 가설검정과정
    - 조건
    - 완전모형하에서의 잔차제곱함
    - RSS(FM)=∑i=1n(Yi−Y^i)2RSS(FM)=\displaystyle\sum\limits_{i=1}^{n}{(Y _{i}-\hat{Y} _{i}) ^{2}}
    - 완전모형이 회귀계수 (β0,β1,⋯ ,βp)({\beta}_{0},{\beta}_{1},\cdots,{\beta}_{p}) 이 있다 가정하자
    - p+1의 회귀계수가 있다고 가정하자
    - 축소모형에서 잔차제곱합
    - RSS(FM)=∑i=1n(Yi−Y^i∗)2RSS(FM)=\displaystyle\sum\limits_{i=1}^{n}{(Y _{i}-\hat{Y} _{i} ^{*}) ^{2}}
    - 완전모형의 회귀계수 (β0,β1,⋯ ,βp)({\beta}_{0},{\beta}_{1},\cdots,{\beta}_{p}) 의 일부를 0으로 둔다
    - k+1k+1의 회귀계수가 있다고 가정하자
    - 정리
    - F=[RSS(RM)−RSS(FM)]/(p−k)RSS(FM)/(n−p−1)F=\displaystyle\frac{[RSS(RM)-RSS(FM)]/(p-k)}{RSS(FM)/(n-p-1)} 는 (p−k,n−p−1)(p-k,n-p-1)의 자유도를 갖는 FF 분포를 따른다
    -

* 창고

  • 증명
    - SX2=∑i=1n(Xi−X‾n)2n−1S _{X} ^{2}=\displaystyle\sum\limits_{i=1}^{n}{\displaystyle\frac{(X _{i}-\overline{X}_{n}) ^{2}}{n-1}}
    - SY=∑i=1n(Y−Y‾n)2(n−1)S _{Y}=\displaystyle\sum\limits_{i=1}^{n}{\displaystyle\frac{(Y- \overline{Y}_{n}) ^{2}}{(n-1)}}
    - SXY=∑i=1n(Xi−X‾n)(Yi−Y‾n)n−1S _{XY}=\displaystyle\sum\limits_{i=1}^{n}{\displaystyle\frac{(X _{i}-\overline{X }_{n})(Y _{i}-\overline{Y}_{n})}{n-1}}
    - 이라 하자 SX,SY,SXYS _{X},S _{Y},S _{XY} 는 각각 XX의 표본분산, YY 의 표본분산, X,YX,Y 의 표본공분산이다.
    - R=SXYSX⋅SYR=\displaystyle\frac{S _{XY}}{S _{X}\cdot S _{Y}} 이다
    - T=Rn−21−R2=SYσY⋅R1n−2⋅[SY2σY2(1−R2)]T=\displaystyle\frac{R \sqrt{n-2}}{\sqrt{1-R ^{2}}}=\displaystyle\frac{\displaystyle\frac{S _{Y}}{\sigma _{Y}}\cdot R}{\sqrt{\displaystyle\frac{1}{n-2}\cdot [\displaystyle\frac{S _{Y} ^{2}}{\sigma _{Y} ^{2}}(1-R ^{2})]}}
    - =RSY/SXσY/(n−1SX)1n−2[(n−1)SY2(1−R2)/σY2]=\displaystyle\frac{\displaystyle\frac{R S _{Y}/S _{X}}{\sigma _{Y}/(\sqrt{n-1}S _{X})}}{\sqrt{\displaystyle\frac{1}{n-2}[(n-1)S _{Y} ^{2}(1-R ^{2})/\sigma _{Y} ^{2}]}} 이다
    - 두 정규확률변수가 독립일때 YY 의 조건부 확률분포는 YY 주변 확률분포와 동일한 N(μY,σY2)\mathcal{N}(\mu _{Y},\sigma _{Y} ^{2}) 이고
    - RSY/SX=∑i=1n(xi−xn‾)Yi∑i=1n(xi−x‾n)2∼N(0,σY2/(n−1)σX2)R S _{Y}/S _{X}=\displaystyle\frac{\displaystyle\sum\limits_{i=1}^{n}{(x _{i}-\overline{x _{n}})Y _{i}}}{\displaystyle\sum\limits_{i=1}^{n}{(x _{i}-\overline{x}_{n}) ^{2}}} \sim \mathcal{N}(0,\sigma ^{2}_{Y}/(n-1)\sigma _{X} ^{2}) 이다
    - SXYSXSY⋅SYSX=SXYSX2\displaystyle\frac{S _{XY}}{S _{X}S _{Y}}\cdot \displaystyle\frac{S _{Y}}{S _{X}}=\displaystyle\frac{S _{XY}}{S _{X} ^{2}}
  • ∂SSE∂β0=∑i=1n2(−1)(yi−(β0+β1xi))=0\cfrac{\partial {SSE}}{\partial {\beta _{0}}}=\displaystyle\sum\limits_{i=1}^{n}{2(-1)(y _{i}-(\beta _{0}+\beta _{1}x _{i}))}=0
    - =∑i=1nyi−(β0+β1xi)=0=\displaystyle\sum\limits_{i=1}^{n}{y _{i}-(\beta _{0}+\beta _{1}x _{i})}=0
    - ny‾n−nβ0+nβ1x‾n=0n \overline{y}_{n}-n \beta _{0}+n \beta _{1} \overline{x}_{n}=0
    - β^0=y‾−β1x‾\hat{\beta}_{0}=\overline{y}-\beta _{1}\overline{x}_{}
  • ∂SSE∂β1=∑i=1n−2xi(yi−(β0+β1xi))=0\cfrac{\partial {SSE}}{\partial {\beta _{1}}}=\displaystyle\sum\limits_{i=1}^{n}{-2x _{i}(y _{i}-(\beta _{0}+\beta _{1}x _{i}))}=0
    - ∑i=1nxi(yi−(β0+β1xi))=0\displaystyle\sum\limits_{i=1}^{n}{x _{i}(y _{i}-(\beta _{0}+\beta _{1}x _{i}))}=0
  • ∑i=1nxiyi−nβ0+nβ1xn‾=0\displaystyle\sum\limits_{i=1}^{n}{x _{i}y _{i}}-n \beta _{0}+n\beta _{1}\overline{x _{n}}=0
  • =∑i=1nXiYi−nX‾nY‾n∑i=1n(Xi−X‾n)2⋅∑i=1n(Yi−Y‾n)2=\displaystyle\frac{\displaystyle\sum\limits_{i=1}^{n}{X _{i}Y _{i}-n \overline{X}_{n}\overline{Y}_{n}}}{\sqrt{\displaystyle\sum\limits_{i=1}^{n}{(X _{i}-\overline{X}_{n}) ^{2}}}\cdot \displaystyle\sum\limits_{i=1}^{n}{(Y _{i}-\overline{Y}_{n}) ^{2}}}
    - R2=∑i=1n(Y^i−Y‾n)2∑i=1n(Yi−Y‾n)2=[∑i=1nY^i−Y‾n]2∑i=1n(Yi−Y‾n)2∑i=1n(Y^n−Y‾n)2R ^{2}=\displaystyle\frac{\displaystyle\sum\limits_{i=1}^{n}{(\hat{Y} _{i}-\overline{Y}_{n}) ^{2}}}{\displaystyle\sum\limits_{i=1}^{n}{(Y _{i}-\overline{Y}_{n}) ^{2}}}=\displaystyle\frac{[\displaystyle\sum\limits_{i=1}^{n}{\hat{Y}_{i}-\overline{Y}_{n}}] ^{2}}{\displaystyle\sum\limits_{i=1}^{n}{(Y _{i}-\overline{Y}_{n}) ^{2}\displaystyle\sum\limits_{i=1}^{n}{(\hat{Y}_{n}-\overline{Y}_{n}) ^{2}}}}
profile
WooSeongkyun
안녕하세요!
이전 포스트

수리통계- 5. 가설검정

0개의 댓글