[통계학] 통계야 놀자 04 내용 정리
회귀분석
1. 회귀분석
2. 회귀분석의 특징, 종류
3. 정합성 검증 & 결과 해석
1. 회귀분석이란?
-
독립변수(x)로 종속변수(y)를 예측하는 분석 기법
- 독립변수 : 원인변수, 설명변수
- 종속변수 : 결과변수, 반응변수
-
3단계를 통해 분석 진행
- 독립변수, 종속변수 설정 + 가설 설정
- 데이터 경향성 확인
- 정합성 검증 & 결과 해석
2. 회귀분석의 특징, 종류
1) 특징
- 장점
- 친밀성 : 예측문제 해결에서 가장 많이 사용되고 있는 방법으로 분석 및 해석 방법이 다수 존재
- 유용성 : 결과에 대한 근거, 이유, 활용방안 등 정보를 얻는데 유용
- 유연성 : 종속변수를 설명하기 위한 다양한 독립변수를 선택하고 실험 가능
- 단점
- 복잡성 : 기본 가정이 어긋나면 회귀분석을 사용할 수 없음
- 한계성 : 비선형성 확인을 위한 적절한 방식이 존재하지 않음
2) 종류
-
선형여부, 독립변수의 개수, 종속변수의 개수에 따라 여러 유형으로 구분
-
선형회귀분석
- 독립변수( 연속형 ) , 종속변수 ( 연속형 )
- 분석 목적 : 예측
- 분석 방법 : 선형방정식에 의한 함수식 표현
- 종류
- 단순 회귀 : 독립변수 1개, 종속변수 1개인 경우
- 다중 회귀 : 독립변수가 2개 이상이고, 종속변수가 1개인 경우
-
로지스틱 회귀분석
- 독립변수 ( 연속형, 범주형 ), 종속변수 ( 범주형 + 이진형 or 순서가 없는 범주형 )
- 분석 목적 : 분류, 예측
- 분석 방법 : 연결함수를 이용한 함수식 표현
- 종류
- 이진 로지스틱 회귀 : 종속변수가 두가지 중 하나의 값을 가지는 경우
- 다중 로지스틱 회귀 : 종속변수가 순서가 없는 3개이상일 경우
3. 정합성 검증 & 결과 해석
1) 회귀모델(회귀식)이 얼마나 설명력을 갖는가?
- 결정계수 R_squared(R²)를 확인
- 결정계수 : 종속변수와 독립변수의 관계를 나타내는 수치
2) 회귀모델(회귀식)이 통계적으로 유의한지
- 회귀식에 대한 F검정 시행
- p-value로 유의성 판단 ( 기준 : 0.05 )
3) 독립변수와 종속변수 간 선형관계 여부
- 회귀식의 기울기에 대한 t 검정시헝
- p-value로 유의성 판단 ( 기준 : 0.05 )
4) OLS(ordinary Least Squares) 해석
- summary 함수를 활용
- 주요 지표
- Dep. Variable (y) : 종속변수
- R-squared () : 결정계수
- F-statistic () : F-검정 통계량
- Prob(F-statistic) () : F-검정의 p-값
- coef ()
- const () : 상수항 ( 절편 )
- x1 () : 회귀 계수, 기울기
- std err () : 회귀 계수 추정치의 표준 오차
- t : t 검정 값
- P>|t| : t 검정의 p-값
- [0.025 0.975] : 회귀 계수에 대한 95% 신뢰구간
