선형회기분석 결과의 정확성을 알기 위해서는 크게 아래 세가지의 값을 순서대로 확인한다.
F검정 p-value
의미: F검정은 회귀 모델 전체가 유의미한지를 테스트합니다. 즉, 모델이 무작위로 예측하는 것보다 더 나은 예측을 하는지를 검정합니다.
해석: p-value가 매우 작다면 (일반적으로 0.05 이하), 회귀 모델 전체가 통계적으로 유의미하다는 것을 의미합니다. 즉, 최소한 하나의 독립변수가 종속변수에 영향을 미친다는 증거가 됩니다.
사용 상황: 전체 모델의 유의미성을 판단할 때 사용합니다.
중요성: F검정 p-value는 회귀 모델 전체의 유의미성을 평가합니다. 즉, 모델이 종속변수를 설명하는 데 있어서 의미 있는지를 먼저 확인합니다.
우선 순위 이유: 모델이 전체적으로 유의미하지 않다면, 개별 독립변수의 유의미성이나 모델의 설명력을 논의하는 것이 의미가 없습니다. 따라서, F검정 p-value가 가장 먼저 고려됩니다.
T검정 p-value
의미: T검정은 각 독립변수가 종속변수에 대해 유의미한 영향을 미치는지를 개별적으로 테스트합니다.
해석: 각 독립변수에 대해 p-value가 작다면 (일반적으로 0.05 이하), 해당 변수는 종속변수에 통계적으로 유의미한 영향을 미친다는 것을 의미합니다.
사용 상황: 각 독립변수의 유의미성을 판단할 때 사용합니다. 각 변수의 중요도를 평가합니다.
결정계수 (R-squared)
의미: R-squared 는 독립변수가 종속변수의 변동을 얼마나 설명하는지를 나타내는 지표입니다. 0에서 1 사이의 값을 가지며, 1에 가까울수록 모델이 데이터를 잘 설명한다는 의미입니다.
해석: 예를 들어,R-squared =0.8이면 독립변수가 종속변수의 변동 80%를 설명한다는 의미입니다.
한계: 높은 R-squared 값이 항상 좋은 모델을 의미하는 것은 아닙니다. 과적합(overfitting)일 가능성도 있습니다. R-squared는 모델의 설명력을 나타내지만, 모델이 유의미한지를 먼저 확인한 후에 고려해야 합니다.
모델의 설명력을 나타내는 R-squared와 모델의 유의미성을 나타내는 F검정의 차이를 더 알고파서 물어보았다.
