Model
분류모델 : 종속변수가 범주형
예측모델 : 종속변수가 연속형
독립변수(feature) 종속변수(label, class)
강화학습도 비지도학습에 가깝지만 지도학습과 비지도학습 사이 정
도 됨
평균과 관측치의 차이 : 편차
산점도와 그 추세선에 있어서 점들과 선의 차이 : 잔차
잔차제곱의 평균을 구한 후 최소가 되는 추세선을 긋는다면
그것이 최적의 기울기와 절편을 가지고 있는 것(최소제곱법 이용)
그 식을 
b는 y절편을 뜻하며 W는 기울기를 의미한다. 이 식을 회귀식이라 한다.
만약 그 선이 최적값과 차이가 있다면
cost,error,손실이 있다고 표현한다. 우리는 이것들을 최소화해야한다.
결국 선형회귀는 cost를, error를, 손실을 최소화하기 위한 작업이라 할 수 있다. (by 학습을 통해)
이 수식을 cost function이라 부른다. H : 예측값
cost가 줄어들면서 추세선도 최적의 자리에 맞춰가는데
이때 cost가 최적화되는 지점은 0에 해당하는 곳이다. 기울기가 0이 되는 곳에서의 w를 찾아야하는데 이 작업을 머신러닝이 함.
편미분 : 접점 한개에 대해 미분하는 것
회귀분석
독립변수가 다른 변수(종속변수)에 어떤 영향을 미치는가를 분석. 즉, 인과관계(원인과 결과)를 분석한다.
회귀분석은 가설검정의 일종이라 할 수 있다.
회귀모델을 만듬으로써
5+5가 10인이 아닌 9.9, 10.1 으로 추정할 수 있는 좋은 모델을 만들어야함 ,, 정확도 중요
독립과 종속을 주어 알아서 최적의 값을 알려준다
사이킷런-학습을 2차원으로,, [ [ ] ]
< 표 읽는 순서 >
Prob (F-statistic) : 모델이 의미가 있는지 없는지 알려주는 지표:pvalue ( 모델에 대한 유의수준을 판단하는 지표)
pvalue가 0.05보다 작으면 회귀모델이 적합(유의)하다 라고 판단.
F-statistic: 374.0를 통해 Prob (F-statistic): 2.24e-52 이 값이 유도되었다.
두 집단 평균차이검정을 통한 t값의 19.340은 기울기(β)/표준편차(se) 를 통해 나옴 --> 0.7393 / 0.038
그리고 이 t값을 통해 위의 F-statistic값이 유도됨
std err : 표본 평균들의 표준오차
이 표준오차값은 작을수록 좋다. -> 표준오차가 작아질수록 기울기가 커진다. ( 표준오차가 커지면 pvalue도 커짐)
기울기가 커지면 반비례 관계인 t값이 커지고
그와 반비례인 p값은 작아지며
이로 인해 해당 변수는 의미있는 변수라고 할 수 있다.
이때 최소제곱법을 이용하여 기울기와 절편을 구한다.
하지만 해당 데이터의 분포에 대해 알 순 없다.
이때 우연일 가능성이 낮다면 pvalue < 0.05일 것이며
우연일 가능성이 높다면 pvalue > 0.05일 것이다.
때문에 최소제곱법만 보고 모델을 만들면 안되고, pvalue도 확인해야한다.
통계적으로 해당된 독립변수가 의미가 있는지를 판단해주는 지표
즉, 독립변수로서 유의하다. 유의하지 않다를 판단
만약 잘 설명하고 있다면 인과관계가 있다고 판단하고 해당 독립변수를 선택,, (0.05보다 작으면 채택, 0.05보다 크면 기각)
이러한 과정 때문에 위에서 언급한 회귀분석은 가설검정의 일종이라 할 수 있다.
==> 즉 여기선 적절성은 pvalue < 0.05 이므로 쓸모 있는 독립변수라고 생각할 수 있다.
R은 결정계수이며 -1 or 1에 가까울수록 강한 상관관계를 뜻한다.
실제값과 추정치(추세선)의 사이 : 잔차 : SSR (설명가능한 변동값)
실제값과 추정치의 차이를 나타내는 잔차의 제곱의 합 : SSE(설명 불가능한 변동값)
총 변동값 : SST(SSR + SSE)
독립변수 x가 종속변수 y의 분산을 설명해주는 값 : 설명력
현재 이 표에서는
'독립변수가 종속변수를 약 58%의 설명력을 가지고 있는 회귀분석 모델이다.' 라고 할 수 있다.
여기선 독립변수가 한개이기 때문에 R-squared 값을 보지만,
독립변수가 2개이상일때는 수정된 R값인 Adj. R-squared을 본다.
Prob(Omnibus)는 회귀모델의 유의성 (0.05보다 작으면 유의하다.)
Skew값이 음수이면 왼쪽으로 꼬리가 길고 양수이면 오른쪽으로 꼬리가 길다.
Kurtosis는 숫자가 높으면 뾰족, 낮으면 완만하다.
Durbin-Watson는 잔차의 독립성
Jarque-Bera (JB)은 오차의 정규성?, Prob(JB) 은 자기상관 (정규성)
Cond. No.은 다중공선성
회귀분석은 linregress 와 ols를 많이 사용함
