🦁🦁

👉 오늘 한 일

• 의사결정나무(회귀) 이어서
• 파라미터 튜닝

의사결정나무(회귀)

회귀의 평가지표

회귀에서 Accuracy를 사용하지 않는 이유? -> 예측하는 변수가 연속형이기 때문에 소수점 끝자리까지 정확하게 예측하기 어려워서

MAE(Mean Absolute Error) : 오차에 대한 절댓값 평균

• 오차에 대한 직관적인 판단 가능
  MAPE(Mean Absolute Percentage Error) : 오차에 대한 절댓값 비율 평균

MSE(Mean Squared Error) : 분산과 유사한 공식으로, 실제값과 예측값들이 얼마나 떨어져 있는지 판단하고자 함

• 분산과 MSE의 차이? : 분산은 관측값에서 평균을 뺀 값을 제곱, MSE는 실제값에서 예측값을 뺀 값을 제곱
• MAE에 비해 오차가 클수록 패널티를 더 많이 준다

RMSE(Root Mean Squared Error) : 표준편차와 유사한 공식. 값이 너무 커지는 것을 방지하기 위해 제곱근을 취함

• RMSE는 MAE에 비해 직관성은 떨어지지만, 로버스트한 성격(=극단적이지 않은)에서 강점을 보인다

왜 직관적인 MAE 말고 RMSE를 쓰시나요?
https://data101.oopy.io/mae-vs-rmse

parameter tuning

display : Ipython 환경의 명령어. 코드블럭 중간에 있는 코드를 출력하고 싶을 때 사용

train_test_split()

• stratify : 층화추출. train set과 test set를 분리할 때, class 비율을 동일하게 함

plt.subplots()

• fig, axes 변수에 담아서 사용

  • fig는 전체 도화지, axes는 각각의 서브플롯을 의미

• 그래프를 그리고 축 지정

  • e.g.

fig, axes = plt.subplots(nrows=1, ncols=2, figsize=(12,4))
sns.countplot(x=y_train, ax=axes[0]).set_title("train")
sns.countplot(x=y_test, ax=axes[1]).set_title("test")

grid search와 random search

• grid search : 지정된 구간에 대한 값에 대해 탐색

  • GridSearchCV()

  • 지정된 구간 외에 최적값이 있을 때 찾지 못하는 단점이 있음

  • 지정된 파라미터의 조합의 수 만큼 실행

• random search : 그리드서치의 단점을 보완해 지정된 횟수 내에서 랜덤한 값들을 통해 성능을 평가하고 그 중 가장 좋은 성능을 내는 파라미터를 찾음

  • 좋은 성능을 내는 구간으로 점점 좁혀가며 탐색

  • RandomizedSearchCV()

  • k-fold 수 * n_iter 수 만큼 실행

각 함수 적용 후 fit 적용해야 함

classification_report : 평가 지표에 대한 더 자세한 report 출력

• precesion, recall, f1-score, support, accuracy 등