1. 랜덤포레스트
• 여러 개의 의사결정 트리로 구성
• 앙상블 방법 중 배깅(bagging) 방식
• 부트스트랩 샘플링 (데이터셋 중복 허용)
• 최종 다수결 투표
# 랜덤포레스트
fromsklearn.ensemble importRandomForestRegressor
model = RandomForestRegressor()
model.fit(X_train, y_train)
pred = model.predict(X_test)
mean_squared_error(y_test, pred)
2. XGBoost
• 트리 앙상블 중 성능이 좋은 알고리즘
• eXtreme Gradient Boosting을 줄여서 XGBoost라고 한다.약한 학습기가 계속해서 업데이트를 하며 좋은 모델을 만들어 간다.
# Xgboost
fromxgboost importXGBRegressor
model = XGBRegressor()
model.fit(X_train, y_train)
pred = model.predict(X_test)
mean_squared_error(y_test, pred)
Fantivation