📌 결정 트리와 앙상블

📍결정 트리의 단점

머신러닝 분야에서 유명한 책인 'The Elements of Statistical Learning' 에서는 결정 트리의 단점을 다음과 같이 말한다.

결정 트리는 이상적인 머신러닝 모델이 되기 힘든 한 가지 특징을 갖는다. 바로 부정확성이다.

쉽게 말하면 성능이 좋지 않다는 것이다. 그럼에도 불구하고 결정 트리를 중요하게 배우는 이유는, 이 결정 트리를 응용하면 성능이 좋은 다른 모델들을 만들 수 있기 때문이다.

여기서 결정 트리를 응용하는 대표적인 기법으로는 앙상블 기법이 있다.

📍앙상블 (Ensemble)

앙상블은 조화, 또는 통일을 의미한다.

머신러닝에서 앙상블이란, 하나의 모델을 쓰는 대신 수많은 모델들을 사용해 종합적인 판단을 하는 것을 의미한다. 다시 말해, 여러 개의 결정 트리(Decision Tree)를 결합하여 하나의 결정 트리보다 더 좋은 성능을 내는 머신러닝 기법이다.

앙상블 학습법에는 크게 2가지가 있다. 바로 Bagging과 Boosting이다.

📌 Bagging

Bootstrap 데이터 셋(Bootstrap 데이터셋이란, 원본 데이터셋에서 중복을 허용하며 무작위로 샘플링하여 만든 데이터셋을 의미한다)으로 학습된 여러 모델들의 결정을 종합해서(aggregate) 예측을 하는 앙상블 기법을 Bootstrap aggregating, 줄여서 Bagging이라고 부른다. 사진으로 보면 다음과 같다.

위의 그림과 같이 여러 Bootstrap 데이터 셋을 이용해서 여러 개의 결정 트리들을 학습시킨다. 그리고 이 결정 트리들의 결과를 다수결 투표로 종합해서 예측한다.

이런 Bagging 방식의 앙상블 알고리즘 중 하나인 랜덤 포레스트에 대해서 먼저 알아보자.

📍 랜덤 포레스트 (Random Forest)

결정 트리 앙상블 알고리즘 중 하나인 랜덤 포레스트는 수많은 결정 트리들을 임의로 만들고, 이 모델들의 결과를 다수결 투표로 종합해서 예측하는 모델이다. 트리를 엄청 많이, 그리고 임의로 만들기 때문에 랜덤 포레스트라는 이름을 갖는다.

여러 결정 트리 모델들의 결과를 다수결 투표로 종합해서 예측하기 때문에 Bagging 계열의 알고리즘이다.

일단 랜덤 포레스트에 임의성(Random)을 더하는 요소는 다음과 같이 두 가지가 있다.

• Bootstrapping

• Feature Randomization

가장 먼저 Bootstrapping이라는 방법에 대해서 알아보자.

📍Bootstrapping

Bootstrapping은 갖고 있는 데이터 셋을 이용해서 조금 다른 데이터 셋을 만들어내는 방법이다.

위에 보면 원본 데이터셋에서 임의의 데이터들을 무작위로 뽑아서 새로운 bootstrap 데이터셋을 만들고 있다. 이 때 중복으로 데이터를 뽑아도 상관이 없다.

이런 식으로 원래의 데이터 셋에서 임의로 새로운 데이터 셋을 만들어내는 방법이 바로 bootstrapping 이다.

Bootstrapping 을 사용하면 각 모델 별로 다양하고 서로 다른 bootstrap 데이터 셋을 학습하므로 모델마다 다양한 결과(임의성이 추가됨)를 기대할 수 있다. (단, 앙상블 기법을 사용하는 모든 알고리즘들이 bootstrapping을 쓰는 건 아니다.)

📍Feature Randomization

Feature Randomization은 Random Forest에서 트리를 만들 때, 활용하는 변수를 무작위로 선택해서 일부만 사용하는 것이다.

이렇게 하게 되면, 각 트리가 bootstrap sample을 보는 것 뿐만 아니라, 고려하는 변수 또한 다양해지기 때문에 다양한 관점의 모형을 만들 수 있게 된다. 즉, 랜덤 포레스트에 임의성을 더할 수 있게 된다.

📍랜덤 포레스트 결정 트리 만들기

랜덤 포레스트에서는 여러 개의 결정 트리 모델을 만든다고 했는데, 정확히 어떻게 만드는 것일까? 위에서 본 2가지 요소를 바탕으로 알아보자.

기존의 결정 트리는 전체 속성 중 지니 불순도가 가장 낮은 속성을 먼저 고르는 것이었다면, 랜덤 포레스트에서는 임의성을 추가하기 위해 먼저 전체 속성 중 특정 속성들을 임의로 고른다.(Feature Randomization) 그리고 고른 속성들 중에서 지니 불순도가 가장 낮은 속성을 고르는 것이다.

예를 들어 bootstrap 데이터 셋에서 전체 속성 중 임의의 속성 2개를 고르고, 이 2개 중에 지니 불순도가 가장 낮은 속성을 고르는 것이다.

정리하자면 랜덤 포레스트는 bootstrap 데이터 셋(Bootstrapping: 데이터 셋의 임의성 보장)에서 무작위로 몇 개의 속성을 고른 다음에(Feature Randomization: 결정 트리의 임의성 보장) 고른 속성 중에서 지니 불순도를 확인하여 가장 좋은 노드를 결정하는 식으로 결정 트리를 만든다.

그리고는 bootstrap 데이터 셋이 여러 개이기 때문에 이 과정들을 bootstrap 데이터 셋의 수만큼 반복해주면 된다. 그럼 아래처럼 여러 개의 다양한 결정 트리가 나오게 된다. (Bootstrap 데이터 셋이 100개일 때 결정 트리도 100개)

그리고 이 결정 트리들의 예측 값들을 종합해서 최종 예측을 한다. 지금 일반 감기가 60으로 독감보다 더 많기 때문에 다수결 투표에 의해서 일반 감기로 예측하면 된다.

---

따라서 랜덤 포레스트의 학습 과정은 여러 개의 결정 트리를 독립적으로 학습시켜 최종 모델을 만드는 것이다. 만들어진 최종 모델을 수식으로 표현하면 다음과 같다.

여기서 $T$는 전체 트리 개수, $h_t(x)$는 $t$번 째 의사 결정 트리의 예측값을 의미한다.

따라서 이 최종 모델을 이용해 새로운 데이터를 예측하는 과정은 아래와 같다.

• 새로운 데이터가 들어오면, 각 개별 의사 결정 트리들이 독립적으로 예측을 수행

• 분류 문제일 때는 여러 트리 중에서 가장 많이 나온 클래스를 최종 예측값으로 선택(다수결 투표)

• 회귀 문제일 때는 각 트리의 예측값을 평균 내서 최종 예측값으로 결정

---

💡 실습

이제 scikit-learn을 이용해서 랜덤 포레스트를 실습해보자.

from sklearn.datasets import load_iris
from sklearn.model_selection import train_test_split
from sklearn.ensemble import RandomForestClassifier

import pandas as pd

iris_data = load_iris()

X = pd.DataFrame(iris_data.data, columns=iris_data.feature_names)
y = pd.DataFrame(iris_data.target, columns=['class'])

X_train, X_test, y_train, y_test = train_test_split(X, y, test_size=0.2, random_state=5)
y_train = y_train.values.ravel()

model = RandomForestClassifier(n_estimators=100, max_depth=4) # 결정 트리 개수, 만들 결정 트리들의 최대 깊이

model.fit(X_train, y_train)
model.predict(X_test)

model.score(X_test, y_test) # 성능 확인 -> 0.9

📌 Boosting

Boosting 은 '~전보다 더 크거나 높게 하다.' 라는 의미이다. Boosting 의 일반적인 작동 과정은 다음과 같다.

• 일부로 성능이 안 좋은 모델들을 사용한다.

• 더 먼저 만든 모델들의 성능이 다음 모델이 사용할 데이터 셋에 영향을 준다.

• 모델들의 예측을 종합할 때, 성능이 좋은 모델의 예측을 더 반영한다.

Boosting 의 핵심은 성능이 안 좋은 약한 학습기(Weak Learner)들을 합쳐서 성능을 극대화한다는 점이다.

이런 Boosting 방식의 앙상블 알고리즘 중 하나인 AdaBoost에 대해서 먼저 알아보자.

📍 AdaBoost

Adaptive Boosting, 줄여서 AdaBoost는 여러 약한 학습기(weak learner)를 조합하여 하나의 강한 분류기를 생성하는 앙상블 알고리즘이다.

먼저 AdaBoost 의 전반적인 개념과 개요에 대해서 알아보자.

📍 Stump (스텀프)

에다 부스트에서는 깊이가 깊은 결정 트리들이 아니라 root 노드 하나와 분류 노드 두 개를 갖는 얕은 결정 트리를 만든다. 사진으로 보면 다음과 같다.

위와 같이 하나의 질문과 그 질문에 대한 답으로 바로 예측을 하는 짧은 결정 트리를 나무의 그루터기 같다고 해서 스텀프라고 한다.

이런 식으로 스텀프를 만들게 되면 성능은 어떨까? 흔히 “동전 던지기 보다 조금 좋다.”라고 표현한다. 즉, 스텀프는 주로 50% 보다 조금 나은 성능을 갖게 된다.

Boosting 기법은 성능이 안 좋은 모델들(Weak learner)을 사용하므로 이거에 맞게 일부러 일반 결정 트리가 아닌 스텀프만을 사용하는 것이다.

📍 데이터 셋

파란색과 빨간색 데이터는 서로 분류가 다른 데이터들이다. 이걸 이용해서 결정 스텀프 하나(Model 1)를 학습했다고 하자.

그럼 이 결정 스텀프가 맞게 분류하는 애들이 있고, 틀리게 분류하는 애들이 있을 것이다(동그라미 친 곳). 이때 틀린 데이터는 가중치를 더 높게 주고, 맞게 분류한 데이터는 가중치를 낮게 줘서 다음 결정 스텀프(Model 2)가 오류에 더 신경쓸 수 있도록 한다.

그 다음 결정 스텀프를 만들 때도, 마찬가지로 데이터 셋에서 예측에 틀린 데이터와 맞은 데이터들의 가중치를 조절해서 바로 이전 예측에 틀렸던 데이터들을 좀 더 잘 예측하는 결정 스텀프를 만든다.

이 과정을 미리 정해놓은 만큼 반복해서 엄청 많은 스텀프들을 만들어준다. 뭐 100개, 150개, 200개, .. 이런 식으로 말이다.

📍 예측

이렇게 수많은 스텀프들을 만든 후에는 종합적인 예측을 해야하는데, AdaBoost는 다수결의 원칙이 아니라 성능 주의적으로 예측을 한다.
예를 들어 다음과 같은 상황이 있다고 하자.

독감 학습 데이터에서 스텀프가 두 개가 독감을 예측하고 나머지 2개가 일반 감기를 예측했다고 하자. 간단하게 보면 지금 독감을 예측한 스텀프들의 성능의 합은 6이고 일반 감기를 예측한 스텀프들의 성능은 5이다.

이때는 아무리 다수결이 2:2여도 더 성능의 합이 높은 독감으로 예측을 하게 되는 것이다.

정리하면 다음과 같다.

• 약한 학습기인 결정 스텀프를 만든다.

• 다음 결정 스텀프를 만들 때, 이전 스텀프가 틀리게 예측한 데이터들의 가중치를 더 높게 준다.

• 최종 결정을 내릴 때는 성능이 좋은 결정 스텀프들 예측 의견의 비중은 높게, 그렇지 않은 결정 스텀프의 의견의 비중은 낮게 반영한다.

이제 전체적인 흐름을 알았으니, AdaBoost를 다시 처음부터 구체적으로 알아보자.

📍 구체적인 AdaBoost

데이터는 독감 데이터를 보자. 그리고 중요도라는 열을 추가하자. 실제로 속성으로 추가하는 건 아니고, 가중치를 수치화하고 보기 편하게 그냥 여기 열로 추가시켜주는 것이다. 그림으로 보면 아래와 같다.

처음에는 틀리게 예측한 데이터가 없으니까 모든 데이터의 중요도를 같게 설정한다. 7개의 데이터가 있으니까 각각 $\frac{1}{7}$씩이다. 그리고 중요도의 합은 항상 1로 유지가 돼야 한다.

---

일단 첫 스텀프를 만들어야 한다. 첫 스텀프는 전에 만든 스텀프가 없기 때문에 결정 트리를 만들 때랑 똑같이 지니 불순도가 가장 낮은 노드를 root 노드로 고른다.
지금은 “37.5도가 넘나요?”가 가장 좋다고 하자. 스텀프를 만드는 것이기 때문에 질문 노드 다음엔 분류 노드가 오고 끝이난다. 그림으로 보면 다음과 같다.

이렇게 첫 번째 스텀프를 만들었다. 에다 부스트는 예측을 종합할 때 각 스텀프의 성능을 반영하기 때문에 스텀프를 만들 때마다 미리 성능을 계산해야 한다. 이제 스텀프의 성능은 어떻게 계산하는지 알아보자.

---

스텀프의 성능은 다음과 같이 계산한다.

여기서 $total\_error$는 틀리게 분류한 데이터들의 중요도 합을 의미한다.
지금 열 37.5를 기준으로 나눴을 때 두 개의 데이터가 틀리게 분류되는데, 현재 이 틀린 데이터들의 중요도는 각각 $\frac{1}{7}$씩이니까 $total\_error$는 이 두 값을 더한 값 $\frac{2}{7}$이다.

계산한 $total\_error$를 식에 넣으면 0.458이 나온다. 이게 바로 이 스텀프의 성능이 된다.

근데 스텀프의 성능을 구할 때 왜 저 식을 사용할까? 성능 식을 그래프로 그려서 확인해보면 아래와 같다.

$total\_error$가 1에 가까워질수록 가중치가 작아지고, 0에 가까워질수록 가중치가 커진다. (여기서 가중치가 커지고 작아진다를 Amount of Say가 커지고 작아진다 라고도 말한다. Amount of Say가 크다는 건 결과에 미치는 영향이 크다는 소리이다.)

$total\_error$ 가 1이면 어떤 경우일까? 틀린 데이터의 중요도 합이 1이니까 스텀프가 모든 데이터를 다 틀리게 예측한 경우이다. 이때는 성능이 엄청 안 좋은 거기 때문에 성능을 무한하게 작게 만든다.

반대로 $total\_error$ 가 0이라는 말은, 스텀프가 모든 데이터를 다 맞게 예측하는 경우이다. 이 스텀프의 성능은 엄청 좋은 거니까 성능을 무한히 크게 만들어준다.

$total\_error$가 딱 0.5면, 갖고 있는 데이터 중 딱 반은 맞고 반은 틀린 것이다. 이때는 성능이 아무 의미가 없으니까 그냥 0으로 만들어 준다.

따라서 그래프는 잘 맞출수록, 또는 잘 못 맞출수록 성능을 기하급수적으로 늘리고 줄여주는 것이다.

---

현재 첫 번째 스텀프를 정하고 그 스텀프의 성능까지 구해보았다. 이제 데이터의 중요도를 수정하는 방법을 알아보자.

현재까지의 상황을 그림으로 그리면 아래와 같다.

첫 번째 스텀프는 열이 “37.5도가 넘나요?”였고, 성능은 0.458이었다. 그리고 각 데이터의 중요도는 다 똑같이 $\frac{1}{7}$씩이었다.

첫 스텀프를 만들 때는 모든 데이터가 똑같은 중요도를 가졌지만, 다음에 만들 스텀프는 앞에서 틀리게 분류한 데이터를 더 잘 분류해야하기 때문에 틀리게 분류한 데이터의 중요도는 늘려주고, 맞게 분류한 데이터의 중요도는 낮춰줘야 된다.

먼저 틀리게 분류한 모든 데이터에 대해서는 이렇게 중요도를 바꿔준다. (중요도를 높여야 함)

왼쪽의 $weight_{new}$는 새로운 중요도이고, $weight_{old}$ 는 예전 중요도, $p_{tree}$는 스텀프의 성능을 의미한다.

그리고 맞게 분류한 모든 데이터에 대해서는 이렇게 중요도를 바꿔준다. (중요도를 낮춰야 함)

$weight_{old}$에 곱해주는 $e^{p_{tree}}$ 와 $e^{-p_{tree}}$를 각각 그래프로 표현하면 다음과 같다.

둘다 스텀프의 성능 $p_{tree}$가 0일 때는($total\_error$ 가 0.5일 때) $e^{p_{tree}}$ 와 $e^{-p_{tree}}$ 값 모두 1이 된다. 따라서 이전 중요도에 1이 곱해지기 때문에 새로운 중요도 값은 변함이 없다.

하지만 스텀프의 성능 $p_{tree}$가 커진다면 달라진다. $e^{p_{tree}}$ 같은 경우는 1보다 큰 수가 $weight_{old}$에 곱해지기 때문에 새로운 가중치 $weight_{new}$는 값이 커지고, $e^{-p_{tree}}$ 같은 경우는 1보다 작은 수가 $weight_{old}$에 곱해지기 때문에 새로운 가중치 $weight_{new}$는 값이 작아진다.

따라서 틀리게 분류한 모든 데이터에 대해서는 가중치를 높여야 하니까 이전 가중치에 $e^{p_{tree}}$를 곱해주고, 맞게 분류한 데이터에 대해서는 가중치를 낮춰야 하니까 이전 가중치에 $e^{-p_{tree}}$를 곱해주는 것이다.

이제 데이터에 직접 적용해보자. 기존 중요도 $\frac{1}{7}$을 위에서 본 식들로 수정을 하면 아래와 같아진다.

하지만 현재는 중요도의 합이 1이 되지 않기 때문에 비율적으로 수정해줘야 한다. 따라서 모든 데이터의 중요도를 더하고, 각 데이터의 중요도를 이 값으로 나눠주면 된다. 이제 최종적으로 수정된 각 데이터의 중요도는 다음과 같다.

잘못 분류했던 두 데이터는 중요도가 0.25가 되고, 나머지 데이터들은 중요도가 0.1이 되었다. 틀린 데이터의 중요도는 높이고, 맞은 데이터의 중요도는 낮춘 것이다. 그리고 모든 데이터의 중요도를 더하면 다시 1이 나오는 것도 확인할 수 있다.

---

이제 이 중요도가 바뀐 데이터 셋을 이용해서 다음 스텀프, 그다음 스텀프… 이런 식으로 스텀프를 계속 추가하는 방법에 대해서 알아보자.

새로 만들 데이터 셋은 기존의 데이터 셋 크기랑 똑같은데, 단지 기존 데이터의 중요도가 확률로 활용되어 새로운 데이터 셋이 만들어진다. 그림으로 정확히 봐보자.

전체적으로는 0부터 시작하고, 범위의 시작값에 각 데이터의 중요도를 더해준 값이 해당 데이터의 범위가 끝나는 값이다.

첫 데이터는 0부터 중요도 0.1만큼, 두 번째 데이터는 0.1부터 중요도를 더한 0.2까지, 다음은 0.2부터 0.3까지, 다음은 0.3에서 0.55까지, 다음은 0.55에서 0.65까지, ... , 마지막으로는 0.9부터 1까지의 범위를 준다.

이제 새로운 데이터 셋을 만들 때 0에서 1 사이의 아무 숫자를 고르는데, 나온 숫자를 갖는 범위의 데이터를 새로운 데이터 셋에 추가해주면 된다.
예를 들어 0.4012 를 고르면 이 값이 포함된 범위의 데이터를 새 데이터 셋에 추가해 주는 것이다. 따라서 중요도가 높은 데이터는 범위도 크기 때문에 선택될 확률도 높다.

이걸 원래 데이터 셋의 크기만큼 반복하면 이렇게 새로운 데이터 셋이 만들어진다.

자세히 살펴보면 중요도가 높은 데이터들은 여러 번 들어갔고 중요도가 낮은 데이터들은 아예 추가가 안 된 것도 있다. 이것은 옳은 수순이다.

애초에 다음 스텀프는 전 스텀프가 틀린 데이터들을 좀 더 잘 맞춰야 한다. 새로운 데이터 셋에는 전 스텀프들이 틀린, 다시 말해 중요도가 높은 데이터들이 확률적으로 더 많이 들어있기 때문에 다음 스텀프가 틀린 데이터를 더 잘 맞출 수 있는 것이다.

이제 이 새로운 데이터 셋을 써서, 첫 스텀프를 만들 때랑 똑같이 스텀프를 만든다. 지니 불순도를 비교해서 가장 성능을 좋게 하는 질문 노드를 정해주는 것이다. 그리고 마찬가지로 만든 스텀프의 성능을 계산한다. 성능을 계산한 후에는 다시 원래 데이터 셋에서 분류에 틀린 데이터들의 중요도는 높여주고, 맞은 데이터의 중요도는 낮춰주면 된다. 그림으로 보면 아래와 같은 상황이다.

따라서 첫 번째 스텀프가 틀리게 분류한 데이터들은 두 번째 스텀프가 좀 더 잘 맞출 수 있고, 세 번째 스텀프는 앞에 있는 스텀프들이 틀린 데이터를 좀 더 잘 맞출 수 있고… 이런식으로 스텀프들을 계속 만들 수 있게 된다.

---

이제 만들어 놓은 스텀프들로 예측하는 과정을 간단히 봐보자. 일단 스텀프를 총 4개 만들었다고 하자. 그림으로 그리면 다음과 같다.

일반 감기로 예측하는 스텀프들의 성능 합은 0.6이고, 독감으로 예측하는 스텀프들의 성능 합은 1.2로 일반 감기로 예측하는 스텀프들의 성능 합보다 크다. 이럴 경우에 최종 결정(약한 학습기들의 가중합)은 성능의 합이 높은 쪽으로 따라가게 되어 결국 독감으로 예측된다.

---

따라서 학습된 에다 부스트의 최종 모델을 수식으로 나타내면 다음과 같다.

여기서 $T$는 약한 학습기의 총 개수이고, $h_t(x)$는 $t$번째 약한 학습기, $\alpha_t$는 학습기 $h_t(x)$의 신뢰도를 나타내는 가중치로, 개별 학습기가 최종 예측에 얼마나 기여하는지를 의미한다.(단 여기서 $\alpha_t$는 약한 학습기에 부여되는 신뢰도이다. 따라서 위에서 본 데이터에 주는 중요도랑은 별개이다.)

즉, 여러 개의 약한 학습기의 결과를 가중치와 함께 반영하여 더한 값이다. 어떤 $t$번째 약한 학습기의 신뢰도 $\alpha_t$가 크면, 그 학습기의 예측이 최종 결과에 더 큰 영향을 미치게 된다.

이제 새로운 데이터가 들어왔을 때의 예측 과정은 아래와 같다.

• 모든 약한 학습기들이 각각 예측을 수행한다.

• 각 학습기의 예측값에 그 학습기의 가중치 $\alpha_t$를 곱해서 합산한다.

• 최종적으로 스텀프들의 성능합이 가장 높은 클래스를 최종 예측값으로 선택한다.

---

💡 실습

from sklearn.datasets import load_iris
from sklearn.model_selection import train_test_split
from sklearn.ensemble import AdaBoostClassifier

import pandas as pd

iris_data = load_iris()

X = pd.DataFrame(iris_data.data, columns=iris_data.feature_names)
y = pd.DataFrame(iris_data.target, columns=['class'])

X_train, X_test, y_train, y_test = train_test_split(X, y, test_size=0.2, random_state=5)
y_train = y_train.values.ravel()

model = AdaBoostClassifier(n_estimators=100) # 결정 스텀프의 개수(기본값은 10개)
model.fit(X_train, y_train)

model.predict(X_test)

model.score(X_test, y_test) # 성능 확인 -> 0.87

💡Bagging vs. Boosting

두 학습법에 따른 앙상블 알고리즘들을 정리하면 다음과 같다.

• Bagging 계열:

  • Random Forest

  • Extra Trees

  • etc..

• Boosting 계열:

  • AdaBoost

  • Gradient Boosting

  • XGBoost

  • LightGBM

  • CatBoost

  • etc..

두 학습법의 차이는 무엇일까? 그림으로 보면 다음과 같다.

위 그림에서 나타내는 바와 같이 Bagging은 병렬로 학습하는 반면, Boosting은 순차적으로 학습한다. Boosting은 한번 학습이 끝난 후 결과에 따라 가중치를 부여한다. 그렇게 부여된 가중치가 다음 모델의 결과 예측에 영향을 주게 된다.

오답에 대해서는 높은 가중치를 부여하고, 정답에 대해서는 낮은 가중치를 부여한다. 따라서 Boosting은 오답을 정답으로 맞추기 위해 오답에 더 집중할 수 있게 되는 것이다.

Boosting은 Bagging에 비해 error가 적다. 즉, 성능이 좋다. 하지만 속도가 느리고 오버 피팅이 될 가능성이 있다.
따라서 개별 결정 트리의 낮은 성능이 문제라면 Boosting이 적합하고, 오버 피팅이 문제라면 Bagging이 적합하다.

---

출처: 코드잇, https://bkshin.tistory.com/entry/머신러닝-11-앙상블-학습-Ensemble-Learning-배깅Bagging과-부스팅Boosting