Feature Importance

Gini Impurity

Gini Impurity를 구하는 공식은 다음과 같다. (단, k는 해당 노드에서의 유니크한 클래스의 개수, $P_{i}$는 해당 노드에서의 $i$ 클래스의 확률)

Gini Importance(Mean Decrease Gini, MDG)

해당 feature로 감소시킨 gini impurity의 모든 tree의 평균