entropy, gini 비교

impurity 지표인 entropy랑 gini를 비교해서 그려봄
(두 개의 분류가 있다고 가정)
${entropy : -\sum{p(i|t)log_2p(i|t)}}$
${gini : 1-\sum{p(i|t)^2}}$

코드

import numpy as np
import matplotlib.pyplot as plt
pp = np.arange(0.01, 1, 0.01)
ent = [-np.log2(p)*p - np.log2(1-p)*(1-p) for p in pp]
plt.scatter(pp, ent, color="red", marker='o')
gin = [1-p**2-(1-p)**2 for p in pp]
plt.scatter(pp, gin, color="blue", marker='^')
plt.show()

결과