Decision Tree의 분할 기준

split criterion
정보의 가치를 반환하는 데 발생하는 사전의 확률이 작을수록 정보의 가치는 커진다. 정보 이득이란 어떤 속성을 선택함으로 인해서 데이터를 더 잘 구분하게 되는 것.

엔트로피 값은 작을수록 데이터를 잘 수집한 모뎀이라고 볼 수 있다.

지니계수

엔트로피 값을 계산하기 위해서는 log의 계산이 필요한데, 컴퓨터의 경우 log의 계산에 어려움을 겪는다. 그 대체로 생겨난 것이 지니계수.