Regression Loss Function Remind
- Regression Loss Function은 Error의 크기를 측정 할 수 있었음
- 하지만 Classification Loss Function은 옳고 그름 2가지 밖에 없음
- 단, Class가 2개 이상일 수 있음
Decision Tree
- 가장 기본적인 Classification Model
- Decision Tree는 Regression Problem도 함께 적용 가능함
Classification Measuring Impurity for Split
- 순도(Homogeneity)를 최대로 증가시키는 방향
- 불순도(Impurity) 혹은 불확실성(Uncertainty)을 최소로 감소시키는 방향
Measuring Impurity
Gini Index (Max 0.5, 0일 때 가장 잘 나누어진 것)
Entropy (0일 때 가장 잘 나누어진 것)
Misclassification Error (잘 사용하지 않음)
Binary Cross Entropy
- 기본적으로 Classification Model을 학습할 때 사용하는 Binary Cross Entropy
