출처: 모두를 위한 딥러닝 강좌 시즌 1 by Sung Kim

---

Model Performance Evaluation

우리가 학습시킨 모델의 성능은 어떻게 평가할 수 있을까?
학습에 이용한 training set을 가지고 모델의 성능을 평가하는 것은 공정하지 않다.
따라서, 데이터를 training set과 testing set으로 나누어서 사용해야 한다.
training set을 통해 학습시킨 모델이 학습하지 않은 testing set의 결과도 잘 예측하는 지를 통해 모델의 성능을 평가하는 것이다.

Training, validation, and testing sets

• 데이터 셋을 나눌 때 training set과 testing set 둘로 나눌 수도 있고,
• training set, validation set, 그리고 testing set 이렇게 셋으로 나눌 수도 있다.
• Validation set은 모의고사와 같이, training set에서 학습된 모델을 시험해보면서 학습률($\alpha$)이나 regularization strength($\lambda$)를 튜닝하는 용도로 사용할 수 있다.

Online learning

• 데이터 셋이 클 경우 이를 나눠서 조금씩 학습시킬 수 있는데,
  이전에 학습된 정보에 새로운 정보를 더해가면서 학습하는 위와 같은 방식을 online learning이라고 한다.

Accurary

모델의 성능은 정확도(accuracy)를 가지고 평가할 수 있다.
이는 정확하게 예측한 인스턴스의 비율로, 이미지 인식의 경우 95%~99%로 이루어지고 있다고 한다.