미분 = 기울기 = 변수에 따른 함수값의 변화 측정
현재 값에서 미분값을 더하면 함수값이 증가하는 방향으로 움직이고
빼면 함수값이 감소하는 방향으로 움직임
기본적인 기계학습 방법으로
예측을 통해 목적함수(가중치)를 정의하고
비용함수, 손실함수, 에러함수 등 목표와 추정값의 차이를 을 정의해서
수치화 하여 이 차이가 가장 작아지도록 목적함수를 업데이트 하여 결과를 도출
하는데 이떄 한 방법으로 경사하강법을 사용
손실함수를 각 가중치 텀으로 미분하여 그레디언트를 도출하고
그레디언트의 학습률(적절히 작은 값)을 곱해 가중치 텀에서 빼는 식으로
조금씩 가중치를 업데이트 하여 최적의 값을 찾는다
이때 학습률이 너무 크면 예측값이 발산해버리거나
너무 작으면 너무 조금씩 학습되어 오랜 시간이 필요
학습 회수또한 너무 조금 학습(반복)하면 과소적합
너무 많이 학습하면 과적합이 일어남
과소적합은 예측모델이 덜 정확해 지는 문제가 있고
과적합은 예측모델이 학습 데이터에 한해서 매우 정확한 값을 도출하지만
실제 데이터들에서는 오히려 덜 학습된 상태보다 오차가 커지는 문제가 발생함
과적합 문제를 해결하기 위해 여러 기법들이 사용되는데
- 배우면 업데이트
