MachineLearning

신경망 학습

신경망을 학습하려면 데이터 셋은 어떻게 구성하는 것이 좋을까?그리고 데이터를 어떤 단위로 입력해야 학습에 효율적일까

회귀 모델과 분류 모델을 학습하기 위한 최적화 문제를 정의해보았다. 그렇다면 최적화 문제의 손실 함수는 어떤 기준으로 정의해야 하며 어떤 의미로 해석해야 할까?

최적화 SGD : 확률적 경사 하강법 확률적 경사하강법(Stochastic Gradient Descent : SGD)은 손실 함수의 곡면에서 경사가 가장 가파른 곳으로 내려가다 보면 언젠가 가장 낮은 지점에 도달한다는 가정 아래에서 동작한다. SGD : 고정된 학습

신경망은 복잡한 문제를 잘 풀어내지만 쉽게 과적합(overfitting)되는 구조 때문에 최적의 모델로 학습하기가 까다롭다 딥러닝 방식이 등장하기 전까지 과적합은 해결하기 어려운 문제였고 지금까지도 과적합을 막기 위해 매우 다양한 기법들이 연구되고 있다.