부스트코스 강의 딥러닝 기초 다지기 중 '최적화의 주요 용어 이해하기, Gradient Descent Methods, Regularization'를 정리한 내용이다.
Generalization
Underfitting vs Overfitting
Cross-validation
Bias and Variance
Booststrapping
Bagging vs Boosting
Bagging(Bootstrapping aggregating)
Boosting
Stotachastic gradient descent(SGD)
Mini-batch gradient descent
Batch gradient descent
Batch Size의 중요성
Nesterov Accelearted Gradient
Regularization: Generalization을 위해 학습에 반대되도록 규제를 거는 것, Test data에도 잘 적용되도록 도와준다.
Early stopping
Parameter Norm Penalty
Data Augmentation
Noise Robustness
Label Smooting
Dropout
Batch Normalization
분류문제에서 일반적으로 layer가 깊게 쌓아져있을 때 성능이 올라간다.
Batch Normalization보다는 다양한 normalization이 있다.