# Learning Rate

6개의 포스트
post-thumbnail

🚩딥러닝 기초 - part06. Gradient desent (경사하강법)

Linear Regression모델을 만들기 위한 2가지 방법1\. 잔차 제곱합(RSS: Residual Sum of Squares)을 최소화하는 가중치와 바이어스 구함2\. 잔차 제곱합의 그레디언트(gradient) 벡터가 0이 되도록 함 (Gradient desce

2022년 10월 26일
·
0개의 댓글
·

Ai_D68

기울기값을 얼만큼 경사하강법에 적용할 지 결정하는 hyperparameter 입니다. 학습률(learning rate)를 조절하여 기울기 값을 조정할 수 있습니다. 그 결과, 모델 성능을 효율적으로 개선할 수 있습니다.(global minima를 효율적으로 찾을 수

2022년 2월 24일
·
0개의 댓글
·

Regularization

Regularization

2022년 2월 24일
·
0개의 댓글
·
post-thumbnail

모두를 위한 딥러닝 시즌 1 ML lec 7

저번 시간에 Cost 함수에 대해 배우고 Gradient descent은 못하고 지나쳤는데 이번 강의는 이에 대해 배운다. 우리는 Gradient descent 함수를 Cost 함수를 정의하고 값을 최소화하기 위해 사용한다.

2021년 12월 29일
·
0개의 댓글
·
post-thumbnail

Optimization Methods

이전에는 Gradient Descent를 사용해서 parameter를 업데이트하고 Cost Function을 최소화했다. 이번에는 다른 Optimization Method를 통해 속도를 높이고 비용을 최소화하는 알고리즘을 배워보자.언제나 그랬듯, package먼저 다운

2021년 8월 27일
·
0개의 댓글
·
post-thumbnail

모두를 위한 딥러닝 1: Lecture 7 Application & Tips : Learning Rate , data Processing, Overfitting, Training/Test Data Set

Large Learning Rate : 큰 step으로 경사하강법을 함 ( Overshooting 발생 - 큰값으로 증가, 발산)Small Learning Rate : 너무 작은 step으로 경사하강법을 함 ( takes too long, stops at local m

2021년 6월 28일
·
0개의 댓글
·