# Optimizer

10개의 포스트
post-thumbnail

1.1 Artificial intelligence, machine learning and deep learning

AI ML Learning representation from data The "deep" in deep learning Understanding how deep learning works, in 3 figures What deep learning has ac

2021년 9월 16일
·
0개의 댓글
post-thumbnail

AI Tech - Optimization

용어에 대해 명확한 개념을 잡고 넘어가자.Gradient Descent줄어들었을 때, optimal에 이를 것이라 기대하는 loss function parameter로 , loss function을 편미분한 값으로 학습local minimum을 찾는다.imageGene

2021년 8월 13일
·
0개의 댓글
post-thumbnail

Optimizer 실습

matplotlib와 같은 출력물의 해상도를 retina로 설정본래 의도한 함수의 그래프는 위와 같다. 해당 그래프에 노이즈를 추가해보자.노이즈는 위 코드에 서술됐듯이, np.random.randn()에 작은 실수값인 3e-2를 곱해줘서 구현된다.500번째, 3500번

2021년 8월 10일
·
0개의 댓글

Optimizer 3

Gradient descent가 발전해온 방향은 크게 두 가지가 있다. 첫 번째는 물리법칙을 따르는 방법. 두 번째는 학습을 거듭할수록 일정비율로 학습률을 줄여서 global minima를 지나가지 않게 하는 방법이다.

2021년 7월 7일
·
0개의 댓글

Optimizer 2

Gradient descent가 발전해온 방향은 크게 두 가지가 있다. 첫 번째는 물리법칙을 따르는 방법 두 번째는 학습을 거듭할수록 일정비율로 학습률을 줄여서 global minima를 지나가지 않게 하는 방법이 그것이다.

2021년 7월 7일
·
0개의 댓글

Optimizer 1

Gradient descent가 발전해온 방향은 크게 두 가지가 있다. 첫 번째는 물리법칙을 따르는 방법, 두 번째는 학습을 거듭할수록 일정비율로 학습률을 줄여서 global minima를 지나가지 않게 하는 방법이 그것이다.

2021년 7월 7일
·
0개의 댓글

[Deep Learning] Optimizers

딥러닝 파트를 시작하면서 전에 아무 생각없이 쓰던 adam optimizer, RMSprop에 대해 정리해보려고 한다. 딥러닝 모델을 만들면서 optimizer에 대해서 무지한채 사용만 해왔던 것 같다. 정말 많은 optimizer들이 있겠지만 그 중에서 가장 기본이

2021년 6월 9일
·
0개의 댓글

인공신경망-2

Artificial Neural Network

2021년 6월 9일
·
0개의 댓글
post-thumbnail

[Optimizer 정리]

BGD SGD MBGD exponentially weighted averages Momentum RMSprop Adam AMSGrad

2021년 2월 21일
·
0개의 댓글