# Optimizer

21개의 포스트
post-thumbnail

[SQL] Optimizer, index

옵티마이저 인덱스 ![](https://velog.velcdn.com/images/combi_ar

2022년 8월 17일
·
0개의 댓글
·
post-thumbnail

Optimizers: SGD with Momentum, NAG, Adagrad, RMSProp, AdaDelta, and ADAM

최적의 예측 모델을 만들기 위해서는 실제값과 예측값의 error를 나타내는 cost function $J(\\theta)$가 최소가 되어야 한다. Cost function을 최소화시키는 최적의 파라미터를 찾기 위해 여러 Optimizer가 고안되고 있으며, 가장 기본적

2022년 7월 15일
·
0개의 댓글
·
post-thumbnail

오라클의 메모리 동적할당 및 Optimizer

1. Conventional vs Direct 이는 우리가 앞에서 자주 다루었던 내용과 같다. Conventional path 는 서버 프로세스가 버퍼 캐시에서 데이터를 가져와 CRUD 작업을 하는 것을 말하며 이는 index를 경유한 Access 즉 Random A

2022년 7월 3일
·
0개의 댓글
·

[Deep Learning] 딥러닝 학습

딥러닝 학습에 관련된 내용

2022년 5월 14일
·
0개의 댓글
·
post-thumbnail

[NLP] BertAdam optimizer 의 개념 & Adam 과의 차이점 정리!

Hi! I'm Jaylnne. ✋오늘은 BERT 모델을 공부하던 중 BERTAdam이라는 독특한 옵티마이저(optimizer)를 접하게 되어서 이것에 대해 정리해보고자 글을 써보기로 했습니다.아래 huggingface 깃헙 링크에 BERTAdam 뿐만 아니라 pytor

2022년 5월 6일
·
0개의 댓글
·
post-thumbnail

Optimizer 종류 및 정리

Batch Gradient DescentStochastic Gradient DescentMomentumNesterov Accelerated Gradient (NAG)AdagradRMSpropAdamAdabelief우리가 알고 있는 딥러닝 모델의 모습은 다음과 같습니다.

2022년 4월 29일
·
0개의 댓글
·
post-thumbnail

DB 색인(Index) 검색

책갈피를 꽂아보자, index

2022년 4월 24일
·
0개의 댓글
·
post-thumbnail

Neural Network Optimizer(Momentum, AdaGrad, RMSprop, Adam)

신경망 학습의 목적은 손실 함수의 값을 가능한 한 낮추는 매개변수를 찾는 것이다. 이는 곧 매개 변수의 최적값을 찾는 문제이며, 이러한 문제를 투는 것을 최적화(optimization)이라 한다.Optimizer는 optimization을 하기위해 보다 최적으로 gra

2022년 4월 3일
·
0개의 댓글
·

Decoupled Weight Decay

"L2 regularization과 weight decay는 같다." 많은 자료에서 이렇게 소개한다. tensorflow와 pytorch에서도 두 가지를 혼용해서 구현하고 있다. 여기에 그렇지 않다고 주장한 연구자들이 나왔다.

2022년 3월 4일
·
0개의 댓글
·

SGDR

모델을 generalize하는데 많은 시간이 들어간다. 좀 다른 말로 overfitting을 막는 일이다. 특히 optimizer로 해결하는 방법에는 L2 regularization, weight decay가 있다고 알려져 있지만 잘 쓰기란 쉽지 않다.

2022년 2월 28일
·
0개의 댓글
·

Deep Learning - 딥러닝 이론 정리 3-1 (optimizer 정리)

신경망 모델을 최적화 하는데 필요한 파라미터.모델 별로 학습하는 데이터, 노드, 레이어가 모두 다르고, 궁극적으로 해결하고자 하는 문제도 다르기 때문에 그 모든 요건에 맞춰 적절한 옵티마이저를 통해 최적화 해야한다.가장 기본이 되는 최적화 기법으로 경사를 따라 내려가면

2021년 10월 20일
·
0개의 댓글
·
post-thumbnail

1.1 Artificial intelligence, machine learning and deep learning

AI ML Learning representation from data The "deep" in deep learning Understanding how deep learning works, in 3 figures What deep learning has ac

2021년 9월 16일
·
0개의 댓글
·
post-thumbnail

AI Tech - Optimization

용어에 대해 명확한 개념을 잡고 넘어가자.Gradient Descent줄어들었을 때, optimal에 이를 것이라 기대하는 loss function parameter로 , loss function을 편미분한 값으로 학습local minimum을 찾는다.imageGene

2021년 8월 13일
·
0개의 댓글
·
post-thumbnail

Optimizer 실습

matplotlib와 같은 출력물의 해상도를 retina로 설정본래 의도한 함수의 그래프는 위와 같다. 해당 그래프에 노이즈를 추가해보자.노이즈는 위 코드에 서술됐듯이, np.random.randn()에 작은 실수값인 3e-2를 곱해줘서 구현된다.500번째, 3500번

2021년 8월 10일
·
0개의 댓글
·

Optimizer 3

Gradient descent가 발전해온 방향은 크게 두 가지가 있다. 첫 번째는 물리법칙을 따르는 방법. 두 번째는 학습을 거듭할수록 일정비율로 학습률을 줄여서 global minima를 지나가지 않게 하는 방법이다.

2021년 7월 7일
·
0개의 댓글
·

Optimizer 2

Gradient descent가 발전해온 방향은 크게 두 가지가 있다. 첫 번째는 물리법칙을 따르는 방법 두 번째는 학습을 거듭할수록 일정비율로 학습률을 줄여서 global minima를 지나가지 않게 하는 방법이 그것이다.

2021년 7월 7일
·
0개의 댓글
·

Optimizer 1

Gradient descent가 발전해온 방향은 크게 두 가지가 있다. 첫 번째는 물리법칙을 따르는 방법, 두 번째는 학습을 거듭할수록 일정비율로 학습률을 줄여서 global minima를 지나가지 않게 하는 방법이 그것이다.

2021년 7월 7일
·
0개의 댓글
·

[Deep Learning] Optimizers

딥러닝 파트를 시작하면서 전에 아무 생각없이 쓰던 adam optimizer, RMSprop에 대해 정리해보려고 한다. 딥러닝 모델을 만들면서 optimizer에 대해서 무지한채 사용만 해왔던 것 같다. 정말 많은 optimizer들이 있겠지만 그 중에서 가장 기본이

2021년 6월 9일
·
0개의 댓글
·

인공신경망-2

Artificial Neural Network

2021년 6월 9일
·
0개의 댓글
·