# Optimizer
Oracle Optimizer 관점에서 알아보는 Hash Join Hint의 쿼리 성능 저하 원인
Why using Hash Join cause perfomance degradation; The Oracle Optimizer's perspective
논문번역: MADGRAD
인공신경망 훈련은 반복계산과 역전파를 통한 gradent descent를 통해 모델을 최적화 해왔습니다. 기본적으로 너무 큰 계산 범위기 때문에 모델 최적화는 여러 어려움에 직면합니다. 이를 효율적으로 진행하기 위해 여러 방법이 개발되었는데, 근본중의 근본이 SGD를
Gradient Descent Methods
Stochastic gradient descent한 번에 하나의 샘플 데이터만 보고 이에 대해 gradient 구하고 업데이트 하겠다.Mini-batch gradient descentbatch-size 만큼의 샘플 데이터를 보고 이에 대해 gradient를 구하고 업데
딥러닝 - 6
loss 가 가장 작아지는 지점을 찾는 방법함수의 기울기 를 구하여 함수의 극값에 이를 떄까지 기울기가 낮은 쪽으로 이동하는 방법 $$W(t+1) = W(t) - α ∂/∂w Cost(w)$$경사 하강법에서 얼만큼 이동할것인지에 대한 정보 경사 하강법에서 learn
[딥러닝] 옵티마이저 (Optimizer)
🥇 지호의 옵티마이저 요약본 ✔ 옵티마이저란? 손실 함수 (Loss Function)의 결과를 최소로 해주는 모델의 파라미터 (가중치)를 찾는 알고리즘을 의미 옵티마이저의 시작 Gradient Descent Loss Function 의 값이 작아지는 방향으로 가중치를 업데이트 하며 Loss Function을 최소화하는 가중치를 찾아가는 방법 ...
Optimizer
딥러닝에서 Network가 빠르고 정확하게 학습하는 것을 목표로 해서 Gradient Descent algorithm을 기반으로한 SGD에서 변형된 여러 종류의 Optimizer가 사용된다.$w\_{t+1} = w_t - \\eta \\nabla_w J(w_t)$SGD
Optimizer(옵티마이저)
💡 손실 함수에 손실 점수에 따라 가중치를 조절해주는 역할을 한다.손실 함수를 줄여나가면서 학습하는 방법은 어떤 옵티마이저를 사용하는 지에 따라 달라진다. ✔️ 종류 1. 경사하강법(Graient Descent) : 기울기가 0에 가까워지는 점을 찾는다.
Optimizer
최근에 연구 실험을 진행을 하는데 이전까지는 Optimizer를 그저 gradient를 최적화 해주는 도구로써 여겼었다. 하지만 torch에 optimizer.load_state_dict()가 있어서 Optimizer에도 업데이트 되는 부분이 있는건가 싶어서 연구미팅에
[DB] Query Plan
쿼리 플랜(Query Plan) 위키백과쿼리 플랜(query plan) 또는 쿼리 실행 계획(query execution plan)은 SQL 관계형 데이터베이스 관리 시스템의 데이터 접근에 사용되는 순서가 있는 단계별 집합이다.SQL이 선언형이기 때문에 주어진 쿼리를
CS231n Lecture 7
Lecture 7은 성능을 올리기 위한 여러 방법들을 알려준다.가장 기본 Gradient Descent 이며 mini-batch 단위로 끊어서 loss를 계산하고 parameters를 업데이트 한다.gradient 방향이 굉장히 크게 튀기 때문에 Zigzag path로
[딥러닝 기초 다지기] - 최적화
부스트코스 강의 딥러닝 기초 다지기 중 '최적화의 주요 용어 이해하기, Gradient Descent Methods, Regularization'를 정리한 내용이다.GeneralizationTraining error가 0에 가까워도 test error가 커 genera