# Cyclical Learnig Rate
총 1개의 포스트
Cyclical Learning Rate
Prologue 모델학습에서 가장 중요한 hyperparameter 하나를 고르라면 learning rate를 고를 거다. 과제마다, 모델구조마다, optimizer마다, 학습데이터마다 요구하는 learning rate가 달라서 연구자들에게도 optimal learning rate를 찾는 게 쉬운 일은 아니다. Andrej Karpathy는 이런 농담도 했다. 3e-4 is the best learning rate for Adam, hands down.— Andrej Karpathy (@karpathy) November 24, 2016 <script async src="https:
2021년 11월 22일
·
0개의 댓글·
0