# Super converge

1개의 포스트

Cyclical Learning Rate

Prologue 모델학습에서 가장 중요한 hyperparameter 하나를 고르라면 learning rate를 고를 거다. 과제마다, 모델구조마다, optimizer마다, 학습데이터마다 요구하는 learning rate가 달라서 연구자들에게도 optimal learning rate를 찾는 게 쉬운 일은 아니다. Andrej Karpathy는 이런 농담도 했다. 3e-4 is the best learning rate for Adam, hands down.&mdash; Andrej Karpathy (@karpathy) November 24, 2016 <script async src="https:

2021년 11월 22일
·
0개의 댓글
·