Weight Decay

OpenJR·2023년 8월 31일

WD는 LR과 곱하여 10-5~10-6사이가 되도록 하는 것이 국룰이다.

또한, 논문에 따르면 에포크 길이에 따라 적절한 WD 상수의 값이 다르다고 한다. 에포크가 길어질수록 최적의 WD 상수값은 작아진다고 한다.

profile
Jacob

0개의 댓글