AdamW, L2 regularization, weight decay

L2 regularization에 대하여 자세한 정보를 찾아보던 중 좋은 글을 찾았다.

AdamW의 논문에 대한 분석으로 총 2페이지로 구성이되어 있었다.

L2 regularization과 weight decay에 대한 자세한 설명과 이로 인해 AdamW가 나오게 된 이유로 그림과 수식들을 통해 설명되어있다.

https://hiddenbeginner.github.io/deeplearning/paperreview/2019/12/29/paper_review_AdamW.html