# AdamW
총 3개의 포스트
[kaggle] - 병든 잎사귀 식별
캐글의 병든 잎사귀 식별 경진대회 'Plant Pathology 2020 - FGVC7' compeition에 참가해 여러 딥러닝 모델 성능 향상 기법을 연습해보았다.여러 잎사귀 사진을 보고, 딥러닝 모델을 활용해 잎사귀가 어떤 질병에 걸렸는지 식별하는 다중분류 문제이
2022년 12월 5일
·
0개의 댓글·
0
Decoupled Weight Decay
"L2 regularization과 weight decay는 같다." 많은 자료에서 이렇게 소개한다. tensorflow와 pytorch에서도 두 가지를 혼용해서 구현하고 있다. 여기에 그렇지 않다고 주장한 연구자들이 나왔다.
2022년 3월 4일
·
0개의 댓글·
0
AdamW, L2 regularization, weight decay
L2 regularization에 대하여 자세한 정보를 찾아보던 중 좋은 글을 찾았다. AdamW의 논문에 대한 분석으로 총 2페이지로 구성이되어 있었다. L2 regularization과 weight decay에 대한 자세한 설명과 이로 인해 AdamW가 나오게 된 이유로 그림과 수식들을 통해 설명되어있다. https://hiddenbeginner....
2021년 2월 12일
·
0개의 댓글·
0