Adam은 만능 optimizer처럼 사용된다. 하지만 일부 task, 특히 컴퓨터 비젼 task에서는 momentum을 포함한 SGD에 비해 일반화가 많이 뒤쳐진다는 결과들이 있다. AdamW를 소개한 논문 “Decoupled weight decay regularization”에서는 L2 regularization과 weight decay 관점에서 Ad...
배치 정규화