Regularization

Label Smoothing

Augmentation의 방법론 중 하나로 일반적으로 노이즈를 주거나 rotate, crop과 다르게 input을 섞거나 편집해서 output이 0, 1이 아니라 0.5, 0.5 형식으로 soft labels을 갖게해 성능을 올리는 방법이다.

Dropout

레이어의 신경망을 랜덤으로 비활성화하는 방식

Batch Normalization

batch로 들어온 데이터를 정규하시키는 방식. Internal Covariant Shift를 일반적으로 줄여준다. 비슷하게Layer Norm, Instance Norm 등도 있다.