Pytorch initializer 정리

nn.init의 주요 기능 정리

input tensor를 uniform distribution(a,b범위에서 모든 값이 균일한 분포)로 초기화

nn.init.uniform_(input,a=0.0,b=0.1)

input tensor를 N(mean,str^2)의 정규분포에 따라 초기화

nn.init.normal_(input,mean=0.0,std=0.1)

input tensor를 val값으로 채운다.

nn.init.constant_(input,val)

input tensor를 스칼라 1로 채운다.

nn.init.ones_(input)

input tensor를 스칼라 0으로 채운다.

nn.init.zeros_(input)

input tensor(2차원)를 단위 행렬로 채운다.

nn.init.eye_(input)

input tensor를 xavier 초기값으로 U(-a, a)의 균일분포를 갖는다.

nn.init.xavier_uniform_(input,gain=1.0)

input tensor가 xavier초기값으로 N(0,std^2)의 분포를 갖는다.

nn.init.xavier_normal_(input,gain=1.0)

input tensor가 He초기값으로 U(-bound,bound)의 균일분포를 갖는다.

nn.init.kaiming_iniform_(input, mode='fan_in', nonlinearity='leaky_relu')

input tensor가 He초기값으로 N(0,std^2)의 정규분포를 갖는다.

nn.init.kaiming_normal_(input, mode='fan_in', nonlinearity='relu')

파라미터들의 default값