Weight initialization in Pytorch

Weight initialization은 딥러닝 model의 parameter학습을 원활하기 위해 사용된다. activation function에 따라 다른 initialization을 사용하기도 한다.

for i in model.modules():
    if isinstance(i, (nn.Conv2d, nn.Linear)):
        nn.init.normal_(i.weight)
        if i.bias is not None:
        	nn.init.constant_(i.bias)