Deep Learning
1.[CNN]Vanishing Gradient - Weight initialization
깊은 레이어로 Neural Network를 구성하게 되면 Vanishing gradient 현상이 발생한다.주로 Activation Function으로 사용하는 Sigmoid function을 미분하면 위 사진과 같은 붉은 함수로 그려지는데 최댓값이 0.25 언저리이다
2023년 5월 16일
깊은 레이어로 Neural Network를 구성하게 되면 Vanishing gradient 현상이 발생한다.주로 Activation Function으로 사용하는 Sigmoid function을 미분하면 위 사진과 같은 붉은 함수로 그려지는데 최댓값이 0.25 언저리이다