# Vanishing gradient

총 8개의 포스트

Skip-Connection

Deep Neural Network에서 고질적인 문제 중 하나가 Vanishing Gradient이다. 이 문제를 해결하기 위해서 batch normalization도 하고, weight initialization에도 신경을 쓰는 것이다. Vanishing Gradie

2023년 8월 11일

0개의 댓글

yoonene

Sigmoid와 tanh의 Vanishing Gradient 문제를 수식과 함께 설명 & 해결 방법

Q: Sigmoid와 tanh의 Vanishing Gradient 문제를 수식과 함께 설명 & 해결 방법

Vanishing gradient 면접준비 활성화함수

2022년 12월 12일

0개의 댓글

coral2cola

Problem Setting and Regularization

training을 하기 위해서 결정해야 할 것들이 정말 많지만 각 hyperparameter 사이에 dependency가 있기 때문에 guess가 매우 어렵다. 그렇기 때문에 실제로 machine learning은 굉장히 반복적인 작업이다. Dataset 좋은 cho

Bias Data augmentation K-fold Cross Validation Normalizing Regularization Vanishing gradient Variance dataset dropout regularization early stopping exploding gradient high bias high variance hyperparameter normalize overfitting regularization parameter underfitting weight decay

2022년 4월 17일

0개의 댓글

coral2cola

Activation Functions

Activation Functions logistic regression에서 linear transformation 결과에 적용한 non-linear transformation인 sigmoid함수가 activation function에 해당된다. activation f

Activation Functions Deep Learning ELU Leaky ReLu Neural Network PReLu ReLU Tanh Vanishing gradient sigmoid

2022년 4월 16일

0개의 댓글