정의

• 그래디언트 클리핑은 역전파가 될 때, 일정 임계값을 넘어서지 못하도록 기울기 값을 자르는 방법
• 임계치만큼 크기를 감소시켜 학습의 안정화를 도모하는 것
• 그래디언트 클리핑은 주로 그래디언트의 L2 norm으로 나눠주는 방식을 이용함
  
  
  

참고

• 기울기 소실과 폭주 (Gradient Vanishing & Exploding)