RL

강화학습 커리큘럼!

L1, L2 Loss L1 Loss L1 Loss의 경우, 'V' 형태로 미분 불가능한 지점이 있지만 상대적으로 L2 Loss에 비해 이상치에 대한 영향은 적다. L2 Loss L2 Loss의 경우, 'U' 형태로 모든 지점에서 미분 가능하지만, 이상치의 에러가 제곱

정의 그래디언트 클리핑은 역전파가 될 때, 일정 임계값을 넘어서지 못하도록 기울기 값을 자르는 방법 임계치만큼 크기를 감소시켜 학습의 안정화를 도모하는 것 그래디언트 클리핑은 주로 그래디언트의 L2 norm으로 나눠주는 방식을 이용함 참고 기울기 소실과 폭주 (Gradient Vanishing & Exploding)

정의 그래디언트 클리핑은 역전파가 될 때, 일정 임계값을 넘어서지 못하도록 기울기 값을 자르는 방법 임계치만큼 크기를 감소시켜 학습의 안정화를 도모하는 것 그래디언트 클리핑은 주로 그래디언트의 L2 norm으로 나눠주는 방식을 이용함 참고 기울기 소실과 폭주 (Gradient Vanishing & Exploding)