RMSProp

• RMSProp은 기울기 하강(Gradient Descent) 기반의 최적화 알고리즘 중 하나로, 주로 비선형 최적화 문제를 해결하는 데 사용됩니다.
• RMSProp은 "Root Mean Square Propagation"의 약자로, 기울기 업데이트에 변화율을 고려하여 학습률을 조절하는 방식

RMSProp의 주요 아이디어

• 이동평균 사용: RMSProp은 기울기(gradient)를 이동평균(moving average)으로 계산합니다. 이를 통해 기울기의 큰 변동을 완화하고 안정적인 업데이트를 가능하게 합니다.
• 학습률 조절: RMSProp은 각각의 모델 파라미터에 대해 서로 다른 학습률을 적용합니다. 이때, 많이 변화한 파라미터는 학습률을 감소시키고, 적게 변화한 파라미터는 학습률을 증가시켜 더 안정적인 학습을 돕습니다.

RMSProp의 주요 이점

• 안정적인 학습: RMSProp은 기울기의 큰 변동을 제어하고, 모델 파라미터의 학습률을 적절하게 조절함으로써 안정적인 학습을 가능하게 합니다.
• 하이퍼파라미터 튜닝 간소화: RMSProp은 학습률을 자동으로 조절하므로, 학습률을 조절하기 위한 하이퍼파라미터 튜닝의 필요성을 줄여줍니다.
• 수렴 속도 향상: RMSProp을 사용하면 일반적으로 빠른 수렴을 얻을 수 있으며, 특히 활성화 함수가 양수와 음수 모두를 가지는 경우에 유용합니다.