ch.6 학습 관련 기술들(1)

pasongtak·2024년 5월 15일

밑바닥부터 시작하는 딥러닝

딥러닝

목록 보기

7/11

매개변수 갱신

매개변수의 최적값을 찾는 문제를 푸는 것을 최적화라고 한다.

확률적 경사 하강법(SGD)

최적의 매개변수 값을 찾는 단서로 매개변수의 기울기를 이용해, 기울어진 방향으로 매개변수 값을 갱신하는 일을 반복해 최적의 값에 다가가는 방법을 확률적 경사 하강법(SGD)라고 한다.

class SGD:
	def __init__(self, lr=0.01):
    	self.lr = lr
        
    def update(self, params, grads):
    	for key in params.keys():
        	params[key] -= self.lr * grads[key]

SGD 단점

SGD에 의한 최적화 갱신 경로

SGD의 단점은 비등방성 함수에서 탐색 경로가 비효율적이라는 것이다. 비등방성 함수에서 SGD는 정확한 방향을 가리키지 못하고 기울어진 방향이 지그재그로 가리킨다.

모멘텀

모멘텀은 운동량을 뜻하는 단어이다.

class Momentum:
	def __init__(self, lr=0.01, momentum=0.9):
    	self.lr = lr
        self.momentum = momentum
        self.v = None
        
    def update(self, params, grads):
    	if self.v is None:
        	self.v = {}
            for key, val in params.items():
            	self.v[key] = np.zeros_like(val)
                
        for key in params.key():
        	self.v[key] = self.momenturm*self.v[key] - self.lr*grads[key]
            params[key] += self.v[key]

인스턴스 변수 v -> 물체의 속도

모멘텀에 의한 최적화 갱신 경로

SGD보다 x축 방향으로 빠르게 다가가 지그재그의 정도가 덜한 것을 볼 수 있다.

AdaGrad

신경망 학습에서 학습률이 너무 작으면 학습 시간이 너무 길어지고, 너무 크면 발산하여 학습이 제대로 이루어지지 않는다.

학습률 감소는 처음에는 크게 학습하다가 조금씩 작게 학습하는 방법이다.
AdaGrad는 각각의 매개변수에 맞춤형 값을 만들어서 매개변수 전체의 학습률 값을 일괄적으로 낮춘다.
AdaGrad는 개별 매개변수에 적응적으로 학습률을 조정하면서 학습을 진행한다.

매개변수의 원소 중에서 많이 움직인 원소는 학습률이 낮아진다. 즉 학습률 감소가 매개변수의 원소마다 다르게 적용된다.

 class AdaGrad:
 	def __init__(self, lr=0.01):
    	self.lr = lr
        self.h = None
        
    def update(self, params, grads):
    	if self.h is None:
        	self.h = {}
        for key, val in params.items():
        	self.h[key] = np.zeros_like(val)
            
    for key in params.keys():
    	self.h[key] += grads[key] * grads[key]
        params[key] -= self.lr * grads[key] / (np.sqrt(self.h[key]) + 1e-7)