최적화와 신경망 학습

ingeol·2023년 2월 11일

목록 보기

1/2

학습 : 훈련 데이터로부터 가중치 매개변수의 최적값을 자동으로 획득하는 것

손실함수 (Loss Function, Cost Function) : 알고리즘이 예측한 값과 실제 정답의 차이를 비교하기 위한 함수 → 최적화(Optimization)를 위해 최소화 하는 적이 목적인 함수

위 그림의 수식을 먼저 정리하면

w^{(0)} = 0번째 layer에서 나오는 가중치 = 계층번호

w_{10} = 1node에서 다음 Layer 0번node로 가는 가중치

z_{m}^{(1)} =w_{1m}^{(1)}\times x_{1}+w_{2m}^{(1)}\times x_{2}+...+w_{nm}^{(1)}\times x_{n}

activation function= a_{m}^{(1)} = sigmoid(z_{m}^{(1)}) = x^{(2)}_{m}

위의 두 개 수식 정리 : z 는 직전 Layer n에서 m으로 가는 방향을 가질때 1번 Layer m번 째 Node를 표현한 식. → 직전 Node의 웨이트와 값의 곱과 전체 시그마로 표현 가능

밑에 Activation Function은 활성화 함수로 분류에는Sigmoid 와 Softmax 함수를 사용함. 이때 a를 다음 Node로 향하는 Weight(w)와 곱할 x값이라고 생각

z^{(2)}_{0} = w^{(2)}_{10} \times x^{(2)}_{1}+w^{(2)}_{20} \times x^{(2)}_{2}+...+w^{(2)}_{m0} \times x^{(2)}_{m}

y = Identity(z^{(2)})

Loss function=J(y) = \frac{1}{N} \sum ||t-y||^{2}_{2}

위의 3개 수식 정리 : 직전 레이어 2에서 마지막 한개의 Node로 가는 것을 표현. 마지막 Node에는 Activation Function을 적용하는 것 이 아닌 Identity function을 사용해서 표현

마지막 식은 Loss function을 나타낸 식

min(J(y)) = min(\frac{1}{N} \sum ||t-y||^{2}_{2})

회귀 문제를 예로 보면 타깃과 예측값의 오차를 최소화하는 파라미터를 찾는 것

파라미터 : 수학과 통계학에서 어떠한 시스템이나 함수의 특정한 성질을 나타내는 변수.

최적화의 원리 : 현재 위치에서 함수값이 감소 하는 방향으로 조금씩 파라미터 값을 이동해 나가는 것. 가장 중요한 문제는 Local minima 문제와 어느 방향으로 내려갈 것인지, 얼마 만큼 이동할 것인지이다. Global minima에 다다르는 것이 최종 목표

특징 : 진행하던 속도의 관성과 동시에 곡면 변화량에 적응적 학습률을 갖는 알고리즘, 초기 가중치 편향(학습률이 급격하게 올르는 것) 을 해결함.

딥러닝