🟢 Introduction

기울기 소실의 문제(Vanishing gradient)

기울기 소실의 문제는 part13. 오차역전파의 과정에서 이러한 문제가 발생한다.

오차 역전파에 대해서 생각해보자.

단순하게 오차역전파를 재 정리한다면, 최종적으로 나온 $Loss$를 편미분한 값을 계속해서 뒤로 미분 또 미분하여 update에 사용하도록 전달하는 방식이다.

💥 하지만 여기서 문제가 발생한다.

이러한 은닉층이 깊어지면 깊어질수록 최종적인 Loss가 크더라도, 앞쪽의 입력층과 가까운 은닉층의 weight에는 "미분 또 미분 또 미분한 값"이 최종적으로 전달된다.

즉, update가 사실상 안 일어는것과 동일한 "매우 작은 값"이 전달된다.

예를 들어보겠다.

ex)
100개의 Layer가 있다고 가정했을 때, 각 $w_0$~$w_{100}$의 업데이트를 생각해보자.
100번째 $w$의 경우, $w = w + lr * {dL \over dw_{100}}$는 미분이 1번 발생하므로 그대로 update해 줄 값이 전달 될 것이다.
하지만, 1번째 즉, 입력층과 가장 가까운 layer의 weight의 경우${dL \over dw_{1}}$는 Chain rule에 의거하여 100번의 미분이 수행된 것과 같으므로, 그 값이 깨지고 지워지고 부셔지고 세상만사 다 겪었을 것이다.

그렇기에 앞쪽으로 갈수록 weight의 update가 정상적으로 수행되지 않는 기울기 소실의 문제가 나타난다.

🔎 기울기 소실의 원인

이러한 기울기의 소실이 발생하는 원인은 무엇일까?

미분이 일어나는 것만으로도 값이 점점 작아진다는 것은 느낌이 왔을 것이다.

그럼 대체 어떤 함수를 미분했길래 값이 점점 작아지게 된것일까?

앞서, MLP를 배울 때, 각 유닛(Node)들은 하나의 이진 분류기라고 설명했다.
즉, 기본적으로 Sigmoid함수를 마지막에 통과한다는 것이다.

sigmoid 함수를 살펴보자.

• Sigmoid함수(파랑), Sigmoid함수의 미분(주황)
  

주황색 그래프가 보이는가?
sigmoid함수를 미분한 $f'(x)$의 값은 최대치가 0.25정도 밖에 되지 않는다.

층을 쌓으면 쌓을수록 update되는 값이 0.25 x 0.25 x 0.25 x 0.25 x 0.25 x 0.25 ....쭉...
그렇게 점차 0에 수렴하게 되고, 결과적으로 제대로된 학습이 이루어 질 수 없다.

활성함수의 종류

ReLU

이를 해결하기 위해서 나온 함수가 바로 ReLu이다.

다음과 같은 활성함수의 종류가 여러가지 있지만, 가장 많이 사용되는 ReLu에 대해서 집중적으로 설명한다.

ReLu(이하 렐루)함수는 입력값이 양수일 경우, 입력값에 상관없이 항상 동일한 미분 값 1을 가진다.

따라서, 입력값만 양수라면 Gradient값이 사라지지 않는다.
하지만 보다시피 입력값이 음수라면 미분값이 항상 0이므로 뉴런이 그대로 죽어버리게 되는 문제가 발생한다.(더이상의 update가 이루어 지지않음)

Leaky ReLU

이러한 문제를 해결하기 위한 방법이 바로
Leaky ReLU함수이다.

음수일때의 출력값을 0이 아닌 0.001과 같은 매우 작은 값을 사용해서, 음수라 하더라도 Gradient값이 0에 도달하지 않으므로 뉴런이 죽는것을 막을 수 있다.

하지만 실제 모델에는 Leaky ReLU는 잘 사용하지 않는다. 왤까?

렐루의 연산 처리에서의 간단함(임계값에 의해 0보다 크면 y=x값 그대로, 작으면 0 반환)이라는 장점 때문이다.

이러한 간단함을 바탕으로 속도면에서 매우 빠른 반면, Leaky ReLU는 0보다 작은 값에 대해서 $a$작은 값의 하이퍼파라미터를 곱해 줘야하므로, 속도가 느리다.

딥러닝 모델의 구분

• lRestricted Boltzmann Machine
• lAutoencoders
• lConvolutional Neural Network
• lRecurrent Neural Network
• lGenerative Adversarial Network
• lWord2vec

기계학습의 패러다임 변화

고전적인 기계학습과 현대적인 기계학습으로 나뉜다.

고전적인 기계학습

사용자가 직접 특징(feture)를 선정하고, 분류기만 선택하여 학습시켰다.

데이터 베이스 구축 👉 사용자가 직접 특징을 설계 👉 분류기 모델을 선택 👉 모델 학습 👉 평가

현대적인 기계학습

현대적인 기계학습은 특징을 사용자가 아닌 모델이 직접 설계한다.

즉, 데이터 베이스 구축 👉 분류기 모델 선택 👉 특징 설계 및 학습 👉 성능 평가