투빅스 14기 정세영

RNN의 vanishing gradient와 여러 변형된 모델에 대해 개념을 자세히 짚을 수 있는 강의였습니다. 여러 시각적인 자료를 추가해주셔서 이해하기 수월했습니다.

• RNN의 BPTT 미분 수식을 보면 Wh가 vanishing gradient의 주원인이 되는데, 이 때 Cauchy-Schwartz 부등식에 의해 Wh의 L2-norm은 Wh의 가장 큰 고유값이다.
• vanishing gradient가 발생하면 정말 의존성이 없어서 소실된건지 구조의 문제로 인해 소실된건지 구분할 수가 없다.
• LSTM의 forget gate는 cell state를 사용하지 않는다. forget gate에 cell state가 들어가게 되면 미분 결과 vanishing gradient가 똑같이 발생하기 때문에, cell state는 정보를 받기만 하는 주체이다.
• vanishing gradient 해결 방법론이 등장한 모델로 ResNet과 DenseNet이 있는데, Skip connection을 적용하는 ResNet과 달리 DenseNet은 이전 모든 레이어의 정보를 가져가는 형태이다.

투빅스 14기 한유진

• RNN에서 vanishing gradient가 문제가 되는 이유는 long-term effects를 무시한다는 점, gradient가 무엇때문에 0이 되었는지 구분할 수 없다는 점 때문입니다. 이를 보완하기 위해 나온 모델이 LSTM입니다.
• LSTM은 정보를 저장하는 메모리를 따로두어 gradient를 살리자는 idea로 출발한 모델입니다. 이전 정보를 지속적으로 흘려주는 cell state는 forget, input, output gate들을 이용하여 정보의 반영여부를 결정합니다. forget gate는 어떤 정보를 잊고 어떤정보를 cell에 흘려넣을지 결정하는 gate, input gate는 새로운 정보가 cell에 저정될지 결정하는 gate, output gate출력값을 반환하는 gate입니다. LSTM의 구조를 단순화하여 등장한 모델이 GRU입니다.
• GRU는 이전 정보를 어느정도 반영할지를 결정하는 reset gate와 과거와 현재의 정보 반영 비중을 결정하는 update gate(forget gate + input gate; in LSTM), 총 2개의 gate로 이루어져있습니다. LSTM과 비교해보자면 GRU는 파라미터가 적어 빠른학습이 가능하지만 보통 LSTM을 먼저 사용한다고 합니다.
• vanishing gradient 문제를 ResNet에서는 skip connection으로 극복했습니다. 과거의 학습 내용 보존하면서 추가적으로 학습하는 정보를 통해 gradient가 사라지는 현상을 해결했습니다. DenseNet에서는 ResNet과 달리 이전 모든 레이어 정보를 쌓는 방법으로 해결했습니다. HighwayNet은 Transform gate와 carry gate를 사용하여 output이 input에 대해 얼마나 변환되고 옮겨졌는지 표현함으로써 해결하는 방식이라고 합니다.

LSTM의 작동방식을 세세하게 짚어주시고 질문에도 잘 답변해주셔서 쉽게 이해할 수 있었습니다. 좋은 강의 감사합니다!

투빅스 15기 이수민

• Vanishing gradient 문제가 발생할 경우 우선 long-term effect를 무시하게 되고, gradient가 너무 작아져서 0에 가까워지는 경우, 그 원인을 해석하는 데에 어려움이 발생합니다.
• LSTM: RNN과 다르게 forget gate, input gate, output gate를 만들고 유지해서, cell state를 판단/제어하고 vanishing gradient 문제를 완화합니다. 이때 cell state는 긴 timestep 동안 데이터를 유지할 수 있도록 해주는 정보 저장 메모리라고 볼 수 있습니다.
• GRU는 LSTM의 복잡도를 낮춰 제안된 조금 더 간단한 형태로, cell state가 존재하지 않는 대신 hidden state에 정보를 유지합니다.
• ResNet에서는 skip connection을 적용하여 기존 정보와 새로운 학습정보를 모두 고려할 수 있도록, DenseNet에서는 이전 모든 레이어 정보를 쌓는 방법으로 vanishing gradient 문제를 해결했습니다.
• RNN variants: Bidirectional RNN을 사용하면 문장을 단방향으로 읽을 때와 다르게 앞 뒤 문맥이 고려 가능하며, 특히 전체 입력 데이터를 모두 활용할 수 있을 때 성능이 극대화됩니다. MultiLayer RNN은 여러 층으로 구성된 RNN으로, 고차원의 패턴과 더 복잡한 특성을 잡아낼 수 있습니다.

Vanishing gradient 문제의 발생과 해결에 대해 다양하고 깊이 있게 알게 된 강의였습니다. 특히 어렵게 느껴졌던 LSTM에 대해 자세하게 설명해 주셔서 좋았습니다. 감사합니다!

투빅스 15기 김동현

Vanishing gradient 문제와 이를 해결하기 위한 RNN, LSTM, GRU 등 다양한 변형 모델들에 대해서 자세히 알아볼 수 있는 강의였습니다.

• Gradient Problem : RNN backpropagation 시 gradient가 너무 작아지거나, 반대로 너무 커져서 학습이 제대로 이뤄지지 않는 문제
• 파라미터들이 가까이 위치한 dependency에 맞게 학습을 하고, 멀리 떨어진 dependency에 대해서는 학습을 하지 못하게 된다.
• LSTM(Long Short-Term Memory) : RNN의 vanishing gradient문제로 발생하는 장기 의존성 문제를 해결하기 위해 RNN에서 메모리를 분리하여 따로 정보를 저장함으로써 한참 전의 데이터도 함께 고려하여 output을 만들어내는 모델
• GRU(Gated Recurrent Units) : LSTM의 강점을 가져오되, 불필요한 복잡성을 제거한 모델

투빅스 15기 조준혁

• Vanishing gradient 문제는 값을 미분해 나갈 수록 미분 값이 너무 작아지거나 너무 커져서 학습이 제대로 이루어지지 않는 문제입니다.
• RNN 상에서 미분값 소실 문제가 발생하면 Long-Term 효과를 무시하고 미분값이 너무 작아져 0에 가까워지는 경우에는 그 원인을 해석하기 어려워집니다.
• LSTM의 시작은 Gradient를 보존하기 위해 메모리를 따로 두는 방법에서 시작했습니다. Cell State에서 이전 정보를 지속적으로 전달하며 forget, input, output gate등을 통해 정보를 흘려보낼지 아닐지 결정하게 됩니다.
• GRU는 Reset Gate를 통해 이전 정보를 어느정도 반영할지 결정하고 과거와 현재 정보를 얼마만큼 반영할 것인지 비중을 결정하는 Update Gate로 이루어져 있습니다.
• ResNet은 Skip Connection을 이용해 기존 정보와 새로운 정보를 모두 사용할 수 있도록 했습니다.
• DenseNet의 경우에서는 이전 레이어의 정보를 누적적으로 고려하여 Vanishing Gradient 문제를 해결했습니다.

RNN과 RNN 변형 모델들에 대해 학습하고 개념을 잡을 수 있었던 강의였습니다. 감사합니다.

투빅스 14기 정재윤

• RNN에서 vanishing gradient는 필연적으로 발생하게 됩니다. 특히 vanishing gradient가 발생하면 long-term effects를 무시한다는 점, gradient가 무엇때문에 0이 되었는지 구분할 수 없다는 문제가 말생하는데, 이를 보완하기 위해 나온 모델이 LSTM입니다.

• LSTM은 이전 정보를 지속적으로 흘려주는 cell state는 forget, input, output gate들을 이용합니다. forget gate는 어떤 정보를 잊고 어떤 정보를 cell에 흘려넣을지 결정하는 gate, input gate는 새로운 정보가 cell에 저정될지 결정하는 gate, output gate출력값을 반환하는 gate입니다.

• 이 후, 나온 모델이 GRU입니다. GRU는 LSTM보다 더 간단한 형태로, cell state가 존재하지 않는 대신 hidden state에 정보를 유지합니다.

• 최근에는 여러 RNN모델들이 나왔는데 대표적으로 Bidirectional RNN과 Multi layer RNN등이 만들어졌을 뿐만 아니라, skip connection 등의 이미지에서 사용되는 기법들도 도입되면서 더 다양한 모습들을 보여주고 있습니다.

투빅스 15기 이윤정

• gradient는 과거가 미래에 얼마나 영향을 미치는 척도이다. 그러므로 gradient가 소실되는 Vanishing gradient는 longterm effects는 배제된 채 near-effects만 반영 되므로 결과 해석에 어려움이 발생한다. 이러한 문제는 LM model에서 멀리 있는 단어 간의 의존서을 학습하지 못하여 단어 예측에 실패하는 결과로 확인된다.
• gradient vanishing을 보완하기 위한 모델로 LSTM이 등장하였다. lstm은 정보를 저장하는 메모리를 따로 두어 gradient 살리자는 아이디어에서 출발하였고 이는 이전 정보를 지속해서 흘려주는 cell state와 불필요한 정보를 걸러주는 gate를 통해 구현되었다. 다만 구조가 너무 복잡하고 gradient vanishing을 완전히 해결하지 못했다는 단점이 있다.
• GRU는 lstm의 복잡한 구조를 단순화한 변형 모델로 reset과 update gate로 구성되어있다. 이때, update gate는 lstm의 forget과 input gate가 합쳐졌다고 볼 수 있다. 대체로 Rule of thumb에 따라 lstm으로 시작해본 후 efficient함을 원하면 gru를 시도하는 추세이다.
• 그 외에도 Resnet의 경우 skip connection을, Densenet의 경우 Densenet connectivity을 통해 gradient vanishing 문제를 해결하고자 하였다.

gradient vanishing 문제를 해결하기 위한 다양한 변형 모델을 이미지와 곁들여 상세히 설명해주셔서 더욱 이해하기 쉬운 강의였던 것 같습니다. 감사합니다.

투빅스 15기 조효원

RNN의 한계점에는 여러 가지가 있지만 가장 대표적인 문제는 time step이 흐를수록 정보가 소실, 즉 기울기가 소실되는 것이다. 언어의 특정 상 long-term dependecy가 발생하는데, 기울기가 소실되면 이를 포착 및 표현할 수 없다. 뿐만 아니라 기울기가 소실된 이유가 구고적인 문제인지 혹은 의존성이 없어서 , 즉 없어져야하기 때문에 없어진 것인지 파악할 수가 없다.
이를 해결하기 위해 다양한 종류의 gate가 추가된 LSTM 모델이 등장했다. LSTM 모델은 forget gate, input gate, output gate를 이용해서 이전의 time step의 정보중, 잊을 정보와 기억할 정보를 구분해 중요한 정보는 뒤의 시간까지 기억할 수 있도록 하였다. 이로서 기울기 소실 문제를 완화했다.
LSTM 모델을 구조가 복잡하고 연산이 많을 수밖에 없었는데, 이를 경량화한 것이 GRU이다. GRU는 더 빠르지만 유사하거나 때로는 더 좋은 성능을 보였다.

투빅스 14기 강의정
Lecture 7 – Vanishing Gradients, Fancy RNNs를 주제로 발표해주셨습니다.

• RNN은 역전파시 Hidden state의 Gradient를 곱해주어야 하는데 Gradient의 L2 norm이 1보다 작다면 Gradient Vanishing이, 1보다 크다면 Gradient exploding이 일어납니다.
• 이전 정보를 저장하는 방식으로 vanishing gradient 문제를 해결하기위해 나온 LSTM은 forget gate, input gate, output gate로 이전 정보에 대한 제어를 합니다.
• GRU는 LSTM을 변형하여 조금 더 단순화한 것으로 LSTM에 비해 학습속도가 빠릅니다.
• Vanishing gradient 문제를 해결하기 위한 다른 사례로 skip connection을 적용한 ResNet과 이전 레이어 정보를 모두 가져가는 DenseNet이 있습니다.
• 이 외에 양방향 정보를 활용하는 Bidirectional RNNS과 여러층으로 RNN을 구성하는 Multi-layer RNN에 대해 살펴보았습니다.

투빅스 15기 김재희
RNN의 한계에 대해 배우고, 이를 개선한 LSTM, GRU, Bi-RNN 등에 대해 공부했습니다. 강의보다 더 다양한 자료들이 있어서 더 이해할 수 있었던 것 같습니다. 감사합니다.

• RNN의 문제점은 시점이 길어질수록 그래디언트가 0에 가까워지는 vanishing grandient가 발생한다는 점입니다. 이는 미분식에서 W 행렬의 l2 norm이 1보다 작으면 연속적으로 곱해지면서 발생하게 됩니다 .

• LSTM은 여러 게이트와 cell state를 추가하여 이를 개선한 모델입니다. 장기 기억과 단기 기억으로 정보를 분리하여 vanishing grandient 문제를 해소할 수 있었습니다.

• GRU는 LSTM을 단순화하여 파라미터 수를 줄이면서도 일부 태스크에서 비슷한 성능을 보이는 모델입니다. LSTM을 기본으로 하되, GRU 역시 시도해볼만하다고 합니다.

• NLP의 정보는 사실 어느정도 양방향성을 가지고 있습니다. 이를 고려하여 RNN류 모델들은 양방향으로 정보를 고려해서 모델링되어야 합니다. 이것이 Bi-RNNs입니다.

• RNNs 레이어 하나를 통해 복잡한 함수가 표현되지는 않습니다. 만약 태스크가 복잡하여 단일 레이어로 해결할 수 없다면, 모든 시점의 hidden state를 입력값으로 하는 RNNs 레이어를 추가하여 문제를 해결할 수 있습니다.