투빅스 14기 한유진

• 역전파에서 Upstream gradient -> Downstream gradient로 미분값을 계산할 때의 핵심은 Downstream Gradient = Local Gradient ∗ Upstream Gradient입니다. multiple input일 때도 이와 같은 과정을 input개수만큼 진행하면 됩니다. 역전파를 계산할 때, 반복연산을 방지하기 위해 미분값을 저장해두면 효율적인 계산이 가능해집니다.
• Gradient를 계산하는 방법에는 Analytic Gradient방법과 Numerical Gradient방법이 존재합니다. Analytic Gradient는 계속 봐왔던 chain rule을 이용하여 계산하는 방식입니다. chain rule을 사용하기에 정확하고 빠르지만, 계산과정에서 실수가 발생할 수 있다는 단점이 있습니다. Numerical Gradient는 해당 파라미터의 미분을 구하기 위해 미분 공식을 이용하는 방법입니다. 현재의 W에 아주 작은 값을 더해 loss를 계산하고 이를 바탕으로 gradient를 계산해주는 방식입니다. 이는 연산량이 매우 많다는 단점이 있습니다. 이를 위해 Numerical Gradient Check방식을 활용한다고 합니다.
• 과적합 방지를 위한 Regularization, 학습시간 감소를 위한 Vectorization, 비선형성을 위한 다양한 activation function, weight를 초기화 시켜주는 parameter Initialization, 다양한 Optimizer, Learning Rate조절까지 NN의 성능을 향상시키기 위한 방법까지 배웠습니다.

역전파에 대한 개념을 다시 한번 잡을 수 있어서 좋았고, 왜 이러한 것들이 등장하게 되었는지와 같은 흐름도 잘 짚어주셔서 내용을 이해하는데 많은 도움이 되었습니다! 좋은 강의 너무 감사합니다!

투빅스 14기 정세영

backpropagation의 기초적인 내용을 다시 잘 짚을 수 있었고, NLP와 연결하여 이해할 수 있었습니다.

• softmax 값에 대해 correct class와 incorrect class가 미분 식이 다르다.
• NLP에서는 학습할 때 window 단위로 input을 넘겨주어 가중치를 업데이트한다.
• pre-trained 모델을 사용할 때 일반적으로 일정 수준(십만 개) 이하라면 fine tuning을 권장하지 않는다. (안하느니만 못하다.)
• computation graph 측면에서 보면 순전파나 역전파나 scalar 값에서부터 동일한 노드들을 지나며 gradient를 구하게 되므로 시간 복잡도가 동일하다.

투빅스 14기 강재영
Backpropagation과 NLP retraining에 관한 전반적인 내용을 학습할 수 있었습니다.

• A pitfall when retraining word vectors

  • 특정 Task를 위해 word vector를 학습시키고 노드의 가중치와 워드 벡터를 업데이트하는게 항상 좋은 결과를 야기하지 않음
  • 대부분 Pre-trained된 모델을 사용하며, 새로 학습시킬 경우 단어간의 관계가 잘 임베딩되지 않음
  • 데이터가 1 millon 이상 존재한다면 추가적으로 Fine tunning을 고려

• Computation Graphs and Backpropagation

  • DownstreamGradient = LocalGradient * UpstreamGradient
  • 각 노드의 미분계산 값은 저장해두어 원하는 값을 계산할 때 바로바로 사용

• Regularization : 과적합 방지 방법 / Vetorization : 연산시간 감소 방법 / Actiovation : Relu, tanh 등 다양한 비선형 함수 ( 실제 많은 현실의 문제들은 비선형 문제이기 떄문에 ) / Parameter Initialization : Small Random Value / Uniform disribution( 너무 크고, 너무 작지 않게 적당한 값 배분 ) / Xavier ( 이전 레이어와 다음 레어이의 크기를 고려해 가중치의 분산을 조절 )

투빅스 15기 이수민

• 수행할 task에 맞추어 가중치 업데이트를 진행하고 word vector를 학습시켜 업데이트하는 것은 오히려 잘못된 결과를 낼 수 있기 때문에, pre-trained 모델을 사용하는 것을 추천한다.
• 가지고 있는 데이터가 100만 개 이상일 때는 fine-tuning을 진행하는 것이 성능 향상에 도움이 되지만, 그렇지 않다면 하지 않는 것이 좋다.
• Computation graph는 값을 그래프 노드 위에 위치시킨다는 것. 그래프 기반의 연산을 진행함으로써 효율적인 연산이 가능해진다.
• Numeric gradient를 통해 gradient를 잘 구했는지 확인할 수 있지만, 이 방법을 사용하면 계산량이 너무 많아지기 때문에 딥러닝에 직접적으로 활용하기 어렵다.
• Backpropagation의 문제점인 vanishing gradient / dying ReLU / overfitting을 방지하기 위해 regularization, vectorization, ReLU의 다양한 variation 고려, 가중치 초기화 (gradient vanishing 방지), optimizer 사용, learning rate 설정 등과 같은 방법이 사용된다.

투빅스 14기 이정은

• 특정 task를 위해 가중치와 word vector를 업데이트 시키는 과정이 항상 좋은 결과물을 내지는 않습니다. 이런 경우에는 pre-trained된 모델을 사용함으로서 해결이 가능합니다. Fine-tuning은 자신이 가지고 있는 데이터 사이즈에 따라 정하면 되며, 적은 경우는 굳이 할 필요가 없습니다.
• Backpropagation은 Downstream gradient = Local gradient * Upstream gradient로 계산이 이루어지며, 계산한 미분 값을 저장하면 해당 동작을 반복하지 않고 효과적인 연산이 가능합니다.
• Numerical gradient는 수를 아주 조금 변화시켰을 때의 loss의 변화값으로 미분을 계산하는 것으로 연산량이 많지만 정확한 값을 가집니다. 이는 Chain Rule로 연산한 미분 과정을 확인하는 데에 사용될 수 있습니다.
• Neural Network는 Regularization, Vectorization, Non-Linearities(ReLU, Leaky ReLU), Parameter Initialization(Xaiver), Optimizer(Adam, ...), Learning rate 조정 등의 방법으로 문제를 해결하고 성능을 향상시킬 수 있습니다.

강의를 통해 Backpropagation과 성능 향상에 대한 흐름을 잘 이해할 수 있었습니다! : )

투빅스 15기 김동현
NLP를 역전파와 연관지어 자세히 알아볼 수 있는 시간이였습니다.

• BackPropagation은 output vector 를 Weight matrix 에 대해 미분하고, FeedForward 과정을 통해 나온 predict 값과 실제 값을 통해, error signal vector를 만들고, Chain Rule 을 이용해 가중치를 업데이트 한다.
• pre-trained는 대규모 말뭉치 & 컴퓨팅 파워를 통해 embedding 값을 만들고, 해당 embedding 에는 말뭉치의 의미적, 문법적 맥락이 모두 포함되어 있다.
• fine-tuning는 이후 embedding을 입력으로 하는 새로운 딥러닝 모델을 만든다. 우리가 풀고 싶은 구체적인 task와, 가지고 있는 소규모 데이터에 맞추어, embedding을 포함한 모델 전체를 update 한다.
• Vanishing Gradient는 sigmoid 함수의 미분값의 범위가 (0, 1/4] 가 되어, 작은 값이 계속적으로 곱해지는 것이기 때문에 gradient 값이 0으로 사라지게 되므로, Activation Function, Weight Initialization 으로 해결한다.
• Dying ReLU는 input으로 음수가 들어오게 되면, Backpropagation 진행 시 0 값이 곱해지게 되어 사라져 버리는 문제가 발생하게 되므로, BatchNormalization, Optimization 으로 해결한다.
• Overfitting은 가지고 있는 데이터에 지나치게 맞추어 학습하여, 새로운 데이터셋에 대해 제대로 예측하지 못하게 되므로, Regularization, Dropout 으로 해결한다.

투빅스 15기 이윤정

• NLP는 task를 수행하는 과정에서 벡터를 결합한 matrix 전제를 input으로 넘겨주지 않고 window 단위로 넘겨주어 단어 벡터가 task에 도움이 되는 방향으로 가중치를 업데이트 한다. 하지만, 이러한 방식이 항상 좋은 결과를 만들진 못한다. 만약 학습시키는 데이터 셋에 특정 단어가 없다면 해당 단어는 다른 단어와 유사한 의미를 지니고 있어도 다른 의미를 지닌 단어로 분류되기 때문이다.
• 이러한 문제를 해결하기 위해 Pre-trained 모델을 사용한다. 이미 방대한 양의 데이터에 대해 학습을 마친 상태이므로 train 데이터 셋에 포함 유무와 관련 없이 유사 관계가 형성되기 때문이다. Fine Tunig의 경우 데이터 셋의 규모에 따라 유무가 달라진다.
• Numerical Gradient(수치적 방법)은 미분값을 쉽게 얻을 수 있지만 그만큼 연산량이 증가한다는 단점이 존재한다. 이와 달리 Chain Rule을 통한 Analytic Gradient(해석적 방법)은 계산 방법은 정확하고 빠르지만 실수가 발생할 수 있다는 단점이 존재한다. 이러한 단점은 Numerical Gradient Check 방식을 통해 보완할 수 있다.
• 과적합은 손실함수에 규제항을 추가하는 Regularization을 통해 방지할 수 있다. 주로 R2 규제항을 사용한다.

투빅스 15기 조효원

Gradient를 계산하는 방법에는 Numerical Gradient와 Analytic Gradient가 존재하는데, 각각은 미분 공식을 이용하고 Chain rule을 이용한다. 이때, Analytic Gradient 방식을 사용하면 빠르고 대체적으로 정확하지만 실수가 발생할 수 있다는 단점이 있고, Numerical Gradient 방식은 연산량이 너무 커서 실질적으로 사용하기 어렵다는 단점이 있다.
NLP에서는 벡터 전체 단위로 학습을 하지 않고 window 단위로 학습을 진행한다. 수행할 작업에 맞춰서 가중치와 단어 벡터들이 업데이트되는데, 이때 특정 단어가 코퍼스 내에 등장하지 않거나 매우 적게 등장하는 경우 문제가 된다. 따라서 retraining은 권하지 않으며, 큰 단위로 학습된 pretrained 모델을 사용하는 것을 권장한다. 가지고 있는 데이터의 크기가 100만 개 이상일 때는 fine-tuning을 진행하는 것이 성능 향상에 도움이 되지만, 이보다 적다면 성능에 문제를 야기한다.
이 밖에도 신경망을 보다 빠르고 정확하게 학습시키기 위한 방법으로 overfitting을 막는 regularization 방식, 학습시간 감소를 위한 Vectorization, 비선형성, parameter Initialization, Optimizer, Learning Rate 등에 대한 구체적인 예시들을 확인했다.

투빅스 14기 강의정
Lecture 4. Backpropagation and Computation Graphs를 주제로 발표해주셨습니다.

• Word에 대한 미분을할 때 window 단위로 가중치를 업데이트를 하는 방식은 특정단어가 학습 데이터 셋에 포함되지 않는다는 이유로 업데이트되지 않는 문제가 있습니다. 이를 위해 Pre-trained 모델을 사용할 수 있고, Training Dataset이 100만개 이상으로 많을 경우 Fine Tuning을 하면 좋습니다.
• back propagation에서 효율적인 처리를 위해 Chain Rule을 설계하여 값을 대입하면 바로 미분값을 얻도록 할 수 있습니다. 그렇게되면 순전파와 역전파의 시간복잡도는 동일하게 됩니다.
• Gradient를 계산하는 방법에는 Analytic Gradient와 Numerical Gradient가 있습니다.
  • Analytic Gradient는 Chain Rule을 이용하여 계산하는 방식입니다.
  • Numerical Gradient는 해당 파라미터의 미분을 구하기 위해 미분의 공식을 이용해 계산을 하는 방법입니다.
• Neural Networks의 성능을 높이기 위한 방법으로 Regularization, Vectorization, Non-Linearities, Parameter Initialization, Optimizers, Learning Rates들을 다루었습니다.

투빅스 15기 김재희

역전파 과정과 편리한 역전파 계산을 위한 그래프에 대해 다뤘습니다.

• 본래 각 파라미터가 손실함수에 대해 어떤 방향을 가지는지 보려면 손실함수에 대해 직접 각 파라미터를 미분해야 합니다. 하지만 손실함수는 복잡하고, 이를 각 파라미터에 대해 미분하는 과정 역시 복잡할 수 밖에 없습니다. 이를 편미분과 chian rule을 이용해 간단하게 만들 수 있습니다.

• chain rule을 이용할 경우 이전 층의 그래디언트가 이번 층의 미분에 직접 사용되게 됩니다. 이를 이용하여 중복된 계산을 줄일 수 있습니다.

• gradient descent 만으론 효과적인 학습이 힘듭니다. 이를 개선하기 위해 다음과 같은 방법들이 사용될 수 있습니다.

1. regulariation: 파라미터 크기를 제약하여 모델을 간단하게 만들어 줍니다.
2. vectorization: 파이썬 연산시 벡터화를 이용하면 list comprehension보다 빠른 연산이 가능합니다 .
3. 다양한 비선형 함수: sigmoid는 vanishing gradient 문제가 쉽게 발생합니다. 이를 개선하고자 tanh, hard tanh, ReLU 등이 등장했습니다. 특히 ReLU 특유의 간단함과 좋은 성능으로 현재도 다양한 파생형이 나오고 있습니다 .
4. initialization: 파라미터 초기화 시 특정 범위 내로 값을 제한하여 더욱 효과적인 학습이 가능합니다.
5. Optimizer: 옵티마이저는 종류가 다양합니다. 보통 Adam이 표준적으로 사용되고 있습니다.

투빅스 14기 정재윤

• Backpropagation은 ML 부분에서 중요한 부분이다. 기본적으로 Chain rule을 바탕으로 진행되며 특히 차원을 고려하면서 진행해야한다. 또한 Downstream gradient = upstream gradient * local gradient임을 알고 연산해야한다.
• NN을 구성하기 위해 여러가지를 고려해야하는데, 강의에서는 약 6가지를 언급했다. 우선 과적합을 방지하기 위한 Regularization, 연산의 효율을 위한 vectorization, Non-linearities, Parameter Initialization, Optimizers, Learning Rates 등을 고려해야한다.

투빅스 14기 박준영

이번강의는 투빅스 15기 조준혁님이 진행해주셨습니다.

• Neural Network에서 chain rule을 이용하여 가중치를 업데이트 합니다.
• NLP에서는 단어를 window 단위로 나누고 vector을 만들어 가중치 업데이트를 진행한다.
• 하지만 데이터 셋에 단어가 없을 경우 가중치가 업데이트가 불가능해서 실제로는 같은 비슷한 의미를 가졌지만 다른 의미를 가진 의미로 분류될 수 있다. 이럴경우 pre-trained 된 모델을 사용하면 된다. 하지만 100만개 이상이면 모델을 학습시켜도 된다.
• Neural Network의 overfitting을 방지하기 위해 Regularization 방법을 사용한다.

역전파 개념을 다시 복습할 수 있어서 좋았고. Neural Network의 다양한 기법들을 배울 수 있었던 유익한 강의였습니다. 감사합니다!