Deep Learning & Machine Learning

Backpropagation Through Time BPTT는 RNN에서 계산되는 back propagation이다. RNN의 구조는 sequential하기 때문에 이에 따라 발생하는 hidden state를 따라 역행하면서 전파되는 gradient의 계산 방법이다. 다음은 RNN의 기본 구조이다. $$ st = tahn(Uxt + W{s{t-1}}) ...

Tensor를 조작하는 법을 한번 정리했다. 0. Scalar, Vector, Matrix, Tensor 보통 머신러닝과 딥러닝에서 다루게 되는 기본적인 단위는 스칼라, 벡터, 행렬, 텐서이다. Scalar 먼저 scalar는 간단하게 숫자 하나라고 생각하면 된다. Vector Vector는 1차원의 배열이라고 생각하면 된다. 파이썬에서는 1차원...

0. Introduction 오늘은 차원 축소의 기법중 하나인 PCA에 대해 알아보고자 한다. 차원 축소를 알아보기전에 먼저 차원의 저주를 알아야하는데 차원의 저주란 입력된 데이터의 수보다 데이터의 차원이 더 큰 경우 발생하는 문제이다. 우리는 데이터, 벡터가 존재하는 공간에서 분류 혹은 예측을 하는 가장 적합한 함수를 찾는것이 목적이다. 그러나 입력한 ...