딥러닝

퍼셉트론은 복잡한 함수를 표현할 수 있고 컴퓨터가 수행하는 복잡한 처리 또한 표현할 수 있다. 하지만 가중치 설정을 사람이 수동으로 해야 한다는 번거로움이 있다. 하지만 신경망은 가중치 매개 변수의 적절한 값을 데이터로부터 자동으로 학습하는 성질이 있다.신경망은 입력

1. 기호 모델 학습의 원리를 살펴보기 전에 기호에 대해 먼저 알아보자. w : 가중치 B : 편향 Loss : 손실 dt : 미분하기 위한 변화량 prevLoss : 현재의 손실 값 (현 가중치와 편향에 대한 손실 값) dL

Fully Connected Network나 Convolutional Neural Network같은 신경망의 특징은 메모리가 없다는 것이다. 네트워크에 주입되는 입력은 개별적으로 처리되며 입력 간에 유지되는 상태가 없다. 이런 네트워크로 시퀀스나 시계열 데이터 포인트를

SimpleRNN은 이론적으로 시간 t에서 이전의 모든 타임스텝의 정보를 유지할 수 있다. 실제로 긴 시간에 걸친 의존성은 학습할 수 없는 것이 문제이다. 층이 많은 Feedforward Network에서 나타나는 것과 비슷한 현상인 기울기 소실 문제(Vanishing