Recurrent Neural Network는 다른 언어모델 대비, 학습속도가 느리다. 그 이유는 무엇인가?
RNN자체가 재귀적으로 정의되어있기 때문에 병렬화가 되지 않는다. h_3를 구하기 위해서는 h_2를 구해야 하고, h_2를 구하기 위해서는 h_1을 구해야 하는데, h_3, h_2, h_1 을 동시에 계산할 수가 없기 때문이다.
Recurrent Neural Network는 다른 언어모델 대비, 학습속도가 느리다. 그 이유는 무엇인가?
RNN자체가 재귀적으로 정의되어있기 때문에 병렬화가 되지 않는다. h_3를 구하기 위해서는 h_2를 구해야 하고, h_2를 구하기 위해서는 h_1을 구해야 하는데, h_3, h_2, h_1 을 동시에 계산할 수가 없기 때문이다.
