attention을 공부하던 도중 수식의 의미를 정확하게 이해하기 위해서 이 논문을 읽게 되었다.
Learning Phrase Representations using RNN Encoder-Decoder for Statistical Machine Translation
https://arxiv.org/abs/1406.1078
가능한 simbols j = 1,...,K에서
1,...,t-1의 조건에서 xt가 j일 확률은 아래와 같다고 볼 수 있다.
특정한 sequencs x의 확률은 아래와 같이 나타낼 수 있다.
context 벡터(c)가 디코더에 활용된다.
위 수식을 아래 그림을 보면 이해할 수 있다.
