Reformer LSH(Locality sensitive hashing)

Illustrating the Reformer를 보며 정리. 트랜스포머 모델에서는 위와 같이 3종류의 어텐션이 있다. 어텐션의 과정을 그림으로 보면 아래와 같다.이때 우측에 it의 어텐션을 모습을 보면 5개를 제외하면, 어텐션을 받지 못했는데, 이때 나머지 didn't

2020년 4월 10일
·
0개의 댓글