Reformer LSH(Locality sensitive hashing)

Illustrating the Reformer를 보며 정리. 트랜스포머 모델에서는 위와 같이 3종류의 어텐션이 있다. 어텐션의 과정을 그림으로 보면 아래와 같다.이때 우측에 it의 어텐션을 모습을 보면 5개를 제외하면, 어텐션을 받지 못했는데, 이때 나머지 didn't

2020년 4월 10일
·
0개의 댓글
post-thumbnail

Reformer 개요

Illustrating the Reformer를 보며 정리.리포머 모델을 2020년에 발표된 모델로 기존 트랜스포머 구조를 개선한 모델이다. Local Sensitve Hashing과 Reversible residual network를 이용해 이전 트랜스 포머 보다 더

2020년 4월 10일
·
0개의 댓글