3. LSH Attention

1. LSH 어텐션의 절차

• Q와 K 매트릭스의 LSH 해시를 찾는다
• LSH를 거쳐서 같은 버켓 안에 있는 $k$와 $q$에 대해서 아래 어텐션을 계산한다.
  

Multi-round LSH attenstion

충분히 가까운 항목들이 다른 버켓에 빠지지 않도록, LSH를 여러번 반복한다.

2. LSH Attention 전체 과정

1. LSH로 query, key들에 대해 버켓팅
2. 버켓에 따라 정렬
3. 청크 단위로 분리
4. 같은 버켓 안에 있는 자기 자신과 이전 요소들에 대해서 attention

Reference

Illustrating the Reformer