KV 캐시 : 트랜스포머 모델에서 셀프 어텐션을 하게 되면 입력 시퀀스에서 자기 자신을 포함한 각 단어간 상호작용을 고려한다. 이 때 한 번 계산된 키와 값에 대한 계산 결과를 메모리에 저장한다.
멀티 쿼리 어텐션 : KV 캐시에 많은 메모리 사용 및 불러오는데 속도 저하를 해결하기 위해 여러 쿼리 벡터가 하나의 키와 값 벡터를 사용하는 방식
그룹 쿼리 어텐션 : 멀티 쿼리 어텐션이 하나의 키와 값 벡터를 사용하기 때문에 멀티헤드어텐션보다 성능이 떨어져 멀티 쿼리 어텐션보다는 많은 키와 값을 사용하는 방식 (라마2에서 사용)
연속 배치
플래시어텐션
.jpg)