[Transformer] QKV ( Query, Key, Value )

QKV ( Query, Key, Value ) ?

( 이미지 출처 = wiki docs, GIF 출처 = Mila )
[ 클릭시 원본 파일 페이지로 넘어감 ]

• Query(Q) : 현재 처리하고 있는 임베딩 된 패치
• Key(K) : Query 랑 매치되면서 연산이 처리됨 ( 임베딩 된 패치간의 관계를 파악하기 위함. NLP로 예를들자면 주어와 동사와의 관계, 동사와 목적어와의 관계 같은 것. )
• Value(V) : 각 임베딩 된 패치의 실제 정보 ( Key에 의해 선택된 것에 따라 이 정보들이 가중합되어 최종 출력 )

NLP 적인 예를 들자면,

• Query(Q): "미시세계", "우주"
• Key(K): 데이터 세트 내의 문서나 문장에서 추출한 주제나 키워드. 예를 들어, "양자역학", "블랙홀", "은하계", "빅뱅 이론" 등.
• Value(V): Key와 매칭된 정보의 실제 내용.

만약 "미시세계" Query 에 대한 Key 가 "양자역학" 과 관계되어 있으면, Value 는 아래와 같이 나올 수 있다.

분자, 원자, 기본 입자(전자, 소립자 원자핵 등) 미시적인 계의 현상을 다루는 즉, 물리계의 아주 작은 입자들을 연구하는 물리학의 분야이다.

-"양자역학" 위키백과

그러나 만약 "우주" Query 에 대한 Key 가 "블랙홀" 과 관계되어 있으면, Value 는 아래와 같이 나올 수 있다.

블랙홀은 중성자 별이 되지 못한 항성이 진화의 최종단계에서 폭발 후 수축되어 생성된 것으로 추측되는, 강력한 밀도와 중력으로 전자기 복사, 빛을 포함한 그 무엇도 빠져나올 수 없는 시공간 영역이다.

-"블랙홀" 위키백과

Related

위 글을 이해했다면 [Transformer] Multi-Head Self-Attention ( MSA ) 를 탐색해보자.