Transformer : Self-attention and Query, Key, Value (작성중)

olxtar·2022년 8월 25일
0
post-thumbnail

Comment :

Attention Is All You Need apaer에서의 Transformer 모델, Self-Attention, 그리고 Query, Key, Value에 대한 정리


Refrence


Reference (about Q,K,V)


99. Query, Key, Value 개념

위 Refer로 달아놓은 Q&A글 중 한 답변에서 개념적으로 Query, Key, Value에 대해 설명해준 글이 있어서 적어본다

[+] analogous : adj. 유사한, 비슷한
[+] retrieval : n. (정보의) 검색, 되찾아옴, 회수
[+] candidate : n. 후보, ~이 될만한 것

The query/key/value concept is analogous to retrieval systems. For example, when you search for videos on YouTube, the search engine will map your query (text in the search bar) against a set of keys (video title, description, etc.) associated with candidate videos in their database, then present you the best matched videos; values

  • Query : 검색창에 적는 Text
  • Key : 영상의 제목, 또는 설명글 등
  • Value : '영상'


...작성중...



profile
예술과 기술

0개의 댓글