Transformer : Self-attention and Query, Key, Value (작성중)

Comment :

Attention Is All You Need apaer에서의 Transformer 모델, Self-Attention, 그리고 Query, Key, Value에 대한 정리

Refrence

• Transformer 구현하고 이해하기 좋은 설명
• Transformer로 한국어-영어 기계번역 모델 만들기 실제로 코드 구현(번역기)

Reference (about Q,K,V)

• Query, Key, value에 대한 Q&A글
• Deep Learning: The Transformer -medium글

---

99. Query, Key, Value 개념

위 Refer로 달아놓은 Q&A글 중 한 답변에서 개념적으로 Query, Key, Value에 대해 설명해준 글이 있어서 적어본다

[+] analogous : adj. 유사한, 비슷한
[+] retrieval : n. (정보의) 검색, 되찾아옴, 회수
[+] candidate : n. 후보, ~이 될만한 것

The query/key/value concept is analogous to retrieval systems. For example, when you search for videos on YouTube, the search engine will map your query (text in the search bar) against a set of keys (video title, description, etc.) associated with candidate videos in their database, then present you the best matched videos; values

• Query : 검색창에 적는 Text
• Key : 영상의 제목, 또는 설명글 등
• Value : '영상'

...작성중...