Transformer

강의주소

Transformer

중간에 어떤 내용이 빠지거나 순서가 바뀌면 모델링하기 어렵다.
이를 해결하기 위한 것이 transformer

Self-Attention

it 단어가 인코딩되면 다른 단어의 관계성을 파악하여 animal과 관계가 있다는 것을 알아서 학습함.

2개의 단어가 있고 4개의 각 임베딩
Key vector, query vector, Value vector

Value vector의 차원은 Key vector, query vector와 달라도 된다.

n개의 단어가 들어와서 n개의 단어를 출력한다.

최근은 Transformer이 nlp뿐만 아니라 vision에서도 사용이 된다.

디코더만 사용하여 아보카도 의자 검색 ( DALL-E )