AI: Transformer

- Generate: 텍스트 생성 - Pre-trained: 방대한 양의 데이터로부터 학습함 - Transformer: LLM에 사용되는 신경망 아키텍처

Self-Attention은 각 토큰이 자신을 기준으로 다른 모든 단어와의 관계를 평가하고, 이를 통해 자신의 벡터 표현을 업데이트하는 메커니즘입니다.이 과정은 입력 시퀀스의 모든 단어에 대해 반복되며, 최종적으로 각 단어는 문맥에 맞게 새롭게 표현된 벡터로 변환됩니다

LLM의 Transformer 아키텍처는 Masked multi-head self-attention 메커니즘을 사용한다.언어 모델이 다음 단어를 예측하는 작업을 수행할 때, 현재 위치의 토큰이 미래의 정보를 참조하지 못하도록 제한합니다.이는 인간이 문장을 생성할 때,

Transformer Explainer는 텍스트 생성 모델인 Transformer의 작동 방식을 이해하기 위한 대화형 시각화 도구입니다. 이 도구는 Transformer 모델의 복잡한 개념을 이해하기 쉽게 도와줍니다.