NLP Study

self-attention block이 무수히 있는 block으로 아래의 그림처럼 self-attention을 알아야만 이해가 가능하다. (여기서 self-attention이란 Scaled Dot-product Attnetion과 같은 개념이며 왜 Scaled Dot-

사전 훈련은 자연어 처리나 컴퓨터 비전 등 다양한 분야에서 사용되는 기계 학습 기술입니다. 이는 큰 데이터셋에서 모델을 훈련하여 데이터의 기반 구조를 포착하는 일반적인 패턴과 표현을 학습하는 과정입니다. 사전 훈련된 모델은 입력 데이터로부터 의미 있는 특징이나 임베딩을

정확한 정의 : 사전 학습과 미세 조정을 결합하는 동시에 학습 프로세스 중에 작업별 지침이나 프롬프트를 통합하는 새로운 접근 방식입니다. 모델은 주어진 지침에 따라 상황에 맞는 응답 또는 출력을 생성하는 방법을 학습하여 특정 작업에 대한 성능을 향상시킵니다.ICL의 핵