자연어처리
1.Transformer
RNN입력 시퀀스는 일대일 방식으로 출력 시퀀스로 변환특정 입력은 번역 문제 또는 자동 완성 문제를 찾기 위해 출력에 매핑응용: 기계 번역, 요약, 질문 응답, 대화 모델링 자동 완성 등Feed-forward network의 단순 RNN \- ht-1: 이전
2023년 1월 2일
2.Positional Encoding
Transformer에서 단어의 위치 추적인코더, 디코더 모두 positional encoding 사용Transformer 모델에는 모델이 시퀀스의 순서를 사용하기 위해 recurrence 및 convolution이 포함되어 있지 않음RNN의 경우 데이터를 순차적으로
2023년 1월 2일