Word2Vec, GloVe, 유의어 처리 방법 등

1) 학습 목표 및 손실 함수 설정 2) 편미분으로 gradient 계산 3) 경사 하강법으로 손실 함수 최솟값 계산

자연어 처리에서 단어를 어떻게 표현하는지, 단어 임베딩이 무엇인지, 대표적인 단어 임베딩 모델인 Word2Vec의 아이디어가 무엇인지 학습한다.

Stanford CS224N NLP with Deep Learning | Winter 2021 | Lecture 10 - Transformers and Pretraining 및 Hugging Face: 사전 훈련 모델이 등장하게 된 배경, 전이 학습 등을 설명한다.

[Stanford CS224N NLP with Deep Learning | Winter 2021 | Lecture 9 - Self- Attention and Transformers] 트랜스포머의 motivation, 계층 구조, 셀프 어텐션 등을 설명한다.

2022년 자연어처리 분야에서 부상하는 주제들 정리

본 연구에서는 OOV 임베딩의 학습을 퓨샷(few-shot) 회귀 문제로 정식화하면서, 적은 샘플로도 단어의 의미를 유추해내는 구조를 제안한다. 어텐션(attention) 기반 계층적 문맥 인코더 (HiCE)를 이용해 OOV 단어의 문맥과 형태 정보를 모두 활용한다.

딥러닝(DL)을 이용하여 OOV를 처리하는 방법들을 소개하고, 다양한 NLP 과제에서의 성능을 비교한다.