profile
SNU AI
post-thumbnail

[CS224N] 2. Word Vectors and Word Senses

Word2Vec, GloVe, 유의어 처리 방법 등

2022년 7월 13일
·
0개의 댓글
·

신경망 학습 최적화 플로우: Word2Vec 모델을 예시로

1) 학습 목표 및 손실 함수 설정 2) 편미분으로 gradient 계산 3) 경사 하강법으로 손실 함수 최솟값 계산

2022년 7월 12일
·
0개의 댓글
·
post-thumbnail

[CS224N] 1. Word Vectors & Word2Vec

자연어 처리에서 단어를 어떻게 표현하는지, 단어 임베딩이 무엇인지, 대표적인 단어 임베딩 모델인 Word2Vec의 아이디어가 무엇인지 학습한다.

2022년 7월 12일
·
0개의 댓글
·
post-thumbnail

[CS224n] Pre-training Language Models: 전이 학습, 사전 훈련된 모델 종류 등

Stanford CS224N NLP with Deep Learning | Winter 2021 | Lecture 10 - Transformers and Pretraining 및 Hugging Face: 사전 훈련 모델이 등장하게 된 배경, 전이 학습 등을 설명한다.

2022년 7월 6일
·
0개의 댓글
·
post-thumbnail

[CS224n] Transformers: 셀프 어텐션, 멀티 헤드 어텐션, 포지셔널 임베딩 등

[Stanford CS224N NLP with Deep Learning | Winter 2021 | Lecture 9 - Self- Attention and Transformers] 트랜스포머의 motivation, 계층 구조, 셀프 어텐션 등을 설명한다.

2022년 7월 5일
·
0개의 댓글
·

Exciting areas in NLP (2022)

2022년 자연어처리 분야에서 부상하는 주제들 정리

2022년 7월 5일
·
0개의 댓글
·
post-thumbnail

[OOV 퓨샷&메타러닝] Few-Shot Representation Learning for Out-Of-Vocabulary Words

본 연구에서는 OOV 임베딩의 학습을 퓨샷(few-shot) 회귀 문제로 정식화하면서, 적은 샘플로도 단어의 의미를 유추해내는 구조를 제안한다. 어텐션(attention) 기반 계층적 문맥 인코더 (HiCE)를 이용해 OOV 단어의 문맥과 형태 정보를 모두 활용한다.

2022년 7월 3일
·
0개의 댓글
·
post-thumbnail

[OOV 개요] Deep Learning Models for Representing Out-of-Vocabulary Words

딥러닝(DL)을 이용하여 OOV를 처리하는 방법들을 소개하고, 다양한 NLP 과제에서의 성능을 비교한다.

2022년 7월 3일
·
0개의 댓글
·