# cs224n

55개의 포스트
post-thumbnail

[CS224N] Lecture 5 – Dependency Parsing

이번 시간에는 자연어의 의미를 이해하기 위해 자연어의 구조를 파악하는 방법을 알아본다.

2021년 8월 2일
·
0개의 댓글
post-thumbnail

CS224N (3) Word Window Classification, Neural Networks, and Matrix Calculus

CS224N (3) Word Window Classification, Neural Networks, and Matrix Calculus

2021년 7월 14일
·
0개의 댓글
post-thumbnail

[CS224N] Lecture 4 – Backpropagation and computation graphs

예시와 함께하는 backpropagation 계산과정

2021년 7월 12일
·
0개의 댓글
post-thumbnail

[CS224N] Lecture 3 – Word Window Classification, Neural Networks, and Matrix Calculus

드디어 Neural network에 대해 알아보고, matrix calculus를 시도해본다.

2021년 7월 12일
·
0개의 댓글
post-thumbnail

CS224N (2) Word Vectors and Word Senses

CS224N (2) Word Vectors and Word Sensess

2021년 7월 4일
·
0개의 댓글
post-thumbnail

CS224N (1) Introduction and Word Vectors

CS224N (1) Introduction and Word Vectors

2021년 6월 27일
·
0개의 댓글
post-thumbnail

Lecture 18 - Constituency Parsing, TreeRNNs

딥러닝이 각광받기 시작하면서 BOW 모델들이 많이 개발되었다. 이 모델들은 모두 단어 벡터를 가지고 입력값과 hidden layer, 출력값을 다루게 된다. 하지만 딥러닝 이전에는 언어학적 지식이 CS 분야에 많이 활용되었다. 촘스키 위계를 이용하거나 여러 문법적 구조

2021년 6월 22일
·
0개의 댓글
post-thumbnail

[CS224N] Lecture 2 – Word Vectors and Word Senses

이번 강의에서는 지난시간에 배운 word2vec을 마무리하고 GloVe를 배운다. Manning 교수님이 진행하는 강의인데 본인이 쓴 논문이라 GloVe를 열심히 소개하는 듯.

2021년 6월 13일
·
0개의 댓글
post-thumbnail

Lecture 15 - Natural Language Generation

작성자 : 건국대학교 응용통계학과 정재윤

2021년 6월 2일
·
11개의 댓글
post-thumbnail

Lecture 14 - Transformer and Self-Attention

작성자: 고려대학교 언어학과 조효원

2021년 6월 2일
·
10개의 댓글
post-thumbnail

Lecture 15 - Natural Language Generation

NLG라는게 워낙 넓은 분야이다 보니, 이 강의에선 전반적인 개념과 태스크들, 최근 모델들에 대해 설명하고 있다. NLG는 입력값이 있든 없든, 그 종류가 무엇이든 상관없이 출력으로 텍스트 시퀀스를 만드는 태스크이다. 그래서 NLG는 많은 NLP 분야의 하위 파트로 사

2021년 6월 1일
·
0개의 댓글
post-thumbnail

Lecture 14 - Transformers and Self-Attention

이번 시간엔 외부 강사님이 오셔서 트랜스포머나 self attention의 원리에 대해 설명해주는 시간이었다. 우선은 트랜스포머 이전, 즉 RNN류 모델들의 시대에 대해 이야기해보자. RNN류 모델들은 문장과 같이 입력값의 길이가 가변적인 경우에 효과적으로 작동했다.

2021년 5월 31일
·
0개의 댓글
post-thumbnail

Lecture 13 – Contextual Word Embeddings

작성자 : 동국대학교 통계학과 이윤정

2021년 5월 26일
·
11개의 댓글
post-thumbnail

Lecture 12 – Subword Models

작성자: 숭실대학교 산업정보시스템공학과 이수민

2021년 5월 26일
·
11개의 댓글
post-thumbnail

Lecture 13 - Contextual Word Embeddings

지금까지 배운 내용을 정리해보자면, 2011년 이전까진 NN을 이용한 자연어 처리 기법들은 사실 각광을 받지 못했다. Feature Engineering을 통한 모델들보다 성능이 좋지 못했고, 그럼에도 학습에 오랜 시간이 걸렸기 때문이다. 위 표는 NN을 이용한 모델들

2021년 5월 25일
·
0개의 댓글
post-thumbnail

Lecture 12 - Subword Models

이전의 수업들에선 단어 단위로 입력을 생각했다. 자연어 처리 분야에서 흔히 토큰이라고 부르는 것은 가장 작은 의미의 단위로 영어에선 띄어쓰기 단위로, 한국어에선 형태소 단위로 자르고, 정규화하여 만들어진다. 하지만 언어의 가장 작은 의미의 단위가 실제로 단어 하나일까?

2021년 5월 24일
·
0개의 댓글
post-thumbnail

Lecture 11 – Convolutional Networks for NLP

작성자: 세종대학교 데이터사이언스학과 이정은

2021년 5월 19일
·
12개의 댓글
post-thumbnail

[CS224N] 11. ConvNets for NLP

작성자: 이정은

2021년 5월 19일
·
0개의 댓글
post-thumbnail

Lecture 10 – Question Answering

작성자 : 성신여자대학교 통계학과 정세영

2021년 5월 19일
·
10개의 댓글
post-thumbnail

Lecture 11 - Convolutional Networks for NLP

언어는 연속적이라는 가정아래 RNN류 모델들은 hidden state 등을 이용해 이전의 단어들을 고려한 모델링을 한다. 물론 순방향만 의미가 있지는 않으니 역방향으로도 수행하여 BiLSTM 등의 모델들이 존재한다. 여기서 문제가 발생한다. 위와 같은 모델에서 of m

2021년 5월 18일
·
0개의 댓글