CS224N

Introduction 인간은 지식을 언어를 통해 전달한다. 이것이 인간이 다른 동물에 비해 발전할 수 있었던 이유이다. 그렇다면 그 언어의 의미는 어떻게 나타내어 지는가? 언어의 의미는 symbol이 있고 symbol은 idea(thing)을 가지고 있다. 이것을 denotational semantics라고 부른다. NLP에서는 단어를 Discrete...

CS224n의 4번째 lecture는 Dependency Parsing으로 문장의 구조를 분석하고 이해하는 방법에 대해 설명했습니다. 본 lecture의 순서는 다음과 같습니다. Syntactic Structure: Consitituency and Dependency 2.Dependency Grammer and Treebanks 3.Transition-...

본 lecture에서는 다음과 같은 순서로 진행됩니다. From recurrence(RNN) to attention-based NLP models Introducing the Transformer model Great results with Transformers D

본 lecture에서는 다음과 같은 순서로 강의가 진행됩니다. machine translation Seq2Seq Attention Machine Translation Machine translation은 기계번역으로 위 그림처럼 입력으로 들어온 source(x)문장을 target 문장(y)로 번역하는 task를 model이 수행하는것입니다. Inpu...

Introduction 먼저 해당 lecture에서는 5가지의 질문을 던지면서 시작합니다. Which transfer learning methods work best, and what happens when we scale them up? 어떠한 전이학습 방법이 제일 좋고, 크기를 키우면 어떻게 작용할것인가? What about non-English...

본 lecture에서는 다음과 같은 순서로 강의가 진행됩니다. RNN language models Other uses of RNNs Exploding and vanishing gradients LSTMs 0. RNN language models RNN 모델은 input으로는 vocab size만큼의 차원을 가지는 one-hot vector로 그 문자에...

Introduction 지난 강의에서는 word embedding 기법 중 하나인 Word2Vec에 대해서 공부했다. Word2Vec을 통하여 단어간의 의미 관계를 벡터 공간에 표현할 수 있다. 중심단어(center word)와 주변단어(context word), 두개의 벡터를 내적값을 구하여 softmax를 통해 확률을 계산했다. Optimizatio...

이번 lecture의 목차는 다음과 같습니다. • What is NLG? • Formalizing NLG: a simple model and training algorithm • Decoding from NLG models • Training NLG models • Evaluating NLG Systems • Ethical Considerations 0...