# cs224n

78개의 포스트

[CS224n #3] Topic Modeling - LSA/LDA/ BERTopic

0. Summary Topic modeling : corpus 집합에서 통계적 분석 방식을 사용해서 문서의 context를 담고 있는 유의미한 word를 뽑아내고 representation 만들기. DTM : Document-Term Matrix / 문서 단어 행렬 키워드로 보는 Method LSA : #유사도, #토픽 모델링 아이디어 시초 #SVD ...

6일 전
·
0개의 댓글
·

[CS224n #1] GloVe: Global Vectors for Word Representation (EMNLP, 2014)

BackgroundWord2vec의 한계 : vector space representation learning의 발달에도 아직 regularities가 아직 부족 (Regularity is the quality of being stable and predictable.

2022년 8월 16일
·
0개의 댓글
·

[cs224n] 1주차 wordvecs1 and 2

meaning의 definition1\. 단어나 어구에 의해 표현되는 아이디어2\. 단어나 signs에 의해 사람들이 나타내려는 아이디어3\. 글, 그림 등을 통해 나타내려는 아이디어즉 signifier(symbol)에 의해 표현되는 아이디어 = 의미(meaning)입

2022년 8월 10일
·
0개의 댓글
·
post-thumbnail

?

Phase Structure?(= context-free grammars) > organizes words into nested constituents. Dependency Structure? > 어떤 단어가 다른 어떤 단어에 의존하는지 나타냄 sentence st

2022년 7월 25일
·
0개의 댓글
·
post-thumbnail

[CS224N] 2. Word Vectors and Word Senses

Word2Vec, GloVe, 유의어 처리 방법 등

2022년 7월 13일
·
0개의 댓글
·
post-thumbnail

[CS224N] 1. Word Vectors & Word2Vec

자연어 처리에서 단어를 어떻게 표현하는지, 단어 임베딩이 무엇인지, 대표적인 단어 임베딩 모델인 Word2Vec의 아이디어가 무엇인지 학습한다.

2022년 7월 12일
·
0개의 댓글
·
post-thumbnail

[CS224n] Pre-training Language Models: 전이 학습, 사전 훈련된 모델 종류 등

Stanford CS224N NLP with Deep Learning | Winter 2021 | Lecture 10 - Transformers and Pretraining 및 Hugging Face: 사전 훈련 모델이 등장하게 된 배경, 전이 학습 등을 설명한다.

2022년 7월 6일
·
0개의 댓글
·
post-thumbnail

[CS224n] Transformers: 셀프 어텐션, 멀티 헤드 어텐션, 포지셔널 임베딩 등

[Stanford CS224N NLP with Deep Learning | Winter 2021 | Lecture 9 - Self- Attention and Transformers] 트랜스포머의 motivation, 계층 구조, 셀프 어텐션 등을 설명한다.

2022년 7월 5일
·
0개의 댓글
·

[cs224n] Lecture 6 - Simple and LSTM RNNs

cs224n 스터디

2022년 5월 1일
·
0개의 댓글
·
post-thumbnail

Lecture 15: Integrating Knowledge in Language Model

일반적인 language model은 text가 주어졌을 때, 다음 단어를 예측하고 그 확률을 계산한다.최근에는 masked language model이 text의 일부분을 mask token으로 대체하고, 이를 bidirectional context를 이용해 mask

2022년 2월 14일
·
0개의 댓글
·
post-thumbnail

Lecture 11: Question Answering

question answering의 목표는 인간의 언어로 이뤄진 질문에 대해 자동적으로 대답하는 시스템을 만드는 것

2022년 2월 8일
·
0개의 댓글
·
post-thumbnail

Lecture 10: Pretraining

cs224n lecture 10: pretraining

2022년 2월 8일
·
0개의 댓글
·
post-thumbnail

Lecture 9: Self-Attention and Transformers

Linear interaction distance Recurrent Model은 left-to-right, 멀리 떨어진 단어들끼리의 관계를 나타내기 위해서 O(sequence length)만큼이 소요된다. 따라서 Long-distance dependencies가 나타

2022년 2월 6일
·
0개의 댓글
·
post-thumbnail

[CS224n] Lecture 18: Constituency Parsing, TreeRNNS

작성자: 15기 김현지Contents1\. Constitency Parsing2\. Simple Tree RNN3\. Syntactically-United RNN4\. Matrix-Vector RNN5\. Recursive Neural Tensor Network6\.

2021년 12월 31일
·
0개의 댓글
·
post-thumbnail

[CS224n] Lecture 15: Natural Language Generation

작성자: 성균관대학교 사회학과 박지은시작하기 전에 자연어 생성이 무엇인지부터 살펴보겠습니다. 자연어 생성은 이름 그대로 주어진 input X가 주어졌을 때, 이를 토대로 새로운 텍스트를 생성하는 작업을 말합니다. 기계 번역, 요약, 대화, 이미지 캡셔닝 등을 예로 들

2021년 12월 30일
·
0개의 댓글
·
post-thumbnail

[CS224n] Lecture 12: Subword Models

작성자: 14기 박지은이번 주제를 살펴보기에 앞서, 언어학 용어를 몇 가지 짚고 넘어가겠습니다.Phonetics (음성학): 사람의 말소리를 과학적으로 연구하는 학문으로 말소리의 물리적인 발성과 인지를 연구Phonology (음운론): 특정 개별 언어 또는 여러 언어의

2021년 12월 1일
·
2개의 댓글
·
post-thumbnail

[CS224N] Lecture 6: Language Models and Recurrent Neural Network

작성자: 고려대학교 통계학과 김현지Contents1\. Language Modeling2\. n-gram Language Model3\. Neural Language Model4\. RNN Language ModelLanguage Modeling: 주어진 단어의 시퀀스

2021년 11월 10일
·
2개의 댓글
·
post-thumbnail

[CS224N] Lecture5: Dependency Parsing

작성자: 성균관대학교 사회학과 박지은Constituency and DependencyDependency Grammar and TreebanksTransition-based Dependency ParsingNeural Dependency Parsing우선 parsing이

2021년 11월 8일
·
4개의 댓글
·
post-thumbnail

[CS224N] Lecture 2: Word Vectors and Word Senses

작성자: UNIST 산업공학과 김건우Unit 01. word2vec (review)Unit 02. Optimization, Negative SamplingUnit 03. Word prediction methodsUnit 04. GloVeUnit 05. How to ev

2021년 10월 26일
·
5개의 댓글
·