# NLP
From Word Embeddings To Document Distances
Word2Vec을 활용하여 문서 간의 거리를 측정하는 Word Mover's Distance를 소개하는 논문입니다.
감정분석(Sentiment Analysis)
정의view or emtion 뒤의 상황 인식한다. 즉, 감정을 찾고 분석하거나 의사소통의 부분적인 요소들을 분석하기도 한다.배경사실 인간은 다양한 언어를 통해 여러 가지 표현방식으로 의사소통을 하고 그 모든 것에는 감정(긍정,부정,neutral)이 관련이 되어있습니다
Neighborhood Contrastive Learning for Novel Class Discovery (CVPR / 2021) paper review
Novel Class Discovery task에 대하여 Neighborhood Contrastive Learning + Hard Negative Generation method를 제안
Large-Margin Contrastive Learning with Distance polarization Regularizer (ICML / 2021) paper review
Distance Polarization Regularizer를 사용하여 기존의 Contrastive Learning을 개선하는 method를 제안
[D&A 운영진 딥러닝 스터디] 4주차 1차시
Text 데이터를 분석하고 모델링하는 분야NLU + NLG자연어 이해(NLU; Natural Language Understanding): 자연어를 이해하는 영역자연어 생성(NLG; Natural Language Generation): 자연어를 생성하는 영역NLP 과정T
데이터사이언티스트
NLP로 사수없이 성장하기enfp무계획의 대표적인 인물인 내가 그동안 공부하는 것을 notion에 작성해왔는데 구글링시 다른 사람들이 나의 공부기록을 보지 못한다는 사실을 알게되었다.지금은 내가 작성하는 기록들이 도움이 되지는 못하겠지만, 언젠가는 나의 기록이 나처럼
Convolutional Neural Networks for Sentence Classification
BOAZ 동아리에서 진행한 3주차 논문 스터디 내용을 공유합니다.
Transformer_Decoder
한빛미디어 출판 "구글 BERT의 정석 " 책을 참고해서 작성하는 개인 공부 자료입니다. 혹시 내용에 저작권 등 문제가 있다면 알려주시면 감사하겠습니다.
Review(리뷰) - A survey of PLM based Text Generation
이 페이퍼는 text-generation에 관한 내용을 pretrained-language model 중심으로 다룬 내용 - 여러가지 연구 흐름을 파악하기 용이함필자의 기존 지식과 논문의 내용을 기반해서 요약을 해봄서두1\. 텍스트 생성이란 데이터로부터 자연스러운 말을
ᄂ 🔶 [18 일차] : EXPLORATION 6. 영화 리뷰 감성분석
IMDb Large Movie Dataset은 50000개의 영어로 작성된 영화 리뷰 텍스트로 구성긍정은 1, 부정은 0의 라벨50000개의 리뷰 중 절반인 25000개가 훈련용 데이터, 나머지 25000개를 테스트용 데이터로 사용하도록 지정Downloading dat
[자연어 처리] Google BERT (1) - Transformer 알아보기 (작성중)
1. BERT란? Google에서 만든 사전 훈련된 모델이다. 등장 당시 11개의 NLP task에서 SOTA(State-Of-The-Art)를 기록한 어마어마한 모델이다. BERT의 모델은 Transformer(인코더-디코더 구조)를 기반으로 하고 있다. BERT는
HETFORMER: Heterogeneous Transformer with Sparse Attention for Long-Text Extractive Summarization
Abstract 요약 테스크에 대한 논문 의미 그래프를 담기 위해서 GNN을 주로 사용했음 긴 텍스트에서 사용하기 위한 좀 더 효율적인 모델 적은 메모리와 파라미터로 Rouge, F1 좋은 점수를 냈다. HETFORMER on Summarization 토큰, 문장,
COCO-LM : Correcting and Contrasting Text Sequences for Language Model Pretraining
ELECTRA ICLR 2020 (google research) Efficiently Learning an Encoder that Classifies Token Replacements Accurately. MLM (Masked Language Model, bidire
Transformer_Encoder
한빛미디어 출판 "구글 BERT의 정석 " 책을 참고해서 작성하는 개인 공부 자료입니다. 혹시 내용에 저작권 등 문제가 있다면 알려주시면 감사하겠습니다.
[논문 리뷰📃]R-BERT: Enriching Pre-trained Language Model with Entity Information for Relation Classification
NER(개체명 인식) 태스크를 수행하기 위해 여러 자료를 찾다가 R-BERT를 발견하게 되었습니다. 이 논문을 읽게 된 계기는 monologg님의 R-BERT 레포지토리를 보고 찾아 읽게 되었습니다. Abstract Relation classification은 두 개
[AIFFEL] 22.Jan.13 - Exploration, NLP_RNN
Sequence : unordered여도 된단다.텍스트는 문법이란 규칙이 있는데,그걸 기계가 학습하긴 어렵고,그래서 통계를 사용!언어 모델(Language Model)이라 함은: $$P(w n∣w 1,...,w n−1;θ)$: 즉, $θ$라는 파라미터로 $n-1$개 까
리뷰-albert: A lite BERT
이 논문은 앞으로 gpu 메모리 한계와 긴 training 학습의 한계점이 올 것이라고 예측을 하고, 이러한 문제를 해결하기 위한 두가지의 파라미터 축소 방법을 제공을 한다. 이를 통해 적은 메모리 사용과 학습 시간을 빠르게 가져갈 수 있는 이점을 가진다.제시할 두 가
