# Natural language processing
[Paper review] BART
Intro MLM Models 기존 BERT를 비롯한 다양한 MLM(Masked Language Model) 방법론들이 좋은 성과를 내고 있으나 이들은 주로 특정 end tasks에(prediction, generation, etc.) 치중되어 있다는 한계가 있습니다
NLP(Natural Language Processing)를 적용한 일기장, 달이 들어주는 오늘 🌙
사용자가 일기를 작성하면, 일기에 대한 감상평을 남겨주고 (초등학생 시절 담임선생님께서 남겨주시던 코멘트에서 모티브), 일기 내용을 기반으로 그림 일기를 그려주는 일기장 어플리케이션을 개발하였다. 이 과정에서 학습한 자연어 처리 모델 이론에 대해 정리하려 한다. Key
[Paper Review] Multi-Task Deep Neural Networks for Natural Language Understanding
텍스트를 벡터로 표현하는 Language Representation은 natural language understanding(NLU) task에 필수 요소입니다. NLU task를 수행을 위해 multi-task learning, language model pre-tr
[Paper Review] Exploring the Limits of Transfer Learning with a Unified Text-to-Text Transformer
모델을 먼저 pre-train하고 목적에 맞는 task에 맞게 fine-tune하는 transfer learning은 deep learning을 활용한 다양한 분야의 강력한 성장을 이루게 하였습니다. 또한, 2017년 발표된 transformer 아키텍처는 여러 NLP
[Paper Review] Large Language Models are Zero-Shot Reasoners
최근 사전학습된 Large 언어 모델이 자연어 생성 task에서 논리적인 사고를 수행할 수 있도록 예시 정답을 few-shot으로 학습하여 성능을 끌어올리기 위한 몇몇 연구가 존재합니다. 이번에 발표된 해당 논문은 언어 모델이 질문-답변 task에서 답변에 단순한 t
[Paper Review] Sentence-BERT: Sentence Embeddings using Siamese BERT-Networks
BERT와 RoBERTa는 semantic textual similarity와 같은 문장 짝짓기 task에서 sota를 달성했었습니다. 하지만 두개의 문장을 network에 입력해야되고 많은 연산량을 요구하기 때문에, semantic similarity를 탐색하는 ta
[Paper Review] BART: Denoising Sequence-to-Sequence Pre-training for Natural Language Generation, Translation, and Comprehension
BART는 Bidirectional Auto-Regressive Transformer를 의미하는 약어입니다. Transformer를 활용해 문장 토큰들을 Bidirectional Encoding하는 BERT와 Auto-Regressive하게 Decoding하는 Gene
Natural Language Processing
Group news articles by topic compile documents featurize documents compare the features Bag of words : Document represented as vectors \- “Blue House
[Paper Review] Transformer-XL: Attentive Language Models Beyond a Fixed-Length Context
2019년 ACL에서 발표한 논문입니다. 0. Abstract Transformer는 longer-term dependency의 학습에 잠재력이 있지만, 고정된 길이의 문맥만을 학습하기 때문에 한계가 있습니다. 따라서 본 논문에서는 고정된 길이를 넘어 의존성을 학습할 수 있는 Transformer-XL을 소개하고자 합니다. longer-term depe...
[Paper Review] BERT: Pre-training of Deep Bidirectional Transformers for Language Understanding
BERT (원문 번역)2018년 구글에서 공개한 자연어 사전학습모델 BERTBERT는 라벨링되지 않는 텍스트 문서의 context를 파악하기 위해 bidirectional 한 모델이다.pre-trained BERT 모델은 output layer를 추가해 fine-tun
_%20Photo.jpeg)
Count-based Representation
[n421] SECTION 04 Sprint 2 Natural Language Processing Count-based Representation
논문 읽기 및 구현 - Show and Tell: A Neural Image Caption Generator
CVPR 2015년도에 실린 논문지인 Show and Tell: A Neural Image Caption Generator를 참고하여 Image Captioning을 구현한다.위 그림처럼 어떤 이미지를 잘 설명해주는 문장을 만드는 것을 Image Captioning이라
어텐션-Attention(2)
위 주제는 밑바닥부터 시작하는 딥러닝2 8강, CS224d를 바탕으로 작성한 글 입니다.이전글에서 Attention의 구현과 "날짜"데이터를 사용해서 학습시켜보고 기존의 seq2seq모델과 비교를 해보았다.오늘은 "어텐션(Attention)"에서 심층적으로 몇가지의 기
어텐션-Attention(1)
위 주제는 밑바닥부터 시작하는 딥러닝2 4강, CS224d를 바탕으로 작성한 글 입니다. 이전글에서 Seq2seq 구현과 개선할 수 있는 기법 중에 입력 데이터 반전(Reverse)과 엿보기(Peeky)를 공부해봤다. 오늘은 "어텐션(Attention)"을 공부해 볼
RNN을 사용한 문장 생성(2)
위 주제는 밑바닥부터 시작하는 딥러닝2 4강, CS224d를 바탕으로 작성한 글 입니다.이전글에서 언어 모델을 사용하여 문장을 생성해보았다. 문장 생성을 위한 'seq2seq'를 알아보았다. 이전글 보기 (RNN을 사용한 문장 생성(1)오늘은 덧셈 데이터를 이용해서 s
RNN을 사용한 문장 생성(1)
위 주제는 밑바닥부터 시작하는 딥러닝2 4강, CS224d를 바탕으로 작성한 글 입니다.이전 글에서 LSTM을 사용하여 언어 모델을 구현하고, 드랍아웃, 가중치 공유를 사용하여 개선해보았다. 그리고 PTB 데이터를 학습해보았다.오늘은 언어 모델을 사용해 '문장 생성'을