# Natural language processing

35개의 포스트
post-thumbnail

[NLP] Attention Is All You Need (NIPS 2017)

드디어 정리한 (번역에 가까운) 그 유명한 Attention, Transformer!

2022년 9월 3일
·
0개의 댓글
·

NLP(Natural Language Processing)

사용자가 일기를 작성하면, 일기에 대한 감상평을 남겨주고 (초등학생 시절 담임선생님께서 남겨주시던 코멘트에서 모티브), 일기 내용을 기반으로 그림 일기를 그려주는 일기장 어플리케이션을 개발하였다. 이 과정에서 학습한 자연어 처리 모델 이론에 대해 정리하려 한다. Key

2022년 8월 4일
·
0개의 댓글
·

[Paper Review] Multi-Task Deep Neural Networks for Natural Language Understanding

텍스트를 벡터로 표현하는 Language Representation은 natural language understanding(NLU) task에 필수 요소입니다. NLU task를 수행을 위해 multi-task learning, language model pre-tr

2022년 7월 22일
·
0개의 댓글
·

[Paper Review] Exploring the Limits of Transfer Learning with a Unified Text-to-Text Transformer

모델을 먼저 pre-train하고 목적에 맞는 task에 맞게 fine-tune하는 transfer learning은 deep learning을 활용한 다양한 분야의 강력한 성장을 이루게 하였습니다. 또한, 2017년 발표된 transformer 아키텍처는 여러 NLP

2022년 7월 10일
·
0개의 댓글
·

[Paper Review] Large Language Models are Zero-Shot Reasoners

최근 사전학습된 Large 언어 모델이 자연어 생성 task에서 논리적인 사고를 수행할 수 있도록 예시 정답을 few-shot으로 학습하여 성능을 끌어올리기 위한 몇몇 연구가 존재합니다. 이번에 발표된 해당 논문은 언어 모델이 질문-답변 task에서 답변에 단순한 t

2022년 6월 22일
·
0개의 댓글
·

[Paper Review] Sentence-BERT: Sentence Embeddings using Siamese BERT-Networks

BERT와 RoBERTa는 semantic textual similarity와 같은 문장 짝짓기 task에서 sota를 달성했었습니다. 하지만 두개의 문장을 network에 입력해야되고 많은 연산량을 요구하기 때문에, semantic similarity를 탐색하는 ta

2022년 4월 21일
·
0개의 댓글
·

[Paper Review] BART: Denoising Sequence-to-Sequence Pre-training for Natural Language Generation, Translation, and Comprehension

BART는 Bidirectional Auto-Regressive Transformer를 의미하는 약어입니다. Transformer를 활용해 문장 토큰들을 Bidirectional Encoding하는 BERT와 Auto-Regressive하게 Decoding하는 Gene

2022년 4월 7일
·
0개의 댓글
·

Natural Language Processing

Group news articles by topic compile documents featurize documents compare the features Bag of words : Document represented as vectors \- “Blue House

2022년 4월 5일
·
0개의 댓글
·

[Paper Review] Transformer-XL: Attentive Language Models Beyond a Fixed-Length Context

2019년 ACL에서 발표한 논문입니다. 0. Abstract Transformer는 longer-term dependency의 학습에 잠재력이 있지만, 고정된 길이의 문맥만을 학습하기 때문에 한계가 있습니다. 따라서 본 논문에서는 고정된 길이를 넘어 의존성을 학습할 수 있는 Transformer-XL을 소개하고자 합니다. longer-term depe...

2022년 3월 30일
·
0개의 댓글
·

[Paper Review] BERT: Pre-training of Deep Bidirectional Transformers for Language Understanding

BERT (원문 번역)2018년 구글에서 공개한 자연어 사전학습모델 BERTBERT는 라벨링되지 않는 텍스트 문서의 context를 파악하기 위해 bidirectional 한 모델이다.pre-trained BERT 모델은 output layer를 추가해 fine-tun

2022년 3월 30일
·
0개의 댓글
·

Transformer

Transformer

2022년 3월 8일
·
0개의 댓글
·

Language Modeling with RNN

Language Modeling with RNN

2022년 3월 8일
·
0개의 댓글
·

Distributed Representation

Distributed Representation

2022년 3월 8일
·
0개의 댓글
·

Count-based Representation

Count-based Representation

2022년 3월 8일
·
0개의 댓글
·

Count-based Representation

[n421] SECTION 04 Sprint 2 Natural Language Processing Count-based Representation

2022년 3월 2일
·
0개의 댓글
·
post-thumbnail

논문 읽기 및 구현 - Show and Tell: A Neural Image Caption Generator

CVPR 2015년도에 실린 논문지인 Show and Tell: A Neural Image Caption Generator를 참고하여 Image Captioning을 구현한다.위 그림처럼 어떤 이미지를 잘 설명해주는 문장을 만드는 것을 Image Captioning이라

2021년 8월 26일
·
0개의 댓글
·
post-thumbnail

어텐션-Attention(2)

위 주제는 밑바닥부터 시작하는 딥러닝2 8강, CS224d를 바탕으로 작성한 글 입니다.이전글에서 Attention의 구현과 "날짜"데이터를 사용해서 학습시켜보고 기존의 seq2seq모델과 비교를 해보았다.오늘은 "어텐션(Attention)"에서 심층적으로 몇가지의 기

2021년 8월 17일
·
0개의 댓글
·
post-thumbnail

어텐션-Attention(1)

위 주제는 밑바닥부터 시작하는 딥러닝2 4강, CS224d를 바탕으로 작성한 글 입니다. 이전글에서 Seq2seq 구현과 개선할 수 있는 기법 중에 입력 데이터 반전(Reverse)과 엿보기(Peeky)를 공부해봤다. 오늘은 "어텐션(Attention)"을 공부해 볼

2021년 8월 17일
·
0개의 댓글
·
post-thumbnail

RNN을 사용한 문장 생성(2)

위 주제는 밑바닥부터 시작하는 딥러닝2 4강, CS224d를 바탕으로 작성한 글 입니다.이전글에서 언어 모델을 사용하여 문장을 생성해보았다. 문장 생성을 위한 'seq2seq'를 알아보았다. 이전글 보기 (RNN을 사용한 문장 생성(1)오늘은 덧셈 데이터를 이용해서 s

2021년 8월 11일
·
0개의 댓글
·
post-thumbnail

RNN을 사용한 문장 생성(1)

위 주제는 밑바닥부터 시작하는 딥러닝2 4강, CS224d를 바탕으로 작성한 글 입니다.이전 글에서 LSTM을 사용하여 언어 모델을 구현하고, 드랍아웃, 가중치 공유를 사용하여 개선해보았다. 그리고 PTB 데이터를 학습해보았다.오늘은 언어 모델을 사용해 '문장 생성'을

2021년 8월 11일
·
0개의 댓글
·