# Natural language processing

21개의 포스트

[NLP] 단어의 의미를 학습시키는 방법

"밑바닥부터 시작하는 딥러닝2"를 기반으로 정리한 내용입니다.자연어를 컴퓨터에게 이해시키려면 "단어의 의미"를 이해시켜야 한다. 지금부터 컴퓨터에게 단어의 의미에 대해 학습시킬 수 있는 3가지 기법에 대해 알아보자.시소러스를 활용한 기법통계 기반 기법추론 기반 기법(W

2021년 9월 16일
·
0개의 댓글
post-thumbnail

논문 읽기 및 구현 - Show and Tell: A Neural Image Caption Generator

CVPR 2015년도에 실린 논문지인 Show and Tell: A Neural Image Caption Generator를 참고하여 Image Captioning을 구현한다.위 그림처럼 어떤 이미지를 잘 설명해주는 문장을 만드는 것을 Image Captioning이라

2021년 8월 26일
·
0개의 댓글
post-thumbnail

어텐션-Attention(2)

위 주제는 밑바닥부터 시작하는 딥러닝2 8강, CS224d를 바탕으로 작성한 글 입니다.이전글에서 Attention의 구현과 "날짜"데이터를 사용해서 학습시켜보고 기존의 seq2seq모델과 비교를 해보았다.오늘은 "어텐션(Attention)"에서 심층적으로 몇가지의 기

2021년 8월 17일
·
0개의 댓글
post-thumbnail

어텐션-Attention(1)

위 주제는 밑바닥부터 시작하는 딥러닝2 4강, CS224d를 바탕으로 작성한 글 입니다. 이전글에서 Seq2seq 구현과 개선할 수 있는 기법 중에 입력 데이터 반전(Reverse)과 엿보기(Peeky)를 공부해봤다. 오늘은 "어텐션(Attention)"을 공부해 볼

2021년 8월 17일
·
0개의 댓글
post-thumbnail

RNN을 사용한 문장 생성(2)

위 주제는 밑바닥부터 시작하는 딥러닝2 4강, CS224d를 바탕으로 작성한 글 입니다.이전글에서 언어 모델을 사용하여 문장을 생성해보았다. 문장 생성을 위한 'seq2seq'를 알아보았다. 이전글 보기 (RNN을 사용한 문장 생성(1)오늘은 덧셈 데이터를 이용해서 s

2021년 8월 11일
·
0개의 댓글
post-thumbnail

RNN을 사용한 문장 생성(1)

위 주제는 밑바닥부터 시작하는 딥러닝2 4강, CS224d를 바탕으로 작성한 글 입니다.이전 글에서 LSTM을 사용하여 언어 모델을 구현하고, 드랍아웃, 가중치 공유를 사용하여 개선해보았다. 그리고 PTB 데이터를 학습해보았다.오늘은 언어 모델을 사용해 '문장 생성'을

2021년 8월 11일
·
0개의 댓글
post-thumbnail

[Paper Review] CoRel: Seed-Guided Topical Taxonomy Construction by Concept Learning and Relation Transferring

Taxonomy는 커다란 corpus의 단어들을 계층 구조로 나타내어 각 단어 사이의 관계를 이해하기 쉽게 분류하는 체계를 말한다. 특히 본 논문에서는 seed-guided taxonomy라 하여, 사람이 먼저 제시한 seed taxonomy를 기반으로 text cor

2021년 8월 9일
·
0개의 댓글
post-thumbnail

게이트가 추가된 RNN(2)

위 주제는 밑바닥부터 시작하는 딥러닝2 4강, CS224d를 바탕으로 작성한 글 입니다. 이전 글에서 RNN의 문제와, 게이트가 추가된 RNN인 LSTM에 대해서 알아보는 시간을 가졌다.

2021년 8월 4일
·
0개의 댓글
post-thumbnail

게이트가 추가된 RNN(1)

위 주제는 밑바닥부터 시작하는 딥러닝2 4강, CS224d를 바탕으로 작성한 글 입니다.이전 글에서 RNN과 TimeRNN, RNNLM에 대해서 코드를 구현하는 시간을 가졌다.이전글에서 말했듯 RNN이 장기 기억을 처리하지 못한다는 단점으로 LSTM, GRU와 같은 '

2021년 8월 4일
·
0개의 댓글
post-thumbnail

[Paper Review] An Unsupervised Neural Attention Model for Aspect Extraction

sentiment analysis의 주요 과제 중 하나인 aspect extraction은 문장 내에서 토픽의 역할을 하는 aspect term을 추출하는 것을 목표로 한다. aspect extraction은 2개의 sub-task로 이루어진다. 먼저 리뷰 문서 내의

2021년 8월 1일
·
0개의 댓글
post-thumbnail

[Paper Review] Fine-grained Sentiment Classification using BERT

sentiment classification은 단어, 문장 등의 텍스트를 사전에 정의한 sentiment 클래스로 분류하는 supervised machine learning task이다. 흔히 알려진 binary sentiment classification은 텍스트를

2021년 7월 30일
·
0개의 댓글
post-thumbnail

순환 신경망 RNN (2)

위 주제는 밑바닥부터 시작하는 딥러닝2 4강, CS224d를 바탕으로 작성한 글 입니다.이전 글에서 RNN에 대해서 간단히 알아보는 시간을 가졌다.이전글 보러가기 >> 순환 신경망 RNN(1)오늘은 RNN을 직접 구현해보는 시간!Time RNN 계층 : 순환 구조를 펼

2021년 7월 28일
·
0개의 댓글
post-thumbnail

순환 신경망 RNN (1)

위 주제는 밑바닥부터 시작하는 딥러닝2 4강, CS224d를 바탕으로 작성한 글 입니다.오늘은 드디어 RNN! 순환 신경망 (Recurrent Neural Network)은 Squential Data처리에 적합한 모델이다.Sequential Data는 데이터와 데이터가

2021년 7월 27일
·
0개의 댓글
post-thumbnail

[Paper Review] BERT: Pre-training of Deep Bidirectional Transformers for Language Understanding

2018년 구글이 공개한 인공지능 언어 모델 BERT에 대한 논문이다. BERT는 등장과 동시에 자연어 처리(Natural Language Processing, 이하 NLP) 분야에서 획기적인 성능을 보여주었다.

2021년 7월 26일
·
1개의 댓글
post-thumbnail

word2vec 속도 개선(2)

위 주제는 밑바닥부터 시작하는 딥러닝2 4강, CS224d를 바탕으로 작성한 글 입니다.이전글에서 Embedding과 네거티브 샘플링을 통하여 CBOW 성능을 개선시켰다.이전글 보러가기 word2vec 속도 개선(1)이제 개선된 CBOW 신경망 모델에 PTB 데이터셋을

2021년 7월 24일
·
0개의 댓글
post-thumbnail

[Paper Review] Latent Aspect Rating Analysis on Review Text Data: A Rating Regression Approach

리뷰를 분석하여 주요한 문장을 추출하고, 상품이나 서비스에 대한 고객들의 의견을 파악하는 것은 중요한 과제이다. 특히 리뷰의 총점(이하 overall rating)이 같더라도 고객마다 중요하게 생각한 요소(이하 aspect)는 다를 수 있기 때문에, 주요 aspect들

2021년 7월 24일
·
3개의 댓글
post-thumbnail

word2vec 속도 개선(1)

위 주제는 밑바닥부터 시작하는 딥러닝2 2강, CS224d를 바탕으로 작성한 글 입니다. 이전 글에서 구현한 CBOW모델은 말뭉치에 포함된 어휘 수가 많아지면 계산량도 커진다. 이전글 보러가기 word2vec

2021년 7월 21일
·
0개의 댓글
post-thumbnail

word2vec

위 주제는 밑바닥부터 시작하는 딥러닝2 2강, CS224d를 바탕으로 작성한 글 입니다. 추론 기법 이전에 '통계 기반 기법'에 대해서 다루어 보았는데 이번에는 통계 기반 기법의 문제를 지적하고, 그 대안인 추론 기반 기법의 이점을 설명한다. 통계 기반 기법의 문제점

2021년 7월 18일
·
0개의 댓글
post-thumbnail

자연어와 단어의 분산 표현

위 주제는 밑바닥부터 시작하는 딥러닝2 2강, CS224d를 바탕으로 작성한 글 입니다.NLP (Natural Language Processing, 자연어처리)는 텍스트에서 의미있는 정보를 분석, 추출하고 이해하는 일련의 기술집합입니다.

2021년 7월 6일
·
0개의 댓글

[paper-review] Contextual Augmentation: Data Augmentation by Words with Paradigmatic Relations

Kobayashi, Sosuke. "Contextual augmentation: Data augmentation by words with paradigmatic relations." arXiv preprint arXiv:1805.06201 (2018).

2021년 2월 15일
·
0개의 댓글