NLP

위 주제는 밑바닥부터 시작하는 딥러닝2 2강, CS224d를 바탕으로 작성한 글 입니다.NLP (Natural Language Processing, 자연어처리)는 텍스트에서 의미있는 정보를 분석, 추출하고 이해하는 일련의 기술집합입니다.

위 주제는 밑바닥부터 시작하는 딥러닝2 2강, CS224d를 바탕으로 작성한 글 입니다. 추론 기법 이전에 '통계 기반 기법'에 대해서 다루어 보았는데 이번에는 통계 기반 기법의 문제를 지적하고, 그 대안인 추론 기반 기법의 이점을 설명한다. 통계 기반 기법의 문제점

위 주제는 밑바닥부터 시작하는 딥러닝2 2강, CS224d를 바탕으로 작성한 글 입니다. 이전 글에서 구현한 CBOW모델은 말뭉치에 포함된 어휘 수가 많아지면 계산량도 커진다. 이전글 보러가기 word2vec

위 주제는 밑바닥부터 시작하는 딥러닝2 4강, CS224d를 바탕으로 작성한 글 입니다.이전글에서 Embedding과 네거티브 샘플링을 통하여 CBOW 성능을 개선시켰다.이전글 보러가기 word2vec 속도 개선(1)이제 개선된 CBOW 신경망 모델에 PTB 데이터셋을

위 주제는 밑바닥부터 시작하는 딥러닝2 4강, CS224d를 바탕으로 작성한 글 입니다.오늘은 드디어 RNN! 순환 신경망 (Recurrent Neural Network)은 Squential Data처리에 적합한 모델이다.Sequential Data는 데이터와 데이터가

위 주제는 밑바닥부터 시작하는 딥러닝2 4강, CS224d를 바탕으로 작성한 글 입니다.이전 글에서 RNN에 대해서 간단히 알아보는 시간을 가졌다.이전글 보러가기 >> 순환 신경망 RNN(1)오늘은 RNN을 직접 구현해보는 시간!Time RNN 계층 : 순환 구조를 펼

위 주제는 밑바닥부터 시작하는 딥러닝2 4강, CS224d를 바탕으로 작성한 글 입니다.이전 글에서 RNN과 TimeRNN, RNNLM에 대해서 코드를 구현하는 시간을 가졌다.이전글에서 말했듯 RNN이 장기 기억을 처리하지 못한다는 단점으로 LSTM, GRU와 같은 '

위 주제는 밑바닥부터 시작하는 딥러닝2 4강, CS224d를 바탕으로 작성한 글 입니다. 이전 글에서 RNN의 문제와, 게이트가 추가된 RNN인 LSTM에 대해서 알아보는 시간을 가졌다.

위 주제는 밑바닥부터 시작하는 딥러닝2 4강, CS224d를 바탕으로 작성한 글 입니다.이전 글에서 LSTM을 사용하여 언어 모델을 구현하고, 드랍아웃, 가중치 공유를 사용하여 개선해보았다. 그리고 PTB 데이터를 학습해보았다.오늘은 언어 모델을 사용해 '문장 생성'을

위 주제는 밑바닥부터 시작하는 딥러닝2 4강, CS224d를 바탕으로 작성한 글 입니다.이전글에서 언어 모델을 사용하여 문장을 생성해보았다. 문장 생성을 위한 'seq2seq'를 알아보았다. 이전글 보기 (RNN을 사용한 문장 생성(1)오늘은 덧셈 데이터를 이용해서 s

위 주제는 밑바닥부터 시작하는 딥러닝2 4강, CS224d를 바탕으로 작성한 글 입니다. 이전글에서 Seq2seq 구현과 개선할 수 있는 기법 중에 입력 데이터 반전(Reverse)과 엿보기(Peeky)를 공부해봤다. 오늘은 "어텐션(Attention)"을 공부해 볼

위 주제는 밑바닥부터 시작하는 딥러닝2 8강, CS224d를 바탕으로 작성한 글 입니다.이전글에서 Attention의 구현과 "날짜"데이터를 사용해서 학습시켜보고 기존의 seq2seq모델과 비교를 해보았다.오늘은 "어텐션(Attention)"에서 심층적으로 몇가지의 기

CVPR 2015년도에 실린 논문지인 Show and Tell: A Neural Image Caption Generator를 참고하여 Image Captioning을 구현한다.위 그림처럼 어떤 이미지를 잘 설명해주는 문장을 만드는 것을 Image Captioning이라