# Negative sampling

5개의 포스트
post-thumbnail

[밑바닥부터 시작하는 딥러닝2] 05. Word Embedding

자연어: 우리가 평소에 쓰는 말자연어 처리(NLP; Natural Language Processing): 우리의 말을 컴퓨터에게 이해시키기 위한 분야말은 문자로 구성되고, 문자는 단어로 구성된다.$\\therefore$ NLP에서는 단어의 의미를 이해시키는 것이 중요함

2022년 1월 24일
·
0개의 댓글

word2vec 이해하기 2부

앞에서 word2vec 의 대표 모델로 주변에 있는 단어들을 가지고, 중간에 있는 단어들을 예측하는 방법인 CBOW와 중간에 있는 단어로 주변 단어들을 예측하는 방법인 Skip-Gram 가 있다. 둘의 매커니즘은 유사하며 먼저 CBOW에 대해서 알아보자 CBOW CB

2021년 9월 30일
·
0개의 댓글
post-thumbnail

word2vec 이해하기 1부

들어가기에 앞서 최근에 딥러닝 기반 추천시스템을 공부하면서 밑바닥부터 시작하는 딥러닝을 읽게 되었다. 그 중에서 자연어 처리중에 기본시 되는 word2vec를 이해하는 과정에서 Embedding 과 negative sampling 에 대해 알아보자. 자연어와 단어

2021년 9월 26일
·
0개의 댓글
post-thumbnail

word2vec 속도 개선(2)

위 주제는 밑바닥부터 시작하는 딥러닝2 4강, CS224d를 바탕으로 작성한 글 입니다.이전글에서 Embedding과 네거티브 샘플링을 통하여 CBOW 성능을 개선시켰다.이전글 보러가기 word2vec 속도 개선(1)이제 개선된 CBOW 신경망 모델에 PTB 데이터셋을

2021년 7월 24일
·
0개의 댓글
post-thumbnail

word2vec 속도 개선(1)

위 주제는 밑바닥부터 시작하는 딥러닝2 2강, CS224d를 바탕으로 작성한 글 입니다. 이전 글에서 구현한 CBOW모델은 말뭉치에 포함된 어휘 수가 많아지면 계산량도 커진다. 이전글 보러가기 word2vec

2021년 7월 21일
·
0개의 댓글