SGNS(Skip-Gram with Negative Sampling)

word2vec은..

• 단어 집합의 크기가 크다
• 역전파 과정에서 모든 단어의 임베딩 벡터값을 업데이트 하는 것은 비효율적(계산량 多)

이러한 한계를 개선하기 위해 전체 단어집합이 아닌 일부 단어집합에만 집중하는 학습방법을 negative sampling skip-gram(SGNS)이라고 한다.

💥 구글 gensim에서도 sgns을 제공하는가?
제공은 X -> 직접 구성해야!
데이터 구성
케라스에서 제공하는 skipgram의 '전처리 기능'을 사용하여
중심단어와 주변단어의 관계를 가지는 경우에는 1의 레이블을, 그렇지 않은 경우는 0의 레이블을 가지도록 데이터셋을 구성한다.

학습과정
skip-gram과 달리 gensim을 그대로 이용하는 것이 아니라
< 중심단어를 위한 임베딩 테이블 >
< 주변단어를 위한 임베딩 테이블 >
이렇게 2개의 테이블을 만들고

활성화함수(시그모이드 사용)를 거쳐
(단어와 임베딩 테이블 간의 내적 결과)를 통해 1또는 0으로 예측하도록 학습!!

결과 확인하기
학습된 임베딩 벡터들을 vector.txt에 저장

f = open('vectors.txt' ,'w')
f.write('{} {}\n'.format(vocab_size-1, embed_size))

그 후 gensim의 models.KeyedVectors.load_word2vec_format()으로 로드하면 단어 벡터들 간의 유사도를 구할 수 있다.

---

🎯 Negative Sampling

일부 단어집합에만 집중하기 위해 일부 negative한 샘플링 데이터를 집어넣어 학습해야 할 데이터의 양을 줄인다.
(약간 데이터에 반례를 추가하는 느낌?!)

---

😄 SGNS (Skip-gram Negative Sampling)

Skip-Gram에서는 모든 단어들에 대해서 중심단어-주변단어 간의 관계를 학습하였다. 그로인해 학습의 양이 굉장히 많아졌다.


예를 들어, 총 10,000개의 단어로 이루어진 문서가 있다고 가정한다.
학습해야 할 임베딩 벡터(주변단어)는 300개라고 한다.
Skip-Gram에서는 임베딩 벡터를 학습하기 위한 소프트맥스 단계의 행렬의 요소가 10,000 x 300 = 3,000,000개가 된다.



SGNS에서는 문서에 모든 단어가 아니라 k+1개의 단어에 대해서만 임베딩 벡터를 학습하게 된다.

1) SGNS에서는 Skip-Gram과 달리 (중심단어와 주변단어의 '쌍')을 이용한다.

2) (중심단어-주변단어)에 대해서는 positive를,

(중심단어-주변단어가 아닌 단어)에 대해서는 negative를 취해준다.

학습할 데이터에는 1개의 positive한 sample과 k개의 negative한 sample이 존재한다. 총 k+1개의 샘플에 대해서만 학습한다.

3) positive sample은 레이블을 1로, negative sample은 레이블을 0으로 둔다.

예시

다음과 같은 문장이 있다고 가정했을때,,

• 중심단어
  <닳도록>
  
  
• positive sample
  positive의 주변단어는 중심단어를 중심으로 window size에 기반하여 정한다.
  위의 경우에는 positive의 주변단어는 <백두산이, 마르고, 하느님이, 보우하사> 이다.
  이에 positive sample은
  <닳도록, 백두산이>, <닳도록, 마르고>, <닳도록, 하느님이>, <닳도록, 보우하사> 이다.
  
  
  positive sample은 1개이다.
  
  
  
  
• negative sample
  negative sample은 특정한 방법에 따라 일부 데이터를 sampling 한다.(특정한 방법은 아래에서 소개)
  샘플링한 단어들을 중심단어와 쌍으로 이루어 negative sampling 데이터를 만든다.
  
  
  총 negative sample은 k개이다.
  윈도우 사이즈에 기반한 네거티브 샘플을 k개 만큼 만들어준다.
  
  
  

4) (학습과정) Input으로는 (중심단어-주변단어의 쌍)을 넣는다.

중심단어와 주변단어에 대해서 각각 다른 두개의 임베딩 테이블이 존재한다.

첫번째 임베딩 테이블은 중심 단어(입력1)의 테이블 룩업을 위한 것이고,
두번째 테이블은 입력 2인 주변 단어의 테이블 룩업을 위한 임베딩 테이블이다.
각 단어는 각 임베딩 테이블을 테이블 룩업하여 임베딩 벡터로 변환된다.

(단어 정제가 잘 돼있지는 않지만 양해바람)

좌측은 중심단어에 대한 임베딩 테이블
우측은 주변단어에 대한 임베딩 테이블

학습이 계속됨에 따라 임베딩 테이블은 계속해서 업데이트 될 것이다.
좌측 테이블은 윈도우가 슬라이딩 될때마다 다른 단어들도 업데이트 될 것이고,
우측 테이블은 매 학습시마다 positive한 주변단어+negative한 주변단어 가 업데이트 될 것이다.

5) (학습과정) 임베딩 벡터 업데이트

모든 쌍에 대하여 중심단어와 주변단어의 내적값을 스코어벡터(예측값)으로 본다.
스코어벡터와 레이블(1, 0)과의 오차로부터 역전파 하여
중심단어와 주변단어의 임베딩 테이블(벡터)를 업데이트한다.


학습이 완료된 후에는
(1) 두 행렬을 더하여 사용하거나
(2) 두 행렬을 연결해서 사용하거나
(3) 좌측의 행렬(중심단어에 대한 임베딩 벡터)을 사용한다.

6) k(negative sample할 개수)는 학습 데이터의 양에 따라 직접 정한다.

7) Negative sampling할 단어의 선정 기준

자주 등장하는 단어에 가중치를 부여하여,
이 단어들이 negative sampling으로 뽑힐 수 있게끔 한다.


공식

예시

• 원래 출현빈도가 높은 단어들에 낮은 가중치를 부여함으로써 negative sample이 될 확률이 늘어난다.

  (위의 내용 부가설명)
  w_1은 원래 등장확률이 0.1
  여기에 negative sample 가중치를 부여하여 w_1은 0.1284가 됨!
  즉, 잘 등장하지않는 단어에 높은 가중치를 부여함으로써 negative sample이 될 수 있게끔 한거임!
  
  
  반면에.
  w_4는 원래 등장확률이 0.4
  negative 가중치를 부여하니 w_4는 0.3631로 가중치가 낮아짐
  자주 등장하는 단어임으로 낮은 가중치를 부여하여 negative sample로 잘 안뽑히게 하는거임!!!!

8) skip-gram에 비하여 SGNS가 훨씬 효율적인 학습방법임을 확인할 수 있음

SGNS
= (1+k) x (주변단어)

위의 예시에서의 결괏값

9) 궁극적인 목표는 skip-gram과 동일하게 임베딩벡터를 구하는 것이다.

---

👸 SGNS은 이중분류를 위한 학습방식이다.

skip-gram은 다중분류 학습방식이다.
I love you so much란 문장이 있다고 가정하면
skip-gram은 중심단어에 대한 주변단어들 간의 관계를 보는 것
다중분류. 답 할 것이 많음

SGNS은 love와 you 단어가 있다면 둘의 관계는 positive한가? negative한가?를 아는 것.
긍정인지 부정인지만 알려달라.