Different embeddings+ LDA + Jensen-Shannon distance 😊

LDA with Jensen-Shannon distance:

LDA has many uses:

• Understanding the different varieties topics in a corpus (obviously),
• Getting a better insight into the type of documents in a corpus (whether they are about news, wikipedia articles, business documents)
• Quantifying the most used / most important words in a corpus
• document similarity and recommendation

---

Latent Dirichlet Allocation (LDA):

An unsupervised generative model that assigns topic distributions to documents.

• high level에서, 모델은 각각의 문서가 여러개의 토픽을 가지고 있다고 가정한다. 그래서 문서간에 토픽이 서로 겹칠 수 있다고 가정한다. →또한 토픽 간에 공유되는 동일한 단어가 있을 것이다
• 각 문서의 단어들은 문서의 토픽에 영향을 준다. 토픽이 세부적으로 정의될 필요는 없지만, "몇 개의 토픽"이 있는지는 사전에 정의되어야 한다.

The model generates to latent (hidden) variables :

(1) 각 문서들의 토픽들에 대한 분포

(2) 각 토픽들의 단어들에 대한 분포

학습 후, 각 문서들은 모든 토픽에 대해 discrete 분포를 가질 것이며, 각 토픽들은 모든 단어에 대해 discrete 분포를 가질 것이다.

Collapsed gibbs sampling

http://geference.blogspot.com/2011/11/blog-post_30.html