Papers
1.[Paper Review] Word2Vec
Keyword: CBOW, Skip gramStatistical NLP Create a statistical model to calculate the probability $P(s)$ of a proposition.Use Bayes' rule,$$P(s)=P(w1w_
2.[Paper Review] Seq2seq
Keyword: Stacked LSTMRNNWhereas in the existing Feed Forward Neural Network, learning only depended on the input, in the RNN, a hidden state that refl
3.[Paper Review] FastText
Skip n-gramThere are two ways to learn word embedding using (Deep)NN according to our perspective.One is CBOW(Continuous Bag of Words), which is focus
4.[Paper Review] GPT-1
One of the most difficult and trouble in NLP is learning from raw text.Most of the deep learning models we think of have a correct answer, and the fin
5.[Paper Review] The COT COLLECTION: Improving Zero-shot and Few-shot Learning of Language Models via Chain-of-Thought Fine-Tuning
Large text corpora로부터 pretrained된 LM와 CoT를 이용하여 근거를 찾아내고 그걸 바탕으로 최종 예측을 하는 LLM들이 많아지고 있음.LM에서 수행하는 CoT 같은 경우 LLM인지 아닌지에 따라 성능이 극명하게 갈림특히, 100B 이상부터는 추
6.[Brief Paper Review] Learning Rich Representation of Keyphrases from Text
이전까지는 "Keyphrases를 어떻게 얻을 것인가?"에 대한 논문들에 대해 알아보았다면, 이제는 관점을 바꾸어서 "이미 추출한 Keyphrase들에서 조금 더 영양가 있는 데이터를 뽑아낼 수는 없을까?" 에 대한 논문이때까지 대부분의 NLP 모델, 특히 그 중에서도
7.[Paper Review] Design of Chain-of-Thought in Math Problem Solving
최근 LLM을 이용하여 수학 문제를 푸는 task가 굉장히 활발히 연구 되고 있음수학 문제를 해결하는 것은 LLM에서 multi-step의 추론을 하는 가장 이상적인 task이기 때문특히, 최근 LLM의 등장에 의해 단순한 NLP Task는 모두 해결되는 추세이나 용인