텍스트 마이닝
1.[텍스트 마이닝] 1. INTRO
Artificaial intelligenceMachine learning; statistical models, neural networksLinguisticsSocial sciences/humanities (models of languege at use in cultu
2.[텍스트 마이닝] 2. Classification - Sentiment Analysis
h(x) = y Supervised learning 참고참고감성 사전 : <x,y> pair 를 넣어서 h를 학습시켜 놓은 것우리는 이 감성 사전을 이용해서 h를 학습시키고, classification 하면 됨Sentiment as tone -> 시간에 따라 변하
3.[텍스트 마이닝] 3. Classification - Logistic Regression
확률이 0이 되는 것을 막기 위해서 BIAS를 주고 이런 방식으로 h햇을 학습시킨다. 참고Features \- As a discriminative classifier, logistic regression doesn't assum features are independ
4.[텍스트 마이닝] 4. Classification - Neural Network
Prediction 과 Backpropagation 의 반복이다. 처음에 Weight 값을 임의의 값으로 설정하고 y-y햇이 최소화되게끔 업데이트한다. 참고Discrete, high-dimensional representation of inputs (one-hot ve
5.[텍스트 마이닝] 5. Language Model(1)
Language models provide us with a way to quantify the likelihood fo a sequence -- i.e., plausible sentences. -> 말이 되면 확률값이 높다. P("Call me Ishmael") =
6.[텍스트 마이닝] 6. Language Model(2)
LM : We can use multiclass logistic regression for language modeling by treating the vocabulary as the output space 참고Richer representationsLog-linear
7.[텍스트 마이닝] 8. Embedding(2)
pre-traiend word embeddings great for words that appear frequently in data Unseen words are treated as UNKs and assigned zero or random vectors; every
8.[텍스트 마이닝] 7. Vector Semantic
"You shall know a word by the company it keeps" \- 문맥(context)에 의해서 단어를 파악한다.앞서 봤던 모델들에 넣는 벡터를 어떻게 만드는지 생각해보자Vector representation that encodes infor
9.[텍스트 마이닝] 9. Embedding(3)
Learn parameters to combine the RNN output across all layers for each word in a sentence for a specific task(NER, semantic role labeling, question ans
10.[텍스트 마이닝] 10. Parts Of Speech
parts of speech are categories of word defined distributionally by the morphological and syntactic contexts a word appears in. -> POS는 words의 categor
11.[텍스트 마이닝] 11. Neural Sequence Labeling
sequence labeling 할 때, 이제는 HMM 안쓴다! RNN으로 다 할 수 있다! RNNs for POS To make a prediction for y, RNNs condition on all input seen through time t But know
12.[텍스트 마이닝] 12. Semantic Roles
Foundation for semantic analysis syntax encodes the structure of language but doesn't directly address meaningsyntax alone doesn't "grab" in an action
13.[텍스트 마이닝] 14. Coreference
Discourse Discourse covers linguistic expression beyond the boundary of the sentence -> 문장의 밖에서도 의미가 전달 됨 1) Dialogues : the structure of turns in con
14.[텍스트 마이닝] 13. Word Senses
=> bad 는 좋은 의미로 쓰일 수도 있고 나쁜 의미로 쓰일 수도 있다. 여러 의미를 가지는 단어 중에 어떤 뜻을 선택할 것인가? -> Word Sense 로 파악 Word senses => serve 의 여러 가지 의미 중에 무슨 의미일까? -> word se