NLP

구문 분석(parsing) => 검퓨터 과학에서 parsing은 일련의 문자열을 의미있는 token(어휘 분석의 단위)으로 분해하고 그것들로 이루어진 parse tree를 만드는 과정 Parser=> parsing을 수행하는 프로그램. 즉 parser가 parsing을

텍스트를 숫자로 변환하는 벡터화, 그래야 컴퓨터가 알아들을 수 있으니까벡터화 방법으로는(1) 통계와 머신 러닝을 활용한 방법(2) 인공 신경망을 활용하는 방법이번에는 (1)번만 배울 예정이다.단어들의 분포로 문서를 특성을 파악하는 기법이 가방은 중복을 제거하지않고 단어

벡터화 단어를 벡터화하는 방법 중 하나인 워드 임베딩 벡터화를 하는 이유 : 컴퓨터는 텍스트보다 숫자를 잘 처리하기 때문에 Bag of words / DTM(Document-Term Matrix) BoW는 전에 배웠듯이 단어의 순서는 신경쓰지 않고 빈도수만 체크한다.