Natural Language Processing

1. Natural Language Processing Natural Language 사람들의 사회생활에서 자연스럽게 발생하여 쓰이는 언어 컴퓨터에게 명령하기 위한 프로그래밍 언어(인공언어)와 대비 Natural Language Processing 사람들이 사용하는

Machine Learning Work Flow 전처리 및 정제 텍스트 전처리는 풀고자 하는 문제의 용도로 사전 처리 작업 1. Text Preprocessing Why is Preprocessing necessary?

문서 표현

1. Dimensionality Reduction 1.1 Curse of Dimensionality BOW 기반의 문서 분류와 같은 문제에서 차원은 문서의 표현에 사용된 특성 수 특성 수가 매우 커서 기본적으로 차원의 저주 같은 문제를 내포 차원이 구성하는 공간의

시각화를 위해 사용되는 비지도 학습 알고리즘 다차원 데이터 사이의 거리를 가장 잘 보존하는 2차원 좌표를 찾기 위해 사용 t-SNE를 이용해 그린 그래프에서 모양이 좋게 나타나면 원래의 다차원 데이터 간의 거리도 의미 있게 잘 계산된다고 할 수 있음 각각 x, y 좌표

1. Language Model Distributional Hypothesis 비슷한 분포를 가진 단어들은 비슷한 의미를 가진다. Word Embedding은 기본적으로 해당 가정에 기반하여 학습 > 비슷한 분포 $\rightarrow$ 비슷한 문맥 Feed-For

Stochastic Language Model's Problem Out-of-Vocabulary 학습 데이터에 존재하지 않는 단어 또는 n-gram이 테스트 시 나타나 확률 계산 불가 Back-off or Smoothing 기법으로 일부 완화되지만 근본적 해결 어려움

다의어를 구분하지 못해 문맥이 달라도 같은 단어는 항상 동일한 벡터로 표현 같은 "사과"라도 사죄, 과일을 구분할 수 없어 문맥 정보 필요 문장 혹은 그 이상의 입력을 단위로 삼아 문맥에 따라 서로 다른 embedding을 만들어낼 수 있는 방식 요구 대표적인 문맥 기

Transformer에서는 단어 embedding만으로는 순서를 알 수 없어서 위치 정보를 별도 벡터로 만들어 더하는 position embedding 사용 Transformer는 sin, cos 위치 벡터를 수식으로 만들지만, BERT는 position embeddi