[Week 4-1] 💬NLP 기초-Word Embedding

4주차 월요일

• NLP 기초
• Word Embedding

---

📝[NLP 기초]

자연어 문장을 이해하는 NLU(Natural Language Understanding), 자연어 문장을 생성하는 NLG(Natural Language Generation)을 합쳐서 NLP(Natural Language Processing)라고 부른다.

자연어를 처리하기 위해서는 문장을 수치적으로 바꿔서 표현해야 한다. 자연어를 수치로 바꾸는 방법으로는 원-핫 벡터를 사용하는 고전적인 방법과 word embedding 방식이 있다.

• Bag-of-Words
  문장을 단어 단위로 쪼개고 중복되는 단어를 제거하여 단어 사전을 만든다.
  ex) "I have two or three apples" -> {"I", "have", "two", "or", "three", "apples"}
  사전에 들어 있는 n개의 단어에 대해 각 단어의 인덱스만 1인 원-핫 벡터를 만든다. 이 때 각 단어 사이의 거리는 sqrt(2)이다.
  ex)
I : [1 0 0 0 0 0]
  have : [0 1 0 0 0 0]
  two : [0 0 1 0 0 0]
  or : [0 0 0 1 0 0]
  three : [0 0 0 0 1 0]
  apples : [0 0 0 0 0 1]

단어 사전에서 추출한 원-핫 벡터를 조합해서 어떤 문장을 나타낼 수도 있다. 각 문장마다 가방을 만들고 그 안에 필요한 단어를 넣는다는 의미에서 이것을 Bag-of-Word라고 부른다.
ex) "I have two apples" -> [1 1 1 0 0 1]

Bag-of-Word와 베이즈 정리를 활용한 NaiveBayes Classifier를 이용해서 고전적인 자연어 처리를 할 수 있다. 하지만 단어 간의 유사성을 반영할 수 없고, 단어 사전이 커지면 벡터의 차원이 너무 많아진다는 단점이 있어 Word Embedding 방식을 사용한다.

📝[Word Embedding]

원-핫 벡터 말고도 Word Embedding 기법을 사용해서 자연어 단어를 벡터로 표현할 수 있다.
Word Embedding은 신경망을 이용한 자연어 전처리 기법으로, 비슷한 의미를 갖는 단어가 좌표공간 상에서 비슷한 위치에 있도록 매핑하여 단어 간의 관계나 의미를 반영한 벡터를 만들 수 있어 자연어 처리 모델에 사용하면 더 나은 성능을 얻을 수 있다.

• Word2Vec
  어떤 중심 단어가 있을 때 그 주변의 단어는 중심 단어와 유사한 의미를 갖고 있다는 가정 하에, moving window를 이용해서 중심 단어와 그 앞뒤 단어로 이루어진 단어 쌍을 추출해낸다.
  ex) moving window의 크기가 3일 때는 중심 단어 앞뒤로 한 단어씩만 보게 된다.
  "I study math." -> (I, study)
  "I study math" -> (study, I) (study, math)
  " I study math" -> (math, study)

이렇게 추출한 단어 쌍들을 원-핫 벡터로 바꾼 것을 데이터로 삼아 내적 연산(벡터 간의 유사도 측정)을 수행하는 얕은 신경망을 구성한다. 신경망은 주변 단어를 입력받아 중심 단어가 무엇인지 추정하고, 중심 단어를 잘 맞추는 방향으로 학습하게 된다. Word2Vec의 결과를 가져다가 다른 자연어 처리 신경망의 입력으로 사용하면 된다.

---

👨‍👩‍👧‍👦[피어 세션]

연휴 동안 만든 간판 인식 모델에 대한 이야기를 나눴다. kaggle 데이터셋을 받아서 colab 환경에서 만들었다. 데이터셋을 불러올 때 glob을 사용했는데, 파일 이름은 string이라서 정렬이 1, 10, 11, 12... 이런 식으로 되어서 해결하기 위해 natsort를 사용했다는 내용을 공유했다. 그리고 코드를 같이 보면서 모델이나 데이터 불러오는 방법에 대한 이야기를 좀 더 했다.