📍 Pytorch Tutorials

---

LANGUAGE MODELING WITH NN.TRANSFORMER AND TORCHTEXT

📍 1.Positional Encoding
📍 positional encoding이란 무엇인가

Input Embedding

입력 데이터(문장) → 행렬
단어 인덱스들은 각각 다른 벡터값을 가지고, 단어의 피처 값이 유사할수록(= 문맥상 유사도가 높을수록) 벡터 공간의 임베팅 벡터는 가까워짐

Positional Encoding

• RNN / LSTM : 입력되는 문장을 순차적으로 처리함 (앞 연산이 끝나야 뒷 연산 진행)
• Transformer : 입력된 문장을 병렬로 한 번에 처리함
  ⇒ 단어의 위치(순서)를 알 수 없다는 문제 발생

이러한 문제를 해결하기 위해 Positional Encoding을 사용해 입력되는 문장에서의 단어의 순서에 대한 정보를 encoding함 ⇒ 단어 벡터 안에 단어의 위치 정보를 포함시킴

---

Sequence to Sequence

📍 Transformer 이해하기1

seq2seq 모델은 크게 2개로 구성됨

Encoder

: 입력 문장의 모든 단어들을 순차적으로 입력 받은 뒤에 마지막에 모든 단어 정보들을 압축해서 하나의 벡터( = Context vector)로 만듦

Decoder

: 컨텍스트 벡터를 받아 번역된 단어들을 하나씩 순차적으로 출력함

⇒ 입력 문장 → 하나의 컨텍스트 벡터 → 출력 시퀀스

RNN에 기반한 seq2seq 모델은 크게 두 가지 문제점이 나타날 수 있음
1. 정보 손실 (∵ 하나의 고정된 크기의 벡터에 모든 정보를 압축하려고 해서)
2. 기울기 소실
⇒ 입력 문장이 길면 번역 품질이 떨어지는 현상으로 나타나 이를 해결하고자 Attention 기법 사용하게 됨

Attention

Decoder에서 출력 단어를 예측하는 매 시점(time step)마다 encoder의 전체 입력 문장을 다시 한 번 참고함
이때 전체 입력 문장을 모두 동일한 비율로 참고하는 것이 아니라 해당 시점에서 예측해야 할 단어와 연관 있는 입력 단어 부분에 좀 더 집중해서 보게 됨

---

Text Preprocessing - 토큰화

파이썬의 기본 라이브러리를 사용할 수도 있지만 시간이 오래 걸리고 고려해야 할 사항이 많음

• 구두점, 특수문자를 단순하게 제외해서는 안되는 경우
• 줄임말
• 한 단어인데 띄어쓰기가 안에 있는 경우
• 공백 단위의 토큰화를 적용할 수 없는 경우
  ⇒ 자연어 처리 라이브러리 사용

• spaCy
  : tokenization, 품사 태깅 등 기본적인 전처리 기능을 지원하는 자연어처리 라이브러리
  spaCy를 이용해 토큰화를 수행하면 토큰 외에도 PoS(품사), lemma 등의 정보를 알 수 있음
• NLTK
• torchtext

---

+) 함수

• torch.topk() : 예측 값에서 top-k개의 결과를 받을 수 있는 함수

  # values에는 값
  # indexs에는 인덱스 값
  values, indexs = torch.topk(predict, k=k, dim=-1)