[Week 4-3] 💬Seq2Seq

4주차 수요일

• Seq2Seq 개요

---

[Seq2Seq 개요]

Seq2Seq는 단어 시퀀스를 입력받아 단어 시퀀스를 출력하는 자연어 처리 모델이다. 입력된 단어 시퀀스를 처리하는 인코더 RNN과 출력할 단어 시퀀스를 처리하는 디코더 RNN 으로 이루어져 있으며, 두 모델은 파라미터를 공유하지 않는다.
Seq2Seq의 인코더, 디코더 RNN은 LSTM 구조로 되어 있다. 인코더 모델의 마지막 hidden state가 디코더 모델의 hidden state 0으로 쓰인다. 디코더에서 단어 시퀀스를 생성할 때는 맨 앞에 문장 시작을 의미하는 토큰 <SoS>을 붙이고, 그 뒤에 단어들을 생성해서 이어붙인다. 마지막에는 문장 끝을 의미하는 토큰 <EoS>를 붙여 마무리한다.

번역을 한다고 가정하면 Are you free tomorrow? 라는 문장이 인코더를 통해 들어가서 디코더로 나가게 된다. 디코더 모델에 처음으로 들어가는 hidden state 벡터는 인코더에 들어간 단어 시퀀스 중 마지막 단어이다. 번역하려면 문장 구조가 (완전 똑같진 않더라도) 입력된 거랑 비슷해야 하는데 첫 단어에 대한 정보가 희미해진 상태에서 마지막 단어부터 들어오니까 이런 식으로는 번역이 잘 안 된다(gradient vanishing). 그래서 단어 시퀀스를 거꾸로 뒤집어서 입력하는 방법도 제안된 적이 있다. tomorrow? free you Are
어텐션 구조에서는 이를 해결하기 위해서 인코더의 hidden state 벡터를 활용한다. 인코더의 각 hidden state 벡터들은 시퀀스를 구성하는 각 단어에 대한 정보를 가지고 있기 때문에 이것을 모아서 디코더에 전달해주면 디코더의 각 타임스텝에서 단어를 생성할 때 필요한 인코더의 hidden state 벡터를 가져다 쓰게 된다.

이 벡터들과 디코더의 현재 타임스텝의 hidden state 벡터가 내적 연산을 수행하는데, 디코더의 hidden state와 인코더의 각 hidden state 간의 유사도를 측정한다. 말하자면 각 hidden state 벡터가 decoder hidden state에 얼마나 기여하는지 나타내는 가중치이다. 가중치에 softmax를 취해 가중 평균 벡터를 얻을 수 있다. 어텐션 모듈의 입력은 인코더의 hidden state 벡터들과 디코더의 hidden state 벡터이고, 출력은 인코더의 hidden state의 가중평균벡터로, 이것을 context 벡터라고 부른다. 출력 레이어에서는 어텐션 모듈의 출력과 decoder의 출력을 입력으로 받아 현재 타임스텝에서 나올 단어를 예측하게 된다.

어텐션 모듈은 seq2seq 위에 얹어서 쓴다. 어텐션의 특징인 '타임스텝마다 해당 부분에 기여하는 입력 시퀀스의 특정 파트를 집중적으로 볼 수 있다' 덕분에 기계 번역 성능을 많이 늘려주었다. 기존의 RNN을 사용한 번역의 문제였던 gradient vanishing도 해결했는데, context 벡터 덕분에 예전 타임스텝들의 정보가 사라지지 않아서 그렇다.

---

👨‍👩‍👧‍👦[피어 세션]

담당 조교님께서 4시부터 Transformer 구조를 설명해 주신다고 해서 그쪽 방으로 이동해 강의를 들었다. 당장은 이해가 잘 되지 않았는데, 강의에 사용한 발표자료를 올려 주셨는데 내일 올라올 교수님 강의를 이해할 때 같이 살펴보면 도움이 될 것 같다.