ELMo(Deep contextualized word representations) review

---

ELMo(Embeddings from Language Model)는 2018년에 제안된 새로운 워드 임베딩 방법론입니다. ELMo라는 이름은 세서미 스트리트라는 미국 인형극의 캐릭터 이름이기도 합니다.

---

Introduction

ELMo는 Embeddings from Language Model의 약자입니다. 해석하면 '언어 모델로 하는 임베딩'입니다. ELMo의 가장 큰 특징은 사전 훈련된 언어 모델(Pre-trained language model)을 사용한다는 점입니다.

🔍Bank라는 단어를 생각해봅시다. Bank Account(은행 계좌)와 River Bank(강둑)에서의 Bank는 전혀 다른 의미를 가집니다.

같은 표기의 단어라도 문맥에 따라서 다르게 워드 임베딩을 할 수 있으면 자연어 처리의 성능을 올릴 수 있을 것입니다.
워드 임베딩 시 문맥을 고려해서 임베딩을 하겠다는 아이디어가 문맥을 반영한 워드 임베딩(Contextualized Word Embedding) 입니다.

이 논문에서 단어 사용의 복잡한 특성(예: 구문 및 의미)과 언어적 맥락을 통해 이러한 사용이 어떻게 변하는지(즉, 다의성 모델링)을 모델링하는 새로운 유형의 심층적인 맥락화된 단어 표현을 소개하려 합니다.

ELMo의 단어 벡터는 큰 텍스트 말뭉치에 대해 사전 훈련된 심층 양방향 언어 모델(biLM)의 내부 상태에 대한 학습된 함수입니다.

논문에서는 이러한 표현은 기존 모델에 쉽게 추가할 수 있으며 질문 답변, 텍스트 수반 및 감정 분석을 포함한 6가지 까다로운 NLP 문제에서 최첨단 기술을 크게 향상시킬 수 있다고 합니다.

---

1. ELMo(Embeddings from Language Model)

논문에서는 ELMo에 대해 아래와 같이 간단하게 설명합니다.

• 대부분의 널리 사용되는 단어 임베딩과 달리 ELMo word representations 은 입력 문장 전체의 함수로 계산됩니다.
• character convolutions로 나온 biLM의 상위 2개 layer에서 내부 네트워크 상태의 선형 함수로 계산됩니다
• 이러한 설정으로 준지도 학습을 수행할 수 있게 됩니다.
• biLM은 대규모로 pre-train 되며, 다양한 기존의 신경망 NLP 아키텍처에 쉽게 통합될 수 있습니다.

---

2. biLM(Bidirectional Language Model)

ELMo는 순방향 RNN과 역방향 RNN모두 활용한 biLM(Bidirectional Language Model) 입니다.
biLM은 N개의 토큰 (t1, t2, ..., tN)가 주어졌을 때, forward language model은 각 토큰 tk의 확률을 모델링하여 시퀀스의 확률을 계산합니다.(토큰이 k-1개까지 주어졌을 때 k번째 토큰이 나올 확률)

Backward language model은 미래 문맥이 주어졌을 때 이전 토큰을 예측하는 forward language model과 유사하지만, 시퀀스를 역방향으로 실행합니다

이미지 출처: https://jalammar.github.io/

biLM은 forward language model과 backward language model을 결합합니다.
forward LM은 다음 단어를 예측하도록, backward LM은 이전단어를 예측하도록 학습됩니다.
이때 두 방향의 log likelihood를 최대화 시키는 방향으로 학습 진행합니다.
각 방향의 토큰 표현(θ_x), Softmax 레이어(θ_s)

---

3. ELMo representation

해당 시점(time step)의 BiLM의 각 층의 출력값을 가져옵니다. 그리고 순방향 언어 모델과 역방향 언어 모델의 각 층의 출력값을 연결(concatenate)하고 추가 작업을 진행합니다.

ELMo는 biLM의 중간 layer 표현의 task별 조합입니다. 각 토큰 tk에 대해, L층 biLM은 2L+1개의 표현을 계산합니다
다운스트림 모델에 포함하기 위해, ELMo는 R의 모든 레이어를 하나의 벡터로 축소합니다:가장 간단한 경우에서 ELMo는 상위 레이어만 선택하기도 합니다.
일반적으로는 모든 레이어에 계산을 진행합니다.
γ𝑡𝑎𝑠𝑘은 전체 ELMo 벡터의 크기를 조절하는 scalar parameter, Stask는 소프트맥스 정규화된 가중치이고, 스칼라 매개 변수 θtask는 작업 모델이 전체 ELMo 벡터의 크기를 조절할 수 있게 합니다.

👉정리하면 이렇습니다.

---

4. supervised NLP task에 대한 biLM 사용

ELMo 표현을 기존의 임베딩 모델과 함께 사용할 수 있습니다.

토큰 (t1,...,tN)의 시퀀스가 주어지면, pre-train 된 임베딩 모델과 선택적으로 기존의 임베딩모델을 사용하여 각 토큰 위치에 대해 컨텍스트 독립적인 토큰 표현 xk를 형성합니다.

그런 다음 모델은 일반적으로 양방향 RNN, CNN 또는 feed forward network를 사용하여 문맥에 민감한 표현(hk)을 형성합니다.

기존의 supervised model에 ELMo를 추가하기 위해서는 밑의 과정이 필요합니다.

1) biLM의 가중치를 고정
2)	ELMo 벡터 〖𝐸𝐿𝑀𝑜〗𝑘^𝑡𝑎𝑠𝑘와 𝑥𝑘 연결
3)	ELMo 향상된 표현 [𝑥𝑘; 〖𝐸𝐿𝑀𝑜〗𝑘^𝑡𝑎𝑠𝑘]을 작업 RNN에 전달

이러한 과정을 거쳐 ELMo를 활용할 수 있습니다.

추가적으로 ELMo에 적당량의 드롭아웃을 추가하는 것이 유익하다는 것을 발견했다고 말합니다.

---

Evaluation

ELMo를 단순하게 추가하는 것만으로도 baseline model에 비해 성능이 향상됐고, 몇몇 task에 대하여 당시의 SOTA 모델보다 좋은 성능을 보였습니다.

위 그림은 layer를 어떻게 가중합을 진행하는 것이 좋은지에 대한 결과입니다.

먼저 밑단의 word embedding을 쓰는 것보단 최상단의 hidden state vector을 쓰는 것 이 좋습니다. 그리고 이보단 모든 각각의 layer에 모두 동일한 weight를 부여하는 것입니다. 그리고 이것보단 task에 맞게 weight를 각각 조정하는 것이 가장 좋습니다.

다음은 ELMo representation을 어떤 단계에 Concatenate하는 것이 좋은가에 대한 결과입니다.

일단 당연히 ELMo를 추가하지 않았을 때가 가장 좋지 않았고 ouput에 elmo를 붙여 downstream task를 진행하는 것이 다음으로 좋았고 이보단 input에 먼저 elmo를 붙이는 것, 그리고 최종적으로는 input와 output 둘 다 elmo를 붙이는 것이 가장 좋았습니다.

---

💡Conclusion

Elmo는 bilm을 활용하여 맥락을 이해하는 표현을 학습하려 했고 NLP task 에서 성능 향상을 보였습니다. biLM 레이어가 단어의 문맥에서 다양한 유형의 문법적 및 의미적 정보를 효율적으로 인코딩하고, 모든 레이어를 사용하는 것이 모든 작업 성능을 향상시킨다는 것을 확인했습니다.

논문 링크 : https://aclweb.org/anthology/N18-1202
참고 링크 : https://wikidocs.net/33930
참고 링크 : https://yngie-c.github.io/nlp/2020/07/03/nlp_elmo/
참고 링크 : https://www.youtube.com/watch?v=zV8kIUwH32M&list=PLetSlH8YjIfVzHuSXtG4jAC2zbEAErXWm&index=19