🤣 DialogueRNN: An Attentive RNN for Emotion Detection in Conversations

ABSTRACT

대화에서의 감정 감지는 피드백을 이해함에 있어서 필수적인 단계임. 현재 시스템은 각 발화자에 맞춤형으로 다루어주지 않음. 본 논문에서는 RNN을 기반으로 대화 전체에서개별 발화자의 상태를 추적하고 해당 정보를 감정 분류에 활용함.

1. INTRODUCTION

1) 발화자
2) 이전 발화들의 문맥
3) 이전 발화의 감정

• 위의 세 가지 주요 측면이 감정과 연관있다고 가정하여, 개별적으로 모델링함.

DialogueRNN

문맥을 추출함에 있어서 발화자 + 청취자의 이전 발화를 모두 고려함. 3개의 Gated Recurrent Unit을 활용함

• global GRU, party GRU: 각각 최신 문맥 + 인코딩 과정에서 당사자의 정보, 부분적인 상태를 업데이트함.

=> 해당 GRU를 통해 이전 발화에 대한 정보를 포괄하는 문맥적 representation을 얻을 수 있음.

• emotion GRU: 업데이트된 발화자의 상태가 공급되어 감정 표현을 decoding함으로써 감정 분류에 사용함.

=> Emotion GRU, global GRU는 함께 당사자 간의 관계 모델링에 중요한 역할을 하는 반면, Party GRU는 동일한 당사자의 순차적인 상태 사이의 관계를 모델링함.

DialogueRNN은 위의 3가지 GRU들이 recursive하게 연결되어 있음.

3. Methodology

3.1 Problem Definition

M 개의 party, participant가 있다고 가정했을 때, 주어진 과제는 emotion label을 발화의 요소에 대해 예측하는 것임.

3.2 Unimodal Feature Extraction

Textual Feature Extraction: CNN을 활용하여 해당 feature 추출을 수행함. 해당 모델을 통하여 발화와 감정 레이블에 대해 학습함.

Audio and Visual Feature Extraction: 3D-CNN과 openSMILE을 활용하여 시각적, 청각적 feature도 함께 추출함.

3.3 Model

본 논문은 발화의 감정이 3가지 주요 요소에 의존한다고 가정함.

1) the speaker 발화자
2) the context given by preceding utterances 이전 발화에 의한 맥락
3) the emotion behind the preceding utterances 이전 발화에 깔려있는 감정

GRU cell의 활용

1) Global State(Global GRU)

• 발화자와 발화자의 state를 함께 encoding하여 맥락을 포착함. 발화자의 state는 qt-1 -> qt로 변화하며, 이 변화를 GRU cell에 담아둠.

2) Party State(Party GRU)

• 발화자 개별적으로 고정된 벡터로 state를 지속적으로 추적함. 해당 state 벡터들은 null로 초기화되었다가, 모델이 발화자 각각에 대하여 주의를 기울여 다룰 수 있도록 적용함.

3) Speaker Update(Speaker GRU)

• 발화 ut에 대한 맥락 ct를 이전 발화와 연관지어 포착함. Attention 점수를 이전 global state(이전 발화에 대한 맥락)에 대하여 계산을 함.

4) Listener Update

• 듣는 사람의 표정 변화, 그리고 상태도 함께 포착하기 위해 위의 GRU 또한 도입함.

5) Emotional Representation(Emotion GRU)

• 최종적으로 이전 발화의 emotion et-1에 대하여 위의 맥락을 모두 더하여 et를 구함. 발화자의 state는 global state로부터 정보를 받으므로, 모델은 이미 다른 party에 대한 정보를 담고 있음.

Emotion Classification

• Layer 2개의 perceptron을 활용하여 6개의 emotion class를 예측함. Training process에서는 categorical cross entropy를 활용하여 label을 예측함.

4. Experimental Setting

위와 같은 데이터셋을 사용함.

베이스라인 모델과의 비교 결과는 위와 같음.

5. Conclusion

• 대화에서의 감정 감지를 위한 RNN 기반 신경 아키텍처를 제시함. 각 입력 발화자의 특성을 고려하여 처리함으로서 발화에 더 세밀한 문맥을 제공하도록 함. Multi Modal 설정에 있어서 두 가지 다른 데이터셋에서 최신 기술을 능가하는 성능을 보임.