[논문 리뷰] A Transformer-based Model with Self-distillation for Multimodal Emotion Recognition in Conversations

👉🏻 논문 링크

데이터셋

• MELD: https://affective-meld.github.io
• IEMOCAP: https://github.com/Aditya3107/IEMOCAP_EMOTION_Recognition

기존 연구의 문제점

• textual modality에서 context-sensitive dependencies나 speaker-sensitive dependencies를 파악하는 데에만 집중하고, multimodal 정보의 중요성을 간과한다.
• textual 대화에만 중점적으로 분석하고, 다른 모달에 대해서 leveraging 하지 않는다.
• 대부분의 방법은 intra-와 inter-modal 상호작용을 모델링하는 데에 결점이 있다. CMN, ICON, DialogueRNN은 intra-modal 상호작용을 파악하지 못하고, DialogueTRM은 inter-modal 상호작용을 무시한다.
• modal representation을 개선하기 위한 모델을 구축하지 않는다.

ERC의 요점

• Sequence-based method: RNNs 혹은 transformers를 사용하여 long-distance 문맥의 정보를 모델링 할 수 있다.
• Graph-based method: GNNs을 사용하여 여러 dependencies를 파악한다.

multimodal ERC의 세 가지 특징

1) 대화 사이의 intra- 혹은 inter-modal 상호작용
2) 모달들의 서로 다른 기여도
3) 효율적인 모달 대표성

SDT의 목적

1. 발화 간의 intra-modal 상호작용과 inter-modal 상호작용을 intra-transformer와 inter-transformerf를 통해 파악하도록 한다. 예를 들어 7번째 발화의 anger는 텍스트만으로는 모호하지만, 6번째 발화의 텍스트 맥락과 7번째의 음성·표정을 함께 보면 명확해진다.
2. hierarchical gated fusion 전략을 통해 서로 다른 modalities 간의 가중치를 학습한다. 예를 들어, 3번째 발화에서 sadness을 인식할 때는 텍스트와 음성이 중요하지만, 영상(웃는 얼굴)은 오히려 방해가 된다.
3. 이미 제시된 모델에서 soft labels를 추가적인 훈련 감독으로 역할되게 하여 모달 표현력을 향상시킨다. Self-distillation을 통해 hard와 soft label의 지식을 각 modality로 전환시키도록 한다.

모델 구조

입력 (텍스트/음성/영상)
    ↓  RoBERTa / openSMILE / DenseNet으로 특징 추출
[1] Modality Encoder: 1D-Conv + 위치/화자 임베딩 + Intra/Inter-modal Transformer
    ↓
[2] Hierarchical Gated Fusion: 유니모달 게이트 → 멀티모달 게이트
    ↓
[3] Emotion Classifier: FC + Softmax
    ↓ (훈련 시에만 작동)
[4] Self-Distillation: 교사(전체 모델) → 학생(각 모달)으로 지식 전달

Modality Encoder

세 모달의 시퀀스를 공통 공간으로 맞추고, 자기 자신 및 다른 모달과의 상호작용을 Transformer로 포착하는 단계이다

1단계 - 1D 컨볼루션으로 차원 통일
텍스트(1024차원), 음성(1582차원), 영상(342차원)이 서로 다른 차원을 가지기 때문에, 1D Conv를 통해 모두 같은 d차원으로 맞춘다.

2단계 - 위치·화자 임베딩 추가
발화 순서(위치 임베딩)와 누가 말했는지(화자 임베딩)를 임베딩으로 만들어 각 모달 표현에 더한다. 이로써 맥락 정보와 화자 정보를 명시적으로 반영한다.

3단계 - Intra-modal Transformer
각 모달이 자기 자신의 과거·미래 발화들을 참조하며 맥락 내 상호작용을 학습한다. 예를 들어 텍스트 시퀀스 내에서 이전 발화들이 현재 발화의 감정에 어떤 영향을 주는지를 포착한다.

4단계 - Inter-modal Transformer
한 모달이 다른 모달의 정보를 Query-Key-Value 어텐션으로 가져온다. 예를 들어 텍스트가 음성에서 보완 정보를 참조한다. 같은 발화 내 inter-modal, 그리고 서로 다른 발화 간 inter-modal 상호작용을 모두 포착한다.
각 모달은 최종적으로 자기 자신과 다른 두 모달에서 온 정보를 합친 강화된 표현을 얻는다.

Hierarchical Gated Fusion

불필요한 정보를 먼저 걸러낸 뒤, 각 발화마다 모달별 중요도를 동적으로 학습해 최종 멀티모달 표현을 만드는 단계이다.

Unimodal level gate
각 inter-modal 어텐션 출력에 Sigmoid 게이트를 곱해서 불필요한 정보를 제거한다. 그런 다음 자기 자신(intra)과 두 개의 다른 모달(inter) 표현을 이어붙이고 FC 레이어를 통과시켜 하나의 강화된 단일 모달 표현을 만든다.

Multimodal level gate
발화마다 텍스트·음성·영상 표현에 Softmax로 가중치를 계산한다. 이 발화에서 텍스트가 70%, 음성이 20%, 영상이 10% 중요하다는 식으로 발화별로 다른 동적 가중치를 적용해 최종 멀티모달 표현을 만든다.

Emotion Classifier

멀티모달 표현을 FC + Softmax로 감정 확률 분포로 변환해 argmax로 최종 감정 레이블을 예측한다. 학습 손실로는 LTask를 사용한다.

Self-Distillation

전체 멀티모달 모델(교사)이 학습하면서 동시에 각 단일 모달(학생)에게 자신의 지식을 전달해 모달 표현력을 높이는 단계이다.

SDT의 Self-Distillation 동작 방식
전체 멀티모달 모델(교사)이 만들어내는 소프트 레이블(soft label)에는 감정 클래스 간의 미묘한 유사도 정보가 담겨 있다. 즉 이 발화는 슬픔이지만 좌절과도 꽤 닮아 있다는 식의 dark knowledge가 담긴 것이다. SDT는 이 정보를 각 단일 모달 학생(텍스트 학생, 음성 학생, 영상 학생)에게 동시에 전달한다.

두 가지 손실로 학생을 훈련한다. LCE은 hard label로부터 직접 학습하게 하고, LKL은 교사의 소프트 레이블 분포를 따라가도록 학습한다. 최종 손실은 LTask, LCE, LKL 세 가지의 합이다.

Conclusion

Inter-modal Transformer가 Intra-modal Transformer보다 더 중요하다. 서로 다른 모달 간 상호작용이 같은 모달 내 맥락 정보보다 더 큰 기여를 한다는 의미다.

한계점

유사 감정 간 혼동이 아직 존재한다는 문제가 있다. 행복과 흥분, 분노와 좌절, 놀람과 분노 등의 감정에서 오분류가 여전히 발생한다. 따라서 의미적으로 가까운 감정의 경계를 더 뚜렷하게 만드는 연구가 필요하다.
또한 Emotional Shift가 발생할 경우, SDT의 정확도가 크게 떨어진다는 문제가 발생한다.