CFN-ESA: A Cross-Modal Fusion Network With Emotion-Shift Awarenes

👉🏻 논문 링크

사용한 데이터셋

• MELD dataset: https://affective-meld.github.io
• IEMOCAP dataset: https://github.com/huggingface/datasets/issues/3285

• textual modality만 사용한 경우: u5의 감정은 neutral로 인식된다.
• facial 표현을 함께 고려할 경우: u5의 감정은 anger가 된다.
  이것이 multimodal적 분석이 감정 인식에서 중요한 이유가 된다. single modality로는 사람의 감정을 제대로 이해하기 어렵다.

기존 연구의 문제점

• MMGCN, MM-DFN: 각 모달리티에서 감정 정보의 양을 구분하지 않고 각 모달리티의 가중치를 동일하게 배분한다. 이러한 모델의 경우 다중 모달 데이터에서 적합한 정보를 추출하기 어렵다. 연구에 따르면, textual modalities들이 감정 정보에 더 중요하게 작용한다고 한다. 그렇기에 visual과 acoustic modalities들은 보조적인 정보로 쓰여야 한다.

• DialogueTRM, MetaDrop: 대부분의 ERC(Multimodal emotion recognition in conversation) 지나치게 맥락적인 정보를 연결시키려는 경향이 있어, 감정 전환(emotion-shift)을 고려하지 않는다. 이는 context-modeling과 self-modeling 사이에 불균형을 초래한다. 맥락에 밀려 self-information이 거부되는 경향이 있는 것이다.

• multimodal 정보 간의 연관성을 무시하거나 multimodality 모델을 충분히 모델링하지 못한다. 어떤 모델들은 여러 개의 모달들 간의 연결성을 고려하지 않고 바로 연결하려고 하는데, 이러한 경우 상당한 양의 노이즈가 각 modality에 발생한다. (direct concatenation causes more noise)

• AGHMN: 계층적 메모리 네트워크 + BiGRU로 대화 맥락 파악 → 텍스트만 사용

• DialogXL: XLNet 언어모델 활용, 장기 맥락 처리 → 역시 텍스트만

• I-GCN: 그래프 신경망으로 발화 간 의미 연결 파악 → 텍스트만

감정 인식의 어려움

• 각 대화의 말투를 이해하고 분석하여 해당 대화의 정확한 감정을 추출해내는 것이 목표다. 그러나 감정 인식에서 어려운 것은, 사람의 감정을 잘 눈에 띄지 않는다는 점이다.
• emotion shift가 발생할 경우, 감정 인식에 있어 장애가 생긴다.
• Contextual modeling의 경우, 주변 발화로부터 감정적 신호를 수집하는 데 의존하며, 종종 대화 전반에 걸쳐 감정적 일관성을 유지하는 경향이 있다. 그럼에도 불구하고, 이런 경향성은 emotion shift가 나타나는 상황에서 모델의 감정 인식 능력을 약화시킨다. 그렇기에 이를 고려할 수 있는 더 뛰어난 전략이 필요해진 것이다.

CFN-ESA의 목표

• textual modality를 감정 정보에서 주된 요소로 지정하고, visual 및 acoustic modalities를 부차적인 요소로 여기도록 한다.
• emotion-shift를 감지하기 위해, CFN-ESA는 세 가지로 구성되어 있다: unimodal encoder(RUME), cross-modal encoder(ACME), emotion-shift module(LESM)
  

입력 (텍스트 + 시각 + 음성)
    ↓
[1] RUME: 각 모달리티별 맥락 인코딩
    ↓
[2] ACME: 크로스모달 상호작용 (텍스트 중심)
    ↓
[3] LESM: 감정 전환 보조 학습
    ↓
최종 감정 분류

unimodal encoder(RUME)

• 모달리티 간의 데이터 분포를 파악하면서 대화 수준의 맥락적 감정 단서를 추출한다.
• capture intramodal contextual emotional cues while narrowing the heterogeneity gap of multimodal data by sharing parameters. 같은 인코더를 공유함으로써 세 데이터를 같은 공간에서 비교 가능하게 만드는 것이다.
• BiGRU(양방향 GRU)를 기반으로 대화 전체의 흐름을 파악
• 여기에 Feed-Forward Network와 잔차 연결(Residual Connection)을 더해 안정성을 높임

cross-modal encoder(ACME)

• textual 모달리티를 중심으로 multimodal 상호작용을 수행한다.
• perceives textual modality as the primary source of emotional information and two other modalities as the sec- ondary sources, and employs multi-head attention networks to adequately model multimodal interaction.

Step 1: 전역 맥락 파악

각 모달리티에 Self-Attention을 적용해 발화 전체를 바라보는 시야를 확보한다.

Step 2: 크로스모달 상호작용

텍스트 업데이트:
1) 텍스트가 시각 정보를 Query, 시각이 Key/Value로 들어옴 → 시각이 담긴 텍스트 표현 생성.
2) 텍스트가 음성 정보를 Query, 음성이 Key/Value로 들어옴 → 음성이 담긴 텍스트 표현 생성.
→두 결과를 합쳐 최종 텍스트 표현 완성

시각 업데이트: 시각이 Query, 텍스트가 Key/Value → 텍스트 정보로 강화된 시각 표현
음성 업데이트: 음성이 Query, 텍스트가 Key/Value → 텍스트 정보로 강화된 음성 표현

Step 3: 표현력 강화

각 업데이트된 표현에 Feed-Forward Network와 잔차 연결을 추가로 적용

→ 텍스트를 중심에 두고 각 모달이 서로를 참조하며 표현을 풍부하게 만든다.

emotion-shift module(LESM)

• emotion shift를 모델링하고, emotion-shift 정보를 잡아낸다.
• employed as an auxiliary task of the ERC to explicitly model emotion shift and extract emotion-shift information, thereby enabling the main task to implicitly reduce intra-modal contextual modeling under emotion-shift scenario.

3단계 동작 방식:

감정 전환 확률 계산: ACME를 두 번 돌려서 같은 발화에 대해 약간 다른 두 표현(H, H')을 만들고, 모든 발화 쌍에 대해 "[h_i, h_j']"를 이어붙인 확률 텐서를 구성
감정 전환 레이블 생성: 두 발화의 실제 감정이 같으면 0(전환 없음), 다르면 1(전환 있음)로 레이블링
보조 손실 계산: 이 이진 분류(전환/비전환)를 잘 맞추도록 추가 손실 함수 적용

Conclusion

기존 감정 인식 모델의 경우, 각 modality에 얼마만큼의 감정 정보가 들어있는지 구별하는 능력 빈약하며, emotion-shift 정보를 고려하지 않고 intra-modal contextual information에 과다하게 의존한다는 문제가 있었다. CFN-ESA모델은 이러한 기존 모델의 한계를 극복하고자 설계되었으며, 앞으로의 감정 인식 모델은 독립적인 데이터셋에 대해 하나하나 훈련시켜보면서 cross-dataset recognition ability를 향상시켜야 할 것으로 보인다.

연구 한계점

• 시각 정보 활용 부족: 배경 잡음이 많은 영상 데이터 특성상 얼굴 표정 정보를 충분히 활용하지 못한다.
• 클래스 불균형 문제: MELD 데이터셋의 두려움(fear), 혐오(disgust) 같은 소수 클래스는 여전히 인식률이 낮다.
• 유사 감정 혼동: 혐오↔분노, 행복↔흥분, 분노↔좌절처럼 감성이 비슷한 클래스 간 오분류가 남아있다.