데이터셋
- MELD: https://affective-meld.github.io
- IEMOCAP: https://github.com/Aditya3107/IEMOCAP_EMOTION_Recognition
기존 연구의 문제
- 감정의 사건 관계로 인한 영향을 무시한 채 문맥적 정보와 대화 관계를 모델링하였다.
- MDER(Multimodal Dialogue Emotion Recognition): 서로 다른 modalities로부터 발화자의 감정적 변화를 인식하기 위해 고안된 감정 인식 방법이다. 그러나 감정 변화는 일련의 의미있는 내재적(contextual) 혹은 외재적(dialogue and event relationships) 요인에 의해 발생하기 때문에, 감정 인식에 있어서 내재적 요인과 외재적 요인이 얼마나 적절하게 통합되는지가 중요하다. 게다가 MDER은 소수 class 감정을 변별하는 데 비효율적으로 작동한다.
- MDER 방법은 RNNs(Recurrent Neural Networks), Transformers, GNNs(Graph Neural Networks)을 이용한다.
- RNN 기반의 방법은 문맥적 의미 모델링을 통한 감정 인식에 좋은 성능을 보였지만, 외부적 요인의 영향을 무시한다는 단점이 있다.
- Transformer 기반의 방법 또한 외부적 요인의 영향을 무시하는 문제를 보인다.
- GNN 기반의 방법은 대화 관계를 어느정도 고려하지만 또한 외부적 요인을 무시한다.
DER_GCN의 목표
- 발화자 간의 대화 관계를 모델링하고, 잠재적인 사건 관계 정보를 잡아낸다. 주로 발화자는 같은 사건에 대해 같은 감정을 보이기 때문에, 사건 관계(event relationship)를 잘 파악하는 것이 중요하다. Modeling the event relations in the dialogue is beneficial to obtain a better spatial distribution of emotion categories.
- multi-relationship 그래프를 측정하여 동시에 발화자와 대화에서의 사건 관계 간 의존성을 모델링 하였다.
- SMGAE(Self-Supervised Masked Graph Autoencoder): 특징과 구조의 fusion representation 능력을 향상시킨다.
- MIT(Multiple Information Transformer): 여러 관계들 사이의 다변량 정보를 융합하는 correlation을 capture한다.
- Loss optimization strategy: contrastive learning에 기반하며, 소수 class features의 대표성 학습 능력을 향상시키기 위해 사용되는 전략이다.
이는 데이터 불균형(Long-tail)인데, 감정 데이터셋에서 "두려움", "혐오" 같은 감정은 데이터가 극히 적어, 일반적인 학습으로는 이 소수 클래스를 잘 인식하지 못하기 때문이다.
DER_GCN의 모듈 구성
- data processing module
- feature extraction and fusion module
- masked graph representation learning module
- multi-relational information aggregation module
- balanced sampling strategy module
- emotion classification module
DER_GCN의 구조
입력 (텍스트 + 영상 + 음성)
↓
[1] Bi-GRU로 맥락 추출 + 크로스모달 어텐션으로 모달 융합
↓
[2] 대화·이벤트 관계 그래프 구성 (화자 관계 + 장소/개체/키워드)
↓
[3] SMGAE: 그래프 노드·엣지를 마스킹 후 복원 (자기지도 학습)
↓
[4] MIT: 여러 관계 정보를 Transformer로 통합 융합
↓
[5] 대조학습 기반 손실 함수로 소수 클래스 보완
↓
[6] 감정 분류기RU + 크로스모달 피처 융합
세 모달리티의 맥락을 양방향으로 읽고, 어텐션으로 서로 보완하여 합치는 단계이다.
Bi-GRU (양방향 GRU)
일반 GRU는 과거→현재 방향만 읽지만, Bi-GRU는 앞뒤 방향을 모두 읽어 더 풍부한 맥락을 파악한다. 텍스트·영상·음성 세 모달리티 각각에 적용할 수 있다.
크로스모달 어텐션 융합
단순히 세 모달을 이어붙이는 게 아니라 어텐션 가중치를 학습한다. 구체적으로는 각 모달의 평균 표현을 구하고, 다른 두 모달과의 상호작용을 통해 "이 순간 어떤 모달이 감정 표현에 더 중요한가"를 학습해 가중합으로 최종 표현을 만든다.
비교 실험 결과, 단순 Add나 이어붙이기(Concatenate)보다 크로스모달 어텐션 융합이 WA 기준 3~5%포인트 높은 성능을 기록했다.
Weighted Multi-relational Affective Interaction Graph
화자 간 대화 관계와 이벤트 관계를 함께 담은 복합 그래프를 만드는 단계이다.
그래프의 노드는 각 발화(utterance)의 융합된 특징 벡터이고, 엣지는 두 종류로 나뉜다.
화자-화자 엣지
두 화자 간에 대화가 있으면 엣지를 연결한다. 엣지 가중치는 어텐션으로 계산한 후 얼마나 감정적으로 연관되어 있는지 반영한다.
이벤트 기반 엣지
Doc2EDAG 라는 이벤트 추출 모델로 텍스트에서 장소, 개체, 키워드를 뽑아낸다. 예를 들어 "이라크", "전쟁", "난민"이 추출되면, 이것들을 공유하는 화자들 사이에 새로운 엣지가 생긴다. 같은 이벤트를 다루는 화자일수록 더 강한 엣지 가중치를 부여한다.
그래프에 이벤트 관계를 추가했을 때 감정 카테고리의 공간 분포가 훨씬 잘 분리된다.
SMGAE
그래프의 일부를 일부러 가리고 복원하는 연습을 시켜서 표현력을 높이는 단계이다.
NLP의 BERT가 단어를 마스킹하고 복원하는 사전학습을 하듯, 그래프에서도 같은 원리를 적용한다.
- 그래프의 일부 노드(발화 벡터) 와 일부 엣지(관계 가중치) 를 랜덤으로 마스킹한다.
- incoder(GCN): 가려지지 않은 노드·엣지 정보로 마스킹된 부분의 잠재 표현을 학습한다.
- decoder(GAT, Graph Attention Network): 주변 이웃 정보까지 활용해 원래 노드 특징과 엣지 구조를 복원한다.
- 기존 마스킹 방법들은 노드만 마스킹하거나 엣지만 마스킹했다. SMGAE는 노드와 엣지를 동시에 마스킹하고 복원한다. 이 덕분에 모델이 그래프의 구조와 특징을 함께 이해하는 더 강한 표현력을 갖게 된다.
- 복원 손실 함수: MSE 대신 코사인 유사도 오차를 사용한다. MSE는 벡터 차원이나 크기에 민감하게 반응해 불안정할 수 있기 때문이다.
MIT (Multiple Information Transformer)
서로 다른 관계 유형(화자 관계, 이벤트 종류별)의 정보를 Transformer로 교차 융합하는 단계이다.
-
멀티 관계 그래프에서 각 관계 유형은 각자 다른 서브그래프를 형성한다. MIT는 이 여러 서브그래프의 정보를 서로 참조하며 합친다.
-
각 관계 서브그래프의 특징 벡터를 1D 컨볼루션과 선형 레이어로 Q, K, V를 만들고, Transformer의 어텐션 메커니즘으로 관계 간 상관관계를 계산한다. 즉 "화자-장소 관계"가 "화자-화자 관계"를 얼마나 보완하는지를 자동으로 학습한다.
-
각 관계를 독립적으로 처리하면 관계 간의 시너지를 잃는다. MIT는 여러 관계가 서로를 어떻게 강화하는지 학습한다.
구성 5: balanced sampling strategy based on counterfactual learning
데이터가 적은 소수 감정 클래스를 잘 인식하도록 학습을 보정하는 단계이다.
- 일반적인 교차 엔트로피 손실만 사용하면 데이터가 많은 neutral 같은 감정에만 편향되어 학습된다. DER-GCN은 두 가지 손실을 함께 사용한다.
트리플렛 손실 (LE)
각 발화에 대해 같은 감정의 샘플(양성)과 다른 감정의 샘플(음성)을 뽑아서, 양성과의 거리는 좁히고, 음성과의 거리는 넓히도록 학습한다. 이를 통해 소수 클래스도 명확한 특징 공간을 확보하게 된다.
글로벌 교차 엔트로피 손실 (LC)
그래프 구조 정보를 보존하기 위해 일반 분류 손실도 함께 유지한다.
최종 손실 = LE + LC 이다.
Conclusion
MELD 데이터셋에서 fear과 disgust 클래스의 인식 성능이 기존 대비 약 10%포인트 향상됐다.
DER_GCN은 대화의 주제와 관련된 잠재적인 의미론적 정보를 추출하기 위해, event extraction method를 사용하여 주요 사건을 추출하도록 한다. graph autoencoder를 구축하고, 최적의 네트워크 파라미터를 통해 멀티모달 감정인식을 수행한다.
개선점
- self-supervised 학습 알고리즘을 통해 대규모의 unlabeled 발화 데이터를 입력했을 때도 감정 인식을 수행할 수 있게 해야된다(generalization).
