https://arxiv.org/abs/2605.06643

Introduction

• 본 논문은 멀티모달 domain generalization이 실제로 얼마나 발전했는지를 재검토하는 것을 목표로 함
• 현실 환경에서는 학습 데이터와 배포 환경 사이에 분포 차이가 발생하기 때문에, 머신러닝 모델의 성능이 크게 저하될 수 있음
  • 멀티모달 학습은 오디오, optical flow와 같은 상호보완적 신호를 결합함으로써 이러한 문제를 완화할 가능성이 있지만, 도메인 변화 상황에서는 여전히 취약
• 특히 멀티모달 시스템은 일반적인 단일모달 모델과 달리 모달리티 불균형, 불안정한 fusion, 입력 corruption, missing modality와 같은 고유한 문제를 가짐
• 이러한 문제를 해결하기 위해 여러 Multimodal Domain Generalization (MMDG) 방법이 제안되었고, 기존 연구들은 대체로 성능 향상을 보고해왔으나, 연구마다 사용하는 데이터셋, 모달리티 조합, 데이터 분할, 평가 지표, 하이퍼파라미터 탐색 절차가 크게 달라서, 보고된 향상이 알고리즘 자체의 발전인지 아니면 평가 프로토콜의 차이에서 비롯된 것인지 명확하지 않음
• 저자들은 이러한 상황이 단일모달 DG에서의 DomainBed 연구와 유사하다고 봄
  • DomainBed는 표준화된 평가를 통해 잘 조정된 ERM이 여러 전문화된 도메인 일반화 방법과 비슷하거나 더 나은 성능을 낼 수 있음을 보였으며, 이를 통해 기존 연구의 성능 향상 중 일부과 일관되지 않은 평가 방식에서 비롯되었을 가능성을 제기
  • 그러나 MMDG 분야에서는 이에 대응하는 엄격하고 종합적인 benchmark가 아직 부족함
• 따라서 본 논문은 MMDG-Bench를 제안하고자 함.

---

A Comprehensive benchmark for Multimodal Domain Generalization

해당 섹션에서는 MMDG-Bench의 설계 구조와 평가 범위를 상세히 다룸. 이는 MMDG의 여러 패러다임을 공식화하고, 비교 대상이 되는 방법론들과 실험 설정을 표준화하는 데 집중함.

Multimodal Domain Generalization Paradigms

논문은 MMDG의 핵심 시나리오를 네 가지 정의로 구분하여 정립함.

• Multi-source MMDG: 여러 개의 레이블된 소스 도메인 $\{D^i_s\}^{N_s}_{i=1}$에서 학습하여, 학습 시 보지 못한 타겟 도메인 $D_t$로 일반화하는 설정
• Single-source MMDG: 단 하나의 소스 도메인 $D_s$에서만 학습하여 타겟 도메인 $D_t$로 전이하는 더욱 도전적인 설정
• Corruption Robustness: 타겟 도메인의 모달리티 중 하나 이상에 노이즈가 발생했을 때의 성능 유지 능력을 측정
• Missing-modality Generalization: 학습 시에는 존재했던 모달리티가 추론 시 센서 고장 등으로 인해 사라진 경우의 성능을 평가

Multimodal Domain Generalization Methods

총 9개의 대표적인 방법론과 성능의 상한선을 확인하기 위한 Oracle 모델이 포함됨.

• ERM: 모든 소스 데이터를 합쳐 경험적 위험을 최소화하는 기초 baseline.
• 전문화된 MMDG 알고리즘: RNA-Net, SimMMDG, MOOSA, CMRF, NEL, JAT, MBCD, GMP 등을 포함
• Oracle: 타겟 도메인 데이터로 직접 학습한 모델로, 현재 기술이 도달할 수 있는 이상적인 성능 천장을 제공

Experimental Setups

• Datasets

  • Action Recognition (EPIC-Kitchens, HAC)

  • Fault Diagnosis (HUST Motor)

  • Sentiment Analysis (MOSI, MOSEI, SIMS)

    → 등 3개 분야 6개 데이터셋을 통합

• Modality combinations
  • 비디오(V), 오디오(A), 광학 흐름(F)의 다양한 조합(V+A, V+F, A+F, V+A+F)과 진동/음향, 비디오/오디오/텍스트 조합을 모두 테스트
• Backbone architectures
  • 비디오(SlowFast), 오디오(ResNet-18), 텍스트(BERT), 진동(1D CNN) 등 각 모달리티에 최적화된 표준 백본을 사용
• Evaluation protocols & hyperparameter search
  • 공정한 비교를 위해 동일한 데이터 분할과 최적화 도구를 사용
  • 각 알고리즘-데이터셋 쌍에 대해 10회의 random search를 포함한 엄격한 하이퍼파라미터 튜닝을 거치며, 이 과정에서 총 7,402개의 모델이 학습되었음

---

Multimodal Domain Generalization Under Fair Comparison

본 섹션에서는 표준화된 평가 프로토콜 하에서 수행된 대규모 실험 결과를 분석. 주요 목표는 최신 MMDG 알고리즘들이 실제로 ERM과 같은 강력한 베이스라인보다 유의미한 우위를 점하고 있는지 검증하는 것.

Results on action recognition

• EPIC-Kitchens와 HAC 데이터셋 결과, 특정 알고리즘이 모든 상황에서 압도적인 성능을 보이지 않았음
• 성능 순위는 데이터셋이나 모달리티 조합에 따라 심하게 요동쳤으며, 전문화된 알고리즘들이 ERM이나 SimMMDG 같은 베이스라인 대비 얻는 이득은 매우 작거나 상황에 따라 달랐음

Results on fault diagnosis

• Hust motor 데이터셋에서는 MOOSA가 가장 높은 정확도를 기록하며 ERM을 유의미하게 앞섰음
• 그러나 action recognition에서는 강했던 MBCD가 여기서는 최하위권으로 떨어지는 등, 과업군에 따른 순위 역전 현상이 뚜렷해 특정 방법론의 범용적 우월성을 주장하기 어려움

Results on sentiment analysis

• 가장 강력한 전문 방법론인 MOOSA조차 ERM보다 정확도가 1% 미만으로 앞섰으며, 절반의 시나리오에서 ERM이 전문 방법론과 대등하거나 더 나은 성능을 보임
• 특히 텍스트 중심 과업에서 일부 MMDG 기법은 오히려 성능이 떨어지는 negative transfer 현상이 관찰됨

Single-source DG

• 소스 도메인이 하나로 제한될 때 MMDG 알고리즘들이 얼마나 취약한지 가장 극명하게 보여줌
• 특히 D1 → D4와 같은 어려운 전이 시나리오에서 모든 모델의 정확도는 크게 떨어짐
  • 이는 현재의 MMDG 방법론들이 알고리즘 자체의 일반화 능력보다는 소스 도메인의 다양성에 크게 의존하고 있음을 증명

Trimodal fusion does not consistently improve generalization

• 모달리티를 추가(V+A+F)하는 것이 항상 성능 향상을 보장하지 않음을 보여줌
• HAC 데이터셋에서는 9개 방법론 중 5개만이 이득을 보았으며, MOOSA 같은 모델을 오히려 V+F 조합보다 V+A+F 조합에서 성능이 하락함
  • 이는 특정 모달리티가 지배적인 상황에서 보조 모달리티가 오히려 간섭이나 최적화의 방해 요소가 될 수 있음을 시사

Massive gap to Oracle model

위 Table 1 참조

• 현재 MMDG 기술 수준과 이상적인 목표치 사이의 간극을 명확히 보여줌
• HAC (V+A) 설정에서 가장 성능이 좋은 MOOSA조차 타겟 데이터를 직접 학습한 Oracle과 비교하면 약 22%p의 막대한 차이를 보임
• 이러한 거대한 격차는 현재의 도메인 정렬 방식들이 타겟 도메인의 특성을 포착하는 데 여전히 한계가 있음을 드러냄

---

Robustness under Corruptions and Missing Modalities

본 섹션에서는 clean 벤치마크를 넘어, 실제 배포 환경에서 흔히 발생하는 센서 고장이나 노이즈 상황에서의 모델 성능을 평가

Robustness under corruptions

• Audio corruption은 모든 모델에서 완만한 하락을 보였으나, Video corruption은 치명적인 성능 저하를 일으켰음
• 특히 clean 데이터에서 2위였던 SimMMDG가 corruption 시 7위로 추락한 결과는, 표준 DG 성능이 실제 강건성을 보장하지 않는다는 증거가 됨

Missing modalities

• 추론 시 모달리티가 누락되는 상황을 평가했을 때, video를 제거하면 성능이 폭락하는 반면, audio를 제거할 때는 성능 변화가 미미하거나 오히려 소폭 상승하는 경우도 있음
• 이는 현재 모델들이 보조 모달리티를 효과적으로 융합하지 못하고 오히려 노이즈원으로 취급하고 있을 가능성을 보여줌

---

Trustworthiness: Misclassification and Out-of-Distribution Detection

해당 섹션에서는 예측 정확도를 넘어 모델이 자신의 오류를 인지하는 지와 학습하지 않은 새로운 범주를 구분해내는지(OOD 탐지)를 평가하여 모델의 신뢰성을 측정

• MMDG 분야에서 이러한 신뢰성 지표를 표준화하여 평가한 것은 본 연구가 처음

Misclassification detection

• SimMMDG가 가장 우수한 평균 AURC와 AUROC를 기록
  • 이는 공유 기능과 모달리티 특정 기능을 명시적으로 분해하는 구조가 모델의 불확실성 추정에서 도움이 됨을 보여줌
• 반면, MOOSA는 FPR95에서 가장 좋은 성적을 내어, self-supervised 과제가 정답과 오답을 분리하는 데 효과적임을 입증

Out-of-distribution detection

• SimMMDG가 여기에서도 가장 강력한 성능을 보였으나, 주목할 점은 오분류 탐지에서 최하위였던 CMRF가 OOD 탐지에서는 AUROC 2위를 기록했다는 점
  • 이는 OOD 샘플을 분리해내는 능력과 내부의 오류를 보정하는 능력이 별개임을 보여줌

---

Conclusion

• 공정한 평가 환경을 구축했을 때, 최신 전문 알고리즘들이 베이스라인인 ERM보다 얻는 이득은 극히 미미했으며, 데이터셋, 과업, 모달리티 조합에 상관없이 항상 우월한 성능을 보이는 단일 알고리즘은 존재하지 않았음
• 모든 모델이 corruption과 모달리티 결측에 매우 취약했으며, 정확도가 높더라도 자신의 오류를 인지하는 trustworthiness 지표는 오히려 떨어지는 경우가 많았음
• 단순히 clean 데이터에서의 정확도만 높이는 연구는 이제 불충분하며, 앞으로는 모달리티 간 경쟁 관리, 부식 회복력, 신뢰할 수 있는 불확실성 추정을 첫 번째 목표로 삼아야 함.