Multimodal Classification: Current Landscape, Taxonomy and Future Directions

🔴 멀티모달 분류

• 2022년, ACM Computing Surveys, (IF, 14.324)에서 발표된 논문임
  

🟠 Data fusion

• (a),(b) Concatenation (데이터 융합 방법)
  : 단순하게 각 모달의 데이터를 연결함
• (c),(d) Merge (병합)
  : 입력 값을 새로운 기능 벡터로 변환하는 연산자(Σ)를 사용하여 수행됨
  : 네트워크 가중치(weights)와 편향(biases)를 활용하는 output merged layer에 modality specific nodes 연결
  : 이 방법은 인코더와 같이 노드를 생성하지만, 디코더에도 일부 사용될 수 있음