Multimodal learning

🔴 오늘 공부 (230426)

• (1) Multimodal learning
• (2) Prompt learning
• (3) light-weight model

🟠 (1) Multimodal learning
▶ Multimodal learning이란? (정의)

• AI는 인간을 모방하는 것으로 부터 시작된다.
• 그렇다면, 인간이 학습하는 방법을 AI에게 그대로 적용하면 어떨까?
• 인간은 살아가면서 5가지 감각기관으로부터 수집되는 다양한 형태(modality)의 데이터를 사용하여 학습한다.
• 5가지 Modality : (1) Vision(Image), (2)Text, (3) Speech (Audio), (4) Touch, (5) Smell + Meta data
  
  ▶ Multimodal learning (용어정리)
• Multimodal : Modality 여러개
• Modality : 특정 자원으로부터 수집된 데이터 표현 방식
• Multimodal data : 다양한 자원(source)로 부터 수집된 데이터가 하나의 정보를 표현
  ▶ Multimodal learning (important)
• [데이터 차원 통합] 다양한 데이터의 특징을 어떻게 가져오고, 잘 통합할 수 있을까?
• [모델 통합] 다른 차원을 가진 다양한 데이터를 어떻게 학습시킬 수 있을까?
  ▶ Multimodal learning (Realted work)
• Multimodal data model
  😀 Representation
• Joint representation 2가지 데이터 sum ---> 1개 representation
• Coordinated representation 2가지 데이터를 각각 축약 ---> concatenate
  😀 Translation
• entity를 다른 모달리티의 entity로 변환 (생성)
  😀 Alignment
• 서로 다른 모달리티의 데이터 관계 파악
  😀 Fusion
• 서로 다른 모달리티의 데이터를 결합하여 예측
  😀 Co-learning
• Knowledge가 풍부한 모달리티를 사용하여 Knowledge가 부족한 특정 모달리티의 데이터를 보완
  ▶ Multimodal learning (활용)
• 인간행동인식, 감정(표정)인식, 의학, 정보검색 등 다양한 분야에서 문제를 해결
• Singlemodal Learning(단일모달학습)과 달리, 다양한 정보를 보완적으로 사용
• 다양한 정보를 활용함으로 단일 정보를 사용했을 때보다 학습 성능이 증가할 수 있음
  ® [Multimodal Learning 소개] https://seunghan96.github.io/mult/study-%28multi%29Multimodal-Learning%EC%86%8C%EA%B0%9C/