Bootstrap

什么是多模态、多模态学习的分类

多模态

多模态的作用:多模态指的是多种模态的信息,包括:文本、图像、视频、音频等。

多模态学习的分类

  • 多模态表示学习 Multimodal representation
  • 模态转化 Translation
  • 对齐 Alignment
  • 多模态融合 Multimodal Fusion
  • 协同学习 Co-learning

多模态融合的作用: 多模态融合是指将来自不同感知模态(如图像、文本、语音等)的信息整合到一个统一的模型中,以更全面、准确地理解和处理数据。

;