多模态 Multi-Module的创新点
最近在改论文
用了多模态
记得最早找创新点时
记录了关于多模态相关的一些值得深入研究的方向
记录于此
希望分享交流
*注：多模态不止多信息源；
除了不同的感知模态（如视觉、听觉、触觉等）之外，多模态还可以涉及到不同的数据表示、不同的特征空间、不同的数据类型等。
在更广义的理解中，多模态可以包括以下几个方面的内容：
-
不同的感知模态：这是最常见的多模态定义，涉及到不同的感官输入，如视觉、听觉、触觉等。
-
不同的数据表示或特征空间：即使是同一种感知模态，也可以有不同的数据表示方式或特征空间。比如，在视觉领域，可以使用图像像素值作为一种表示，也可以使用深度学习中的特征向量作为另一种表示。
-
不同的数据类型：除了传统的数据类型（如图像、文本、声音等），还可以涉及到其他类型的数据，如时间序列数据、结构化数据、空间数据等。
-
不同的模态间关系：多模态系统中的不同信息源之间可能存在复杂的关系，可以是互补的、冗余的、竞争的等各种关系。
多模态融合的渐进式融合
多模态学习中的正交序列融合
视听融合中多任务学习的集成框架
量化半监督多模态学习中的交互
基于Hypergraph的自监督多模态表示学习
可扩展的多模态融合
多模态嵌入式问答
从多任务混合视角看待缺失模态
多模态学习单模态偏差理论
交替单模态适应
深度平衡方法
多模态攻
原文地址：https://blog.csdn.net/chongnannan/article/details/137722543
免责声明：本站文章内容转载自网络资源，如本站内容侵犯了原著者的合法权益，可联系本站删除。更多内容请关注自学内容网（zxcms.com）！