计算机工程

作者：何俊, 张彩庆, 李小珍, 张德海

单位：1. 昆明学院 信息工程学院, 昆明 650214;2. 云南大学 a. 外国语学院;b. 软件学院, 昆明 650206

关键词：深度学习,多模态,模态融合,模态对齐,多核学习,图像模型

基金：国家自然科学基金（61263043，61864004）；云南省地方本科高校基础研究联合专项（2017FH001-05）。

面向深度学习的多模态融合技术是指机器从文本、图像、语音和视频等领域获取信息实现转换与融合以提升模型性能，而模态的普遍性和深度学习的热度促进了多模态融合技术的发展。在多模态融合技术发展前期，以提升深度学习模型分类与回归性能为出发点，阐述多模态融合架构、融合方法和对齐技术。重点分析联合、协同、编解码器3种融合架构在深度学习中的应用情况与优缺点，以及多核学习、图像模型和神经网络等具体融合方法与对齐技术，在此基础上归纳多模态融合研究的常用公开数据集，并对跨模态转移学习、模态语义冲突消解、多模态组合评价等下一步的研究方向进行展望。

来源：2020年第5期

《计算机工程》期刊编辑部

查看计算机工程杂志2020年第5期