计算机工程

作者：李佩, 陈乔松, 陈鹏昌, 邓欣, 王进, 朴昌浩

单位：1. 重庆邮电大学 计算机科学与技术学院, 重庆 400065;2. 数据工程与认知计算重庆市重点实验室, 重庆 400065

关键词：信息检索,多模态检索,细粒度检索,多模态表征学习,深度学习

基金：国家自然科学基金（61806033）；国家社会科学基金西部项目（18XGL013）。

跨模态检索的目标是用户给定任意一个样本作为查询样例，系统检索得到与查询样例相关的各个模态样本，多模态细粒度检索在跨模态检索基础上强调模态的数量至少大于两个，且待检索样本的分类标准为细粒度子类，存在多模态数据间的异构鸿沟及细粒度样本特征差异小等难题。引入模态特异特征及模态共享特征的概念，提出一种多模态细粒度检索框架MS2Net。使用分支网络及主干网络分别提取不同模态数据的模态特异特征及模态共享特征，将两种特征通过多模态特征融合模块进行充分融合，同时利用各个模态自身的特有信息及不同模态数据间的共性及联系，增加高维空间向量中包含的语义信息。针对多模态细粒度检索场景，在center loss函数的基础上提出multi-center loss函数，并引入类内中心来聚集同类别且同模态的样本，根据聚集类内中心来间接聚集同类别但模态不同的样本，同时消减样本间的异构鸿沟及语义鸿沟，增强模型对高维空间向量的聚类能力。在公开数据集FG-Xmedia上进行一对一与一对多的模态检索实验，结果表明，与FGCrossNet方法相比，MS2Net方法mAP指标分别提升65%和48%。

来源：2022年第11期

《计算机工程》期刊编辑部

查看计算机工程杂志2022年第11期