计算机工程

作者：杨钰雪, 何甜, 樊京杭, 刘瑞英, 李腾

单位：1. 国网河北省电力有限公司信息通信分公司, 河北 石家庄 0500002. 华北电力大学计算机系, 河北 保定 071003

关键词：跨模态检索,交叉注意力,图文匹配,特征池化,特征融合

基金：国网河北省电力有限公司科技项目(SGHEXT00YJJS2310459)

目前, 图文检索已经成为跨模态领域的一个重要研究方向, 但现有的将多种模态特征聚合的方式面临着模态间特征对齐不充分和模态内语义表征损失的两大挑战。针对跨模态检索领域模态内特征信息的表征问题, 提出一种基于交叉注意力与特征聚合的跨模态图文检索模型。该模型包含图文特征提取、交叉注意力、特征池化、特征融合等模块, 结合三元组损失函数挖掘图文局部信息, 以获得具有深层次语义关系的图文特征表示。模型采用注意力融合策略, 通过可学习权重参数调控图像与文本细粒度特征的融合。设计一种特征池化模块, 分别聚合图像区域特征和文本序列特征, 并通过神经网络学习权重参数, 结合多重相似度共同指导模型学习, 该模块可以灵活地处理图文变长序列的特征, 增强模型对跨模态信息的捕捉能力。在公共数据集MS COCO和Flickr 30k上进行对比实验, 结果表明, 与多种图文检索模型相比, 该模型在同类方法中检索性能更高, 其在语义特征池化降维方面具有优势, 为跨模态特征融合提供了新思路。

来源：2026年第2期

《计算机工程》期刊编辑部

查看计算机工程杂志2026年第2期