计算机工程

作者：梁天佑, 孟敏, 武继刚

单位：广东工业大学 计算机学院, 广州 510006

关键词：无监督,跨模态,检索,哈希,深度学习

基金：国家自然科学基金（62172109）。

已有的无监督跨模态哈希（UCMH）方法主要关注构造相似矩阵和约束公共表征空间的结构，忽略了2个重要问题：一是它们为不同模态的数据提取独立的表征用以检索，没有考虑不同模态之间的信息互补；二是预提取特征的结构信息不完全适用于跨模态检索任务，可能会造成一些错误信息的迁移。针对第一个问题，提出一种多模态表征融合结构，通过对不同模态的嵌入特征进行融合，从而有效地综合来自不同模态的信息，提高哈希码的表达能力，同时引入跨模态生成机制，解决检索数据模态缺失的问题；针对第二个问题，提出一种相似矩阵动态调整策略，在训练过程中用学到的模态嵌入自适应地逐步优化相似矩阵，减轻预提取特征对原始数据集的偏见，使其更适应跨模态检索，并有效避免过拟合问题。基于常用数据集Flickr25k和NUS-WIDE进行实验，结果表明，通过该方法构建的模型在Flickr25k数据集上3种哈希位长检索的平均精度均值较DGCPN模型分别提高1.43%、1.82%和1.52%，在NUS-WIDE数据集上分别提高3.72%、3.77%和1.99%，验证了所提方法的有效性。

来源：2023年第2期

《计算机工程》期刊编辑部

查看计算机工程杂志2023年第2期