计算机工程

北大核心,CA,INSPEC,JST,Pж(AJ)

国内刊号:31-1289/TP

国际刊号:1000-3428

计算机工程杂志2025年第12期:基于图像置信度动态引导的多模态实体对齐

发布日期:

作者:张晓明, 陈通庆, 王会勇

单位:河北科技大学信息科学与工程学院, 河北 石家庄 050018

关键词:知识图谱,多模态实体对齐,知识融合,多模态数据,知识表示学习

基金:河北省自然科学基金(F2022208002); 石家庄市基础研究计划项目(241790867A)

多模态实体对齐可以找到不同知识图谱中指向真实世界同一对象的实体进一步融合知识图谱。然而, 图像在多模态知识图谱中作为关键的信息载体, 其内在的噪声常常遭到忽略, 这不仅降低了实体对齐的准确性, 也影响了不同知识图谱融合的质量。因此, 提出一种基于图像置信度动态引导的实体对齐模型。该模型首先计算实体所对应的每个图像符合预设类型的置信度; 然后根据置信度动态挑选出类型一致且置信度最高的图像特征, 并利用这些特征进行相似度计算, 从而得到图像置信度引导的实体对齐相似度矩阵; 最后使用晚期融合策略将其与文本引导的实体对齐相似度矩阵相结合, 使之能够有效地处理多模态实体对齐任务。在两个常用的多模态数据集上的实验结果表明, 该模型在性能上超越了现有的多种基线模型, 能够较好地实现多模态实体对齐。

来源:2025年第12期

《计算机工程》期刊编辑部

查看计算机工程杂志2025年第12期

联系我们

  • 地址:上海市嘉定区澄浏公路63号
  • 电话:(021) 67092217
  • E-mail:ecice06@ecict.com.cn

咨询工作人员