计算机工程

作者：蒋雪瑶, 力维辰, 刘井平, 李直旭, 肖仰华

单位：1. 复旦大学 软件学院, 上海 200433;2. 华东理工大学 信息科学与工程学院, 上海 200237

关键词：多模态知识图谱,符号接地,模式迁移,链接预测,实体配图

基金：上海市科技创新行动计划（19511120400）。

构建多模态知识图谱的核心在于为知识图谱中的实体匹配正确合适的图像。现有的实体配图方法主要将百科图谱以及图像搜索引擎作为实体候选图像的来源，但对图像数据元的应用方式比较简单，不能准确把握图像数据来源的特点，且可扩展性较差。提出一种基于多模态模式迁移的知识图谱实体配图方法，从不同类别的头部实体中抽取对应的语义模板及视觉模式迁移到同类非头部实体的图像获取过程中，其中语义模板用于构建搜索引擎检索关键词，视觉模式用于对检索结果去噪，最终为WikiData中25类共1.278×105个实体收集1.8×106幅图像。实验结果表明，与IMGpedia、VisualSem、Richpedia和MMKG这4种多模态知识图谱相比，利用该方法构建所得的知识图谱中实体对应的图像在准确性和多样性上更具优势，在下游任务链接预测中，通过引入该方法收集到的图像可使模型的预测链接准确性得到显著提升，在Hits@10的指标上取得59.74%的准确率，较对比方法提高12.7个百分点以上。

来源：2022年第8期

《计算机工程》期刊编辑部

查看计算机工程杂志2022年第8期