计算机工程

作者：吴海鹏, 钱育蓉, 冷洪勇

单位：1. 新疆大学信息科学与工程学院, 新疆 乌鲁木齐 830046;2. 新疆维吾尔自治区信号检测与处理重点实验室, 新疆 乌鲁木齐 830046;3. 新疆大学软件学院, 新疆 乌鲁木齐 830046

关键词：关系抽取,社交网络,冗余信息,多模态数据,双向注意力机制

基金：国家自然科学基金(61966035,62266043);国防科工局重大专项(95-Y50G37-9001-22/23)。

传统关系抽取方法从纯文本中识别实体对之间的关系,多模态关系抽取方法通过利用多种模态信息辅助关系抽取任务。针对现有多模态关系抽取模型在处理图像数据时存在容易受到冗余信息干扰的问题,提出一种基于双向注意力机制的多模态关系抽取模型。首先,采用来自Transformer的双向编码器表示(BERT)与场景图生成模型分别提取文本语义特征与图像语义特征。然后,利用双向注意力机制建立图像到文本与文本到图像的双向对齐机制,通过这种双向对齐机制实现图像与文本之间的双向信息交互,赋予图像中冗余信息较低的权重以削弱其对文本语义表示的干扰,从而减轻图像中冗余信息对关系抽取结果造成的负面影响。最后,将对齐后的文本特征表示与视觉特征表示相连接形成文本与图像的融合特征,通过多层感知机(MLP)计算所有关系分类的概率分数并输出预测关系。在用于神经关系提取的多模式数据集(MNRE)上的实验结果表明,该模型的精确率、召回率、F1值分别达到65.53%、69.21%与67.32%,相比于基准模型均有明显提升,具有较好的关系抽取效果。

来源：2024年第4期

《计算机工程》期刊编辑部

查看计算机工程杂志2024年第4期