计算机工程

作者：周昊玮, 刘勇, 玄萍

单位：1. 黑龙江大学计算机科学与技术学院, 黑龙江 哈尔滨 1500802. 汕头大学工学院计算机科学与技术系, 广东 汕头 515063

关键词：假新闻检测,预训练,多模态融合,引导向量,跨模态共享特征,阶段融合

基金：国家自然科学基金(61972135); 黑龙江省自然科学基金(LH2020F043)

现有的多模态检测模型通常对每个模态的特征进行简单拼接，不能对模态之间的相关性进行有效建模，而且很难迁移到标签稀少的领域。提出一种基于预训练和多模态融合的假新闻检测模型PMFD。提取新闻附带图像不同区域的特征作为图像原始向量，合并图像原始向量作为图像引导向量，设计早期融合、中期融合、后期融合3种不同的多模态融合方式。在早期融合阶段，通过图像引导向量初始化文本特征提取器，获取文本原始向量，合并文本原始向量作为文本引导向量。在中期融合阶段，使用模态的原始向量集合与其他模态的引导向量构造模态的特征表示。在后期融合阶段，融合不同模态的特征表示，构造新闻的特征表示。为提高模型的泛化能力，在标签丰富的数据上对PMFD进行预训练，然后再在标签稀少的数据上对PMFD进行微调。在公开数据集上的实验结果表明，PMFD能有效检测假新闻结果，相对传统模型CNN、LSTM、BERT等有10%以上的提升，相对EANN、M_model多模态假新闻检测模型有2%~3%的提升。

来源：2024年第1期

《计算机工程》期刊编辑部

查看计算机工程杂志2024年第1期