计算机工程

作者：张溢文, 蔡满春, 陈咏豪, 朱懿, 姚利峰

单位：中国人民公安大学信息网络安全学院, 北京 100038

关键词：深度伪造,卷积神经网络,特征融合,交叉注意力,数据增强

基金：中国人民公安大学网络空间安全执法技术双一流创新研究专项(2023SYL07)

随着深度学习的快速发展, 深度伪造技术作为一种基于深度学习生成模型的图像篡改技术迅速兴起。深度伪造视频图像的泛滥给国家和社会安全带来了负面影响, 使得深度伪造检测技术的重要性日益凸显。然而, 现有基于卷积神经网络(CNN)或ViT的深度伪造检测技术普遍存在模型参数量大、训练速度慢、容易过拟合、应对视频压缩或噪声的鲁棒性差等问题。为此, 提出一种融合空间特征的多尺度深度伪造检测方法。首先采用自动白平衡(AWB)算法对输入图像进行对比度调整, 以增强模型的鲁棒性; 然后利用MViT和CNN分别提取输入图像的多尺度全局和局部特征; 接着提出一种改进的稀疏交叉注意力机制, 对用MViT提取的全局特征和用CNN提取的局部特征进行融合, 提升模型的识别效果; 最后针对融合后的特征, 通过多层感知机(MLP)进行分类。实验结果表明, 该方法在Deepfakes、FaceSwap和Celeb-DF(v2)数据集上的帧水平AUC分别达到0.986、0.984和0.988, 且在跨压缩率实验中表现出了较强的鲁棒性, 模型改进前后的对比也验证了所提各模块对检测结果的提升作用。

来源：2024年第7期

《计算机工程》期刊编辑部

查看计算机工程杂志2024年第7期