计算机工程

作者：董丰恺, 邹晓强, 王佳慧, 马利民, 杨文元, 刘熙尧

单位：1. 中南大学计算机学院, 湖南 长沙 4100832. 国家信息中心网络安全部, 北京 1000453. 北京信息科技大学计算机学院, 北京 1001014. 中山大学网络空间安全学院, 广东 深圳 518107

关键词：人脸伪造检测,帧内-帧间自融合,特征融合,注意力机制,双流网络,泛化能力

基金：国家自然科学基金青年基金(61602527); 湖南省自然科学基金面上项目(2020JJ4746); 湖南省创新生态建设计划-政策性项目(2022GK5002); 长沙市杰出创新青年培养计划(kq2209003)

现有人脸伪造检测方法往往在已知伪造类型上表现良好, 但面对未知数据时检测性能有所下降, 模型易受到过拟合的影响, 检测泛化性不足。针对此问题, 提出一种基于帧内-帧间自融合的双流泛化人脸伪造检测方法, 从数据增强和检测器改进2个方面提高检测泛化性。设计帧内-帧间自融合模块, 分别利用同帧人脸、帧间人脸进行数据增强: 帧内自融合子模块利用同帧人脸生成训练数据, 从而避免人脸图像身份信息干扰; 帧间自融合子模块利用伪造视频的帧间不一致性, 进一步构造多样性丰富、逼真的训练数据集, 从而有效防止模型的过拟合, 确保检测模型的泛化能力。此外, 设计基于通道注意力机制的双流特征融合网络, 在网络的浅层提取RGB特征、高频特征并进行融合来挖掘伪造信息, 在提升模型性能的同时缓解网络的参数增长。将模型在4个数据集上与9种主流检测方法进行对比实验, 结果表明: 在跨数据集实验中, 所提方法较次优方法AUC均值提高1.52个百分点, EER均值降低1.5个百分点; 在跨伪造方法实验中, 所提方法在4种伪造方法子数据集上均取得最优或次优效果。实验结果验证了该方法优秀的泛化能力。

来源：2024年第10期

《计算机工程》期刊编辑部

查看计算机工程杂志2024年第10期