计算机工程

作者：张攀峰, 吴丹华, 董明刚

单位：1. 桂林理工大学 信息科学与工程学院, 广西 桂林 5410062. 广西嵌入式技术与智能系统重点实验室, 广西 桂林 541006

关键词：差分隐私,噪声参数,粒子群优化,网络训练,联邦学习

基金：国家自然科学基金(61862019); 广西科技基地和人才专项(2018AD19136); 桂林理工大学科研启动基金(GLUTQD2017065); 广西嵌入式技术与智能系统重点实验室项目

在深度模型差分隐私保护中，过大的梯度扰动噪声会造成数据可用性下降。提出一种基于粒子群优化算法的深度学习模型，根据粒子群优化策略，将粒子的位置映射到网络参数，寻找个体历史最优位置和全局历史最优位置。对全局最优粒子位置所得梯度进行扰动重新参与模型训练，在不改变参数和梯度结构的前提下利用网络传播属性对噪声参数进行优化，运用带扰动的位置参数获取目标函数，最小化经验风险函数，降低噪声对模型效用的损害。在联邦学习模式下，本地客户端利用粒子位置参数更新出本地环境中个体和全局历史最优位置，找到当前最优参数加以扰动，再上传至中心服务器。当每个客户端再次训练时，从服务器请求获取优化、扰动和聚合后的广播参数，参与合作学习。实验结果表明，该算法模型在保护隐私的同时能更好地保留模型可用性，相比DP-SGD算法，在Mnist、Fashion-Mnist和Cifar-10数据集上的准确率分别提高了5.03%、9.23%和22.77%，能够加快联邦学习中的模型收敛，在独立同分布和非独立同分布数据上都具有较好的表现。

来源：2023年第9期

《计算机工程》期刊编辑部

查看计算机工程杂志2023年第9期