计算机工程

作者：叶进, 韦涛, 胡亮青, 罗森, 李晓欢

单位：1. 广西大学 计算机与电子信息学院, 南宁 5300032. 广西综合交通大数据研究院, 南宁 530201

关键词：联邦学习,动量,智联网,非独立同分布,深度学习

基金：国家自然科学基金区域创新发展联合基金(U22A2021)

在智联网(AIoT)中引入联邦学习(FL)可以加强数据的隐私保护，然而分布式AIoT设备间的数据通常是非独立同分布的，标准的FL模型训练算法会使模型训练时出现客户机漂移的现象，导致收敛缓慢和不稳定。针对此问题，提出基于全局动量的联邦学习算法FedCNM。FedCNM将在AIoT服务器聚合的全局梯度信息发送至AIoT设备，让AIoT设备可以根据全局梯度信息来初始化本地模型，并标准化客户机模型的参数更新，以全局动量的方式平滑客户机模型的更新来缓解客户机漂移问题，加快模型的训练。在CIFAR-10和CIFAR-100数据集上模拟大规模设备、部分参与和不同数据分布场景进行仿真实验，结果表明，较对比方法，FedCNM在各种任务上训练的模型可以提高1.46%~11.12%的测试精度，且完成各种学习任务所需要的通信量最少。在CIFAR-10数据集上对比SGD+M、NAG、Adam和AMSGrad这4个本地优化器对算法的影响，实验结果表明，当本地使用基于动量的优化器SGD+M和NAG时，分别提高了10.53%和10.44%的测试精度。

来源：2023年第12期

《计算机工程》期刊编辑部

查看计算机工程杂志2023年第12期