计算机工程

作者：李红娇, 王宝金, 王朝晖, 胡仁豪

单位：上海电力大学计算机科学与技术学院, 上海 201306

关键词：联邦学习,客户端选择,模拟相似度,聚类,本地损失

基金：国家自然科学基金(61702321)

联邦学习是一种分布式机器学习技术, 通过聚合客户端本地模型参数共建全局模型。现有的联邦学习客户端选择算法作用于训练前或者训练后。面对统计异质的客户端数据, 训练前选择算法会使一些性能较差的客户端参与聚合, 导致模型的准确率下降。而训练后选择算法要求所有客户端参与训练, 需要大量的通信开销。为此, 提出双重客户端选择(DCS)算法, 在训练前选择1个客户端训练子集, 以减少全局模型的下发, 在子集训练后选择部分客户端参与聚合, 以减少本地模型的上传。在本地训练前, 服务器根据本地与全局模型的余弦相似度进行层次聚类, 得到不同的选择概率分布, 从中选出无偏的训练子集, 以便更好地适应客户端数据的统计异质性。在子集训练后, 服务器不仅考虑了本地损失, 还结合了本地与全局模型的余弦相似度筛选出聚合子集, 提高全局模型准确率。在Fashion-MNIST和CIFAR-10数据集上的实验结果表明, DCS算法相比于基线算法的测试准确率最大可提升8.55个百分点, 同时上行和下行链路的通信开销分别为O(mn+2d)和O(dn+m)。

来源：2024年第8期

《计算机工程》期刊编辑部

查看计算机工程杂志2024年第8期