计算机工程

作者：刘海军, 付晓东

单位：1. 昆明理工大学信息工程与自动化学院, 云南 昆明 6505002. 昆明理工大学云南省计算机技术应用重点实验室, 云南 昆明 650500

关键词：联邦学习,长尾分布,异构数据,自监督学习,对比语言-图像预训练

基金：国家自然科学基金(62362043); 云南省"兴滇英才支持计划"项目(KKXY202203008); 云南省科技计划项目(202205AF150003); 云南省科技计划项目(202204BQ040010); 云南省科技计划项目(202102AD080002)

现实世界中的数据通常遵循长尾分布, 假设全局数据分布平衡的联邦学习方法难以对长尾数据中的尾类数据进行准确分类。为此, 现有研究为全局模型重新训练一个平衡的分类器, 以缓解长尾数据带来的影响, 但其未考虑平衡模型的特征提取器以及如何让模型的特征提取器学习高质量的图像特征, 导致全局模型性能不佳。为了使模型在特征学习阶段没有偏见地学习高质量的图像特征, 提出一种结合旋转自监督和对比语言-图像预训练(CLIP)指导的联邦学习方法, 通过使用旋转自监督学习来指导本地客户端模型的训练, 减少长尾数据对客户端模型造成的影响, 并使模型高质量地学习图像中的特征。同时, 利用CLIP对模型的正常训练以及旋转后的图片进行指导, 将CLIP中丰富的知识转移到客户端模型中, 进一步提升特征提取器的性能。在不同长尾分布下的CIFAR-10和CIFAR-100数据集上进行测试, 并与其他联邦学习方法进行对比, 实验结果表明, 与现有方法相比, 该方法可将全局模型的分类准确率提升2.35~4.72百分点。

来源：2026年第5期

《计算机工程》期刊编辑部

查看计算机工程杂志2026年第5期