计算机工程

作者：李博文, 谢在鹏, 毛莺池, 徐媛媛, 朱晓瑞, 张基

单位：河海大学 计算机与信息学院, 南京 211100

关键词：神经网络,深度学习,分布式编码,梯度下降,通信负载

基金：国家自然科学基金重点项目（61832005）；国家重点研发计划（2016YFC0402710）。

基于数据并行化的异步随机梯度下降（ASGD）算法由于需要在分布式计算节点之间频繁交换梯度数据，从而影响算法执行效率。提出基于分布式编码的同步随机梯度下降（SSGD）算法，利用计算任务的冗余分发策略对每个节点的中间结果传输时间进行量化以减少单一批次训练时间，并通过数据传输编码策略的分组数据交换模式降低节点间的数据通信总量。实验结果表明，当配置合适的超参数时，与SSGD和ASGD算法相比，该算法在深度神经网络和卷积神经网络分布式训练中平均减少了53.97%、26.89%和39.11%、26.37%的训练时间，从而证明其能有效降低分布式集群的通信负载并保证神经网络的训练精确度。

来源：2021年第4期

《计算机工程》期刊编辑部

查看计算机工程杂志2021年第4期