计算机工程

作者：安志国, 彭政, 易满成, 刘健欣, 俞思帆

单位：广东电网有限责任公司广州供电局, 广州 510630

关键词：神经网络,权值竞争,重新激活,滤波器剪枝,插件式训练

基金：中国南方电网有限责任公司科技项目（GZHKJXM20200058）。

非重要权重元素的修剪和重新激活可避免神经网络过度参数化，然而权重元素的重新激活一般是通过激活整个滤波器实现，分类准确率不高。针对该问题，在神经网络训练过程中提出一种滤波器权值竞争训练算法。在局部和全局范围内选择并定位劣质滤波器，根据前向匹配策略寻找相应的优质滤波器，使用其中的最优和次优权重元素交叉更新劣质滤波器中的次劣和最劣权重元素，在神经网络结构上使陷入局部极值的权值进行重新激活。实验结果表明，应用滤波器权值竞争训练算法的ResNet、DenseNet等普通神经网络在CIFAR数据集上的分类准确率和在ImageNet数据集上的Top-1准确率平均提升了0.79和1.13个百分点，MobileNet、ShuffleNet等轻量级神经网络平均提升了2.22和2.93个百分点，优于现有的滤波器竞争训练算法。

来源：2023年第4期

《计算机工程》期刊编辑部

查看计算机工程杂志2023年第4期