计算机工程

作者：程小辉, 李钰, 康燕萍

单位：1. 桂林理工大学 信息科学与工程学院, 广西 桂林 541006;2. 广西嵌入式技术与智能系统重点实验室, 广西 桂林 541006

关键词：深度学习,模型剪枝,卷积神经网络,互信息,节点相似度,K-means++聚类,中间特征

基金：国家自然科学基金（61662017，61862019）；广西自然科学基金（2018GXNSFAA281235）；广西科技基地和人才专项（2018AD19136）；广西中青年教师基础能力提升项目（2018KY0248，2020KY06026）。

卷积神经网络（CNN）在计算和存储上存在大量开销，为了使CNN能够在算力和存储能力较弱的嵌入式等端设备上进行部署和运行，提出一种基于中间图特征提取的卷积核双标准剪枝方法。在卷积层后插入中间图互信息特征提取框架，分析卷积核的特征提取能力，结合批量归一化层的缩放因子对卷积核的综合重要性进行评估，获取更为稀疏的CNN模型。针对全连接层存在大量冗余节点的问题，提出一种基于节点相似度与K-means++聚类的全连接层剪枝方法，聚类相似度较高的节点，并对剪枝后的连接层权重进行融合，在一定程度上弥补因剪枝所造成的精度损失。在CIFAR10和CIFAR100数据集上的实验结果表明，使用该剪枝方法对ResNet56网络进行剪枝，在损失0.19%分类精度的情况下能够剪掉48.2%的参数量以及46.7%的浮点运算量，对于VGG16网络，能够剪掉94.5%的参数量以及64.4%的浮点运算量，分类精度仅下降0.01%。与VCNNP、PF等剪枝方法相比，所提剪枝方法能够在保持模型准确率几乎不变的情况下，对CNN的参数量和计算量进行更大比例的裁剪。

来源：2023年第3期

《计算机工程》期刊编辑部

查看计算机工程杂志2023年第3期