计算机工程

作者：房志远, 石守东, 郑佳罄, 胡加钿

单位：宁波大学 信息科学与工程学院, 浙江 宁波 315211

关键词：模型剪枝,弱层惩罚,全局掩码,欧式距离,核重要性评估

基金：宁波市公益项目“基于深度学习的儿童学习姿态识别系统研究与实现”（2019C50020）。

深度卷积神经网络的存储和计算需求巨大，难以在一些资源受限的嵌入式设备上进行部署。为尽可能减少深度卷积神经网络模型在推理过程中的资源消耗，引入基于几何中值的卷积核重要性判断标准，提出一种融合弱层惩罚的结构化非均匀卷积神经网络模型剪枝方法。使用欧式距离计算各层卷积核间的信息距离，利用各卷积层信息距离的数据分布特征识别弱层，通过基于贡献度的归一化函数进行弱层惩罚，消除各层间的差异性。在全局层面评估卷积核重要性，利用全局掩码技术对所有卷积核实现动态剪枝。在CIFAR-10、CIFAR-100和SVHN数据集上的实验结果表明，与SFP、PFEC、FPGM和MIL剪枝方法相比，该方法剪枝得到的VGG16单分支、Resnet多分支、Mobilenet-v1轻量化网络模型在保证精度损失较小的情况下，有效地减少了模型参数量和浮点操作数。

来源：2022年第5期

《计算机工程》期刊编辑部

查看计算机工程杂志2022年第5期