计算机工程

北大核心,CA,INSPEC,JST,Pж(AJ)

国内刊号:31-1289/TP

国际刊号:1000-3428

计算机工程杂志2022年第5期:面向轻量级卷积网络的激活函数与压缩模型

发布日期:

作者:徐增敏, 陈凯, 郭威伟, 赵汝文, 蒋占四

单位:1. 桂林电子科技大学 数学与计算科学学院, 广西 桂林 541004;2. 杭州海康威视数字技术股份有限公司, 杭州 310052;3. 桂林安维科技有限公司, 广西 桂林 541010;4. 中国通信建设集团设计院有限公司第四分公司, 郑州 450052;5. 桂林电子科技大学 机电工程学院, 广西 桂林 541004

关键词:manifold of interest变换,深度可分离卷积,逐点卷积,自门控函数,Kotlin协程

基金:国家自然科学基金“视频侦查中基于深度学习的人体行为识别技术研究”(61862015);广西重点研发计划项目“面向涉密场所的视频人体行为分析系统研发及应用”(AB17195025);广西高校中青年教师科研基础能力提升项目“基于手机指纹识别身份认证系统研究”(2019KY0253)。

因卷积神经网络参数膨胀,导致模型训练时占用大量的计算资源和存储资源,从而限制其在边缘终端上的应用。依据深度可分离卷积模型MobileNet V1的设计思路,结合自门控函数和ReLU函数的特点,构建一种改进的激活函数和压缩神经网络模型MobileNet-rhs。将ReLU函数和swish函数分别作为分段线性函数,设计激活函数ReLU-h-swish,通过优化卷积单元结构,解决模型训练过程中难以激活部分神经元的问题,以减少特征信息丢失。构建一种剔除卷积核的压缩模型,从模型深处自下而上剔除2n个卷积核,减少逐点卷积的参数量。在CIFAR-10和CIFAR-100数据集上进行实验,结果表明,引入ReLU-h-swish函数构建MobileNet-rhs模型的Top-1分类准确率为80.38%。相比MobileNet-rhs模型,压缩后MobileNet-rhs模型的参数量减少17.9%,其Top-1分类准确率仅降低2.28个百分点。此外,利用Tensorflow将该模型部署在安卓平台上,实现图像分类相册的应用。

来源:2022年第5期

《计算机工程》期刊编辑部

查看计算机工程杂志2022年第5期

联系我们

  • 地址:上海市嘉定区澄浏公路63号
  • 电话:(021) 67092217
  • E-mail:ecice06@ecict.com.cn

咨询工作人员