计算机工程

作者：邢彤彤, 孙仁诚, 邵峰晶, 隋毅

单位：青岛大学 计算机科学技术学院, 山东 青岛 266071

关键词：深度学习,卷积神经网络,预训练模型,权重初始化,对称幂律分布

基金：国家自然科学基金青年科学基金项目（41706198）。

深度神经网络训练的实质是初始化权重不断调整的过程，整个训练过程存在耗费时间长、需要数据量大等问题。大量预训练网络由经过训练的权重数据组成，若能发现预训练网络权重分布规律，利用这些规律来初始化未训练网络，势必会减少网络训练时间。通过对AlexNet、ResNet18网络在ImageNet数据集上的预训练模型权重进行概率分布分析，发现该权重分布具备单侧幂律分布的特征，进而使用双对数拟合的方式进一步验证权重的单侧分布服从截断幂律分布的性质。基于该分布规律，结合防止过拟合的正则化思想提出一种标准化对称幂律分布（NSPL）的初始化方法，并基于AlexNet和ResNet32网络，与He初始化的正态分布、均匀分布两种方法在CIFAR10数据集上进行实验对比，结果表明，NSPL方法收敛速度优于正态分布、均匀分布两种初始化方法，且在ResNet32上取得了更高的精确度。

来源：2022年第7期

《计算机工程》期刊编辑部

查看计算机工程杂志2022年第7期