计算机工程

作者：仇真, 奚雪峰, 崔志明, 盛胜利, 胡伏原

单位：1. 苏州科技大学 电子与信息工程学院, 江苏 苏州 215000;2. 苏州市虚拟现实智能交互及应用重点实验室, 江苏 苏州 215000;3. 苏州智慧城市研究院, 江苏 苏州 215000;4. 德州理工大学 计算机科学系, 美国 拉伯克 79401

关键词：自蒸馏学习,小样本学习,多分辨率网络,空间冗余,全局注意力

基金：国家自然科学基金（61876217，61876121，62176175）；江苏省“六大人才高峰”高层次人才项目（XYDXX-086）；苏州市科技计划项目（SGC2021078）。

因图像数据具有大量的空间冗余信息，传统的多分辨率网络在处理图像数据时会产生较高的计算成本。而自蒸馏学习方法能够在精度与计算成本之间实现动态平衡，使模型在不增加网络深度和宽度的基础上，有效地提高模型精度。提出一种多分辨率自蒸馏网络（MRSDN），用于解决小样本学习中输入样本的空间冗余问题。从原始网络中分出一个浅层子网络以识别图像的低分辨率表示，并且保持该原始网络识别高分辨率图像特征的能力。同时，在多分辨率网络中引入改进的全局注意力机制，以减少信息损失且放大全局交互表示。利用自蒸馏学习方法将网络中更深层的知识压缩到浅层子网络中，以提升浅层子网络的泛化能力。在此基础上，将低分辨率网络中的粗粒度特征融合到高分辨率网络中，从而提高模型提取图像特征的能力。实验结果表明，在Mini-ImageNet数据集上MRSDN网络对5-way 1-shot与5-way 5-shot任务的准确率分别为56.34%和74.35%，在Tiered-ImageNet数据集上对5-way 1-shot与5-way 5-shot任务的准确率分别为59.56%和78.96%，能有效缓解高分辨率图像输入时的空间冗余问题，提高小样本图像分类的准确率。

来源：2022年第12期

《计算机工程》期刊编辑部

查看计算机工程杂志2022年第12期