计算机工程

作者：张政秀, 周淳, 杨萌

单位：西南交通大学信息科学与技术学院, 四川 成都 611756

关键词：知识蒸馏,注意力转移,实例谱关系,谱图结构,流形学习

基金：航空科学基金(2023Z071109001); 中央高校基本科研业务费专项资金(2682023ZTPY021); 中央高校基本科研业务费专项资金(2682023ZTPY027)

知识蒸馏(KD)的核心挑战在于从教师模型中提取普适且充足的知识, 以有效引导学生模型学习。最近的研究发现在学习软标签的基础上, 进一步学习深度特征空间中的实例关系有助于提升学生模型的性能。现有基于实例关系的KD方法广泛采用全局欧氏距离度量实例间的亲疏关系。然而, 这些方法忽视了深度特征空间内在的高维嵌入特性, 即数据实际上分布在低维流形上, 其局部结构与欧氏空间相似但整体结构复杂。为此, 提出一种基于实例谱关系的KD方法。该方法摒弃了全局欧氏距离的局限性, 转而通过构建并分析教师模型特征空间中每个实例与其k近邻的相似矩阵, 以揭示潜在的谱图结构信息。设计一种新的损失函数, 该函数能够引导学生模型不仅学习教师模型输出的概率分布, 而且能够更加精细地模拟这种谱图结构表示的实例间关系。实验结果表明, 所提方法显著提升了学生模型的性能, 平均分类准确率相较于基准方法提升了2.33百分点, 这证明了在KD过程中纳入样本间谱图结构关系的重要性及有效性。

来源：2025年第11期

《计算机工程》期刊编辑部

查看计算机工程杂志2025年第11期