计算机工程

作者：毛亮, 赵林均, 余敦辉, 孙斌

单位：1. 湖北大学 计算机与信息工程学院, 武汉 430062;2. 湖北省教育信息化工程技术中心, 武汉 430062

关键词：知识蒸馏,命名实体识别,教师模型,学生模型,BERT模型

基金：国家重点研发计划（2017YFB1400602）；国家自然科学基金（61977021）；湖北省技术创新专项（2018ACA13）。

BERT词嵌入模型能够解决简单命名实体识别模型预测精度低的问题，但基于BERT类的复杂词嵌入模型具有计算复杂度高、模型预测时间过长等缺陷。针对该问题，构建基于知识蒸馏的命名实体识别模型，将BERT+CRF模型作为教师模型，获取较高的命名实体识别精度，并基于模型结构相似原则将BiGRU+CRF作为学生模型，在学生模型训练的过程中进行知识蒸馏。知识蒸馏根据教师模型Softmax层和学生模型Softmax层输出的标注概率矩阵分别作为教师模型的知识和学生模型的知识，通过均方损失函数计算教师模型知识与学生模型知识之间的差距，将获得的结果作为软标签误差，将学生模型预测的标签结果与真实标签之间的误差作为硬标签误差，总误差为软标签误差与硬标签误差的加权和，通过误差反向传播进行模型的训练，在减小总误差的同时缩小教师模型知识与学生模型知识之间的差距，使学生模型预测精度接近教师模型。最终使用学生模型进行预测，在接近教师模型预测精度的同时保证相对较短的预测时间。在DuIE2.0数据集上的实验结果表明，该命名实体识别模型在F1值损失2.6%的情况下，可使模型参数规模缩小93.7%，从而缩短了65.2%的运算时间。

来源：2023年第5期

《计算机工程》期刊编辑部

查看计算机工程杂志2023年第5期