计算机工程

作者：王松, 买日旦·吾守尔, 古兰拜尔·吐尔洪, 薛源

单位：1. 新疆大学 信息科学与工程学院, 乌鲁木齐 830046;2. 清华大学 电子工程系, 北京 100084

关键词：持续学习,知识架构,情感分类,知识保留网络,知识挖掘网络

基金：新疆维吾尔自治区自然科学基金（2021D01C118）；新疆维吾尔自治区高校科研计划项目（XJEDU2018Y005）。

当情感分类模型依次学习多个领域的情感分类任务时，从新任务中学到的参数会直接修改模型原有参数，由于缺少对原有参数的保护机制，降低了模型在旧任务上的分类准确率。为缓解灾难遗忘现象对模型性能的影响，并增加任务间的知识迁移，提出一种用于中文情感分类的基于知识架构的持续学习方法。在Transformer编码层中，采用任务自注意力机制为每个任务单独设置注意力变换矩阵，通过区分任务特有的注意力参数实现知识保留。在TextCNN的全连接层中，利用任务门控注意力（HAT）机制控制每个神经元的开闭，为每个任务训练特定的网络结构，仅激活对任务重要的神经元加强知识挖掘，提升分类效率与准确率。在JD21中文数据集上的实验结果表明，该方法的Last ACC和负类F1值相比于基于HAT的持续学习方法分别提升了0.37和0.09个百分点，具有更高的分类准确率，并且有效缓解了灾难遗忘现象。

来源：2023年第2期

《计算机工程》期刊编辑部

查看计算机工程杂志2023年第2期