计算机工程

作者：陈可嘉, 刘惠

单位：福州大学 经济与管理学院, 福州 350116

关键词：自注意力机制,双向门控循环单元,多通道卷积神经网络,文本分类,深度学习

基金：国家自然科学基金（71701019）。

传统的自注意力机制可以在保留原始特征的基础上突出文本的关键特征，得到更准确的文本特征向量表示，但忽视了输入序列中各位置的文本向量对输出结果的贡献度不同，导致在权重分配上存在偏离实际的情况，而双向门控循环单元（BiGRU）网络在对全局信息的捕捉上具有优势，但未考虑到文本间存在的局部依赖关系。针对上述问题，提出一种基于改进自注意力机制的BiGRU和多通道卷积神经网络（CNN）文本分类模型SAttBiGRU-MCNN。通过BiGRU对文本序列的全局信息进行捕捉，得到文本的上下文语义信息，利用优化的多通道CNN提取局部特征，弥补BiGRU忽视局部特征的不足，在此基础上对传统的自注意力机制进行改进，引入位置权重参数，根据文本向量训练的位置，对计算得到的自注意力权重概率值进行重新分配，并采用softmax得到样本标签的分类结果。在两个标准数据集上的实验结果表明，该模型准确率分别达到98.95%和88.1%，相比FastText、CNN、RCNN等分类模型，最高提升了8.99、7.31个百分点，同时精确率、召回率和F1值都有较好表现，取得了更好的文本分类效果。

来源：2022年第5期

《计算机工程》期刊编辑部

查看计算机工程杂志2022年第5期