计算机工程

作者：杨长沛, 廖列法

单位：1. 江西理工大学 信息工程学院, 江西 赣州 3410002. 江西理工大学 软件工程学院, 南昌 330000

关键词：命名实体识别,RoBERTa-wwm模型,空洞卷积,注意力机制,特征融合

基金：国家自然科学基金(71462018); 国家自然科学基金(71761018)

在中文命名实体识别任务中，具有循环结构的长短时记忆网络模型通过捕捉时序特征解决长距离依赖问题，但其特征捕捉方式单一，信息获取能力有限。卷积神经网络通过使用多层卷积并行处理文本，能够提高模型运算速度，捕捉文本的空间特征，但简单地堆叠多个卷积层容易导致梯度消失。为同时获得多维度的文本特征且改善梯度消失问题，提出一种基于RoBERTa-wwm-DGCNN-BiLSTM-BMHA-CRF的中文命名实体识别模型，通过基于全词遮蔽技术的预训练语言模型RoBERTa-wwm把文本表征为字符级嵌入向量，捕捉深度上下文语义信息，并采用门控机制和残差结构对空洞卷积神经网络进行改进以降低梯度消失的风险。使用双向长短时记忆网络和门控空洞卷积神经网络分别捕捉文本的时序特征和空间特征，采用双线性多头注意力机制对多维度的文本特征进行动态融合，最后使用条件随机场对结果进行约束，获得最佳标记序列。实验结果表明，所提模型在Resume、Weibo和MSRA数据集上的F1值分别为97.20%、74.28%和95.74%，证明了该模型在中文命名实体识别中的有效性。

来源：2023年第8期

《计算机工程》期刊编辑部

查看计算机工程杂志2023年第8期