计算机工程

作者：倪渊, 廖世豪, 张健

单位：1. 北京信息科技大学经济管理学院, 北京 1001922. 绿色发展大数据决策北京市重点实验室, 北京 1001923. 北京信息科技大学计算机学院, 北京 100192

关键词：深度学习,命名实体识别,注意力机制,特征融合,条件随机场

基金：国家重点研发计划青年科学家项目(2021YFF0900200)

由于自然语言处理(NLP)将中文命名实体识别(NER)任务建模为序列标注任务, 将文本中每个字符映射至一个标签, 每个字符相对独立且信息有限, 因此在NER领域词汇信息的加入能够解决字符间缺乏联系的问题。针对现有中文NER模型多需要额外构建词汇表、提取词汇信息方式繁琐、词级嵌入与字级嵌入因来源不同导致信息难以融合的问题, 提出一种基于Wobert与对抗学习的中文NER模型ALWAE-BiLSTM-CRF。与传统预训练模型相比, Wobert预训练模型在预训练阶段就已将文本分词, 充分学习了词与字两个层次的信息, 因此ALWAE-BiLSTM-CRF通过Wobert预训练模型获取字符词向量, 再使用Wobert分词器获取预训练模型中已存在的词汇向量, 接着使用BiLSTM模型获取两者的时序信息, 随后通过多头注意力机制将词汇级别的信息要素融入字符词向量, 同时通过对抗学习攻击生成对抗样本以增强模型泛化性, 最后使用条件随机场(CRF)层对结果进行约束, 获得最佳的预测序列。在Resume数据集与瓷器领域的自建数据集Porcelain上进行对比实验与消融实验, 结果表明, ALWAE-BiLSTM-CRF模型的F1值分别达到97.21%与85.7%, 证明了其在中文NER任务中的有效性。

来源：2024年第11期

《计算机工程》期刊编辑部

查看计算机工程杂志2024年第11期