计算机工程

作者：史占堂, 马玉鹏, 赵凡, 马博

单位：1. 中国科学院新疆理化技术研究所, 乌鲁木齐 830011;2. 中国科学院大学, 北京 100049;3. 新疆民族语音语言信息处理实验室, 乌鲁木齐 830011

关键词：命名实体识别,自注意力机制,Transformer编码器,卷积神经网络,残差连接

基金：国家重点研发计划（2018YFC0825300，2018YFC0823002）；新疆维吾尔自治区重大专项（2020A03004-4）；“西部之光”人才培养计划（2018-XBQNXZ-A-003）；中国科学院青年创新促进会基金（科发人函字［2019］26号）。

基于多头自注意力机制的Transformer作为主流特征提取器在多种自然语言处理任务中取得了优异表现，但应用于命名实体识别任务时存在一字多词、增加额外存储与词典匹配时间等问题。提出一种CNN-Head Transformer编码器（CHTE）模型，在未使用外部词典和分词工具的基础上，通过自注意力机制捕获全局语义信息，利用不同窗口大小的CNN获取Transformer中6个注意力头的Value向量，使CHTE模型在保留全局语义信息的同时增强局部特征和潜在词信息表示，并且应用自适应的门控残差连接融合当前层和子层特征，提升了Transformer在命名实体识别领域的性能表现。在Weibo和Resume数据集上的实验结果表明，CHTE模型的F1值相比于融合词典信息的Lattice LSTM和FLAT模型分别提升了3.77、2.24和1.30、0.31个百分点，具有更高的中文命名实体识别准确性。

来源：2022年第10期

《计算机工程》期刊编辑部

查看计算机工程杂志2022年第10期