计算机工程

作者：杨飘, 董文永

单位：武汉大学 计算机学院, 武汉 430072

关键词：中文命名实体识别,BERT模型,BiGRU模型,预训练语言模型,条件随机场

基金：国家自然科学基金（61672024）；国家重点研发计划"智能电网技术与装备"重点专项（2018YFB0904200）。

在基于神经网络的中文命名实体识别过程中，字的向量化表示是重要步骤，而传统的词向量表示方法只是将字映射为单一向量，无法表征字的多义性。针对该问题，通过嵌入BERT预训练语言模型，构建BERT-BiGRU-CRF模型用于表征语句特征。利用具有双向Transformer结构的BERT预训练语言模型增强字的语义表示，根据其上下文动态生成语义向量。在此基础上，将字向量序列输入BiGRU-CRF模型中进行训练，包括训练整个模型和固定BERT只训练BiGRU-CRF 2种方式。在MSRA语料上的实验结果表明，该模型2种训练方式的F1值分别达到95.43%和94.18%，优于BiGRU-CRF、Radical-BiLSTM-CRF和Lattice-LSTM-CRF模型。

来源：2020年第4期

《计算机工程》期刊编辑部

查看计算机工程杂志2020年第4期