计算机工程

作者：张文博, 黄浩, 吴迪, 唐敏杰

单位：1. 新疆大学计算机科学与技术学院, 新疆 乌鲁木齐 8300462. 新疆多语种信息技术重点实验室, 新疆 乌鲁木齐 830046

关键词：标点恢复,自然语言处理,预训练模型,Transformer结构,分层预测

基金：科技创新2030-“新一代人工智能”重大项目(2020AAA0107902)

标点恢复又称标点预测, 是指对一段没有标点的文本添加合适的标点, 以提高文本的可读性, 是一项经典的自然语言处理任务。随着预训练模型的发展和标点恢复研究的深入, 标点恢复任务的性能在不断提升。然而, 基于Transformer结构的预训练模型在提取长序列输入的局部信息方面存在局限性, 不利于最终标点符号的预测。此外, 以往的研究将标点标签视为要预测的符号, 忽略了不同标点的场景属性和标点间的关系。为了解决这些问题, 引入移动平均门控注意力(MEGA)网络作为辅助模块, 以增强模型对局部信息的提取能力。同时, 构建分层预测模块, 充分利用不同标点符号的场景属性和标点间的关系进行最终的分类。使用多种基于Transformer结构的预训练模型在不同语言的数据集上进行实验, 在英文标点数据集IWSLT上的实验结果表明, 在多数预训练模型上应用MEGA模块和分层预测模块都能获得性能增益, 使用DeBERTaV3 xlarge在IWSLT的REF测试集上的F1值达到85.5%, 相比于基线提升了1.2个百分点。此外, 在中文标点数据集的实验中也取得较高的精度。

来源：2024年第12期

《计算机工程》期刊编辑部

查看计算机工程杂志2024年第12期