计算机工程

作者：王刚, 孙媛媛, 陈彦光, 林鸿飞

单位：大连理工大学 计算机科学与技术学院, 辽宁 大连 116024

关键词：司法摘要,预训练模型,Transformer编码器,序列标注,指针生成器网络,分段式摘要模型

基金：国家重点研发计划（2018YFC0830604）。

文本摘要是指对文本信息内容进行概括、提取主要内容进而形成摘要的过程。现有的文本摘要模型通常将内容选择和摘要生成独立分析，虽然能够有效提高句子压缩和融合的性能，但是在抽取过程中会丢失部分文本信息，导致准确率降低。基于预训练模型和Transformer结构的文档级句子编码器，提出一种结合内容抽取与摘要生成的分段式摘要模型。采用BERT模型对大量语料进行自监督学习，获得包含丰富语义信息的词表示。基于Transformer结构，通过全连接网络分类器将每个句子分成3类标签，抽取每句摘要对应的原文句子集合。利用指针生成器网络对原文句子集合进行压缩，将多个句子集合生成单句摘要，缩短输出序列和输入序列的长度。实验结果表明，相比直接生成摘要全文，该模型在生成句子上ROUGE-1、ROUGE-2和ROUGE-L的F1平均值提高了1.69个百分点，能够有效提高生成句子的准确率。

来源：2022年第6期

《计算机工程》期刊编辑部

查看计算机工程杂志2022年第6期