计算机工程

作者：甘陈敏, 唐宏, 杨浩澜, 刘小洁, 刘杰

单位：1. 重庆邮电大学通信与信息工程学院, 重庆 4000652. 重庆邮电大学移动通信技术重庆市重点实验室, 重庆 400065

关键词：生成式文本摘要,序列到序列模型,Transformer模型,BERT编码器,卷积收缩门控单元,解码器

基金：长江学者和创新团队发展计划(IRT_16R72)

在深度学习技术的推动下，基于编码器-解码器架构并结合注意力机制的序列到序列模型成为文本摘要研究中应用最广泛的模型之一，尤其在生成式文本摘要任务中取得显著效果。然而，现有的采用循环神经网络的模型存在并行能力不足和时效低下的局限性，无法充分概括有用信息，忽视单词与句子间的联系，易产生冗余重复或语义不相关的摘要。为此，提出一种基于Transformer和卷积收缩门控的文本摘要方法。利用BERT作为编码器，提取不同层次的文本表征得到上下文编码，采用卷积收缩门控单元调整编码权重，强化全局相关性，去除无用信息的干扰，过滤后得到最终的编码输出，并通过设计基础Transformer解码模块、共享编码器的解码模块和采用生成式预训练Transformer(GPT)的解码模块3种不同的解码器，加强编码器与解码器的关联，以此探索能生成高质量摘要的模型结构。在LCSTS和CNNDM数据集上的实验结果表明，相比主流基准模型，设计的TCSG、ES-TCSG和GPT-TCSG模型的评价分数增量均不低于1.0，验证了该方法的有效性和可行性。

来源：2024年第2期

《计算机工程》期刊编辑部

查看计算机工程杂志2024年第2期