国内刊号:31-1289/TP
国际刊号:1000-3428
发布日期:
作者:李健智, 王红玲, 王中卿
单位:苏州大学 计算机科学与技术学院, 江苏 苏州 215006
关键词:对话摘要,长文本摘要,文本结构,对话结构,双向自回归变压器预训练
基金:国家自然科学基金(61976146)。
对话摘要是从复杂的对话中提取关键信息以转化成简短的文本,供用户快速浏览对话内容。相比传统文本摘要,对话摘要数据具有篇幅较长、结构复杂等特点。传统的摘要模型难以充分地利用数据的长文本信息,并且无法考虑对话的结构信息。为此,结合抽取和生成模型,提出一种基于场景与对话结构的摘要生成方法,以对话中的场景、角色和对话内容为主要信息生成对话摘要。通过对话解析构建以角色、动作说明和会话为要素的对话结构图,并使用序列标注任务微调BERT预训练模型,生成以对话句子为单位的向量表示,利用图神经网络建模对话结构,筛选出包含关键信息的句子。在此基础上,将得到的抽取结果作为生成模型的输入,利用双向自回归变压器(BART)预训练模型作为基础框架,在编码端额外引入角色和场景信息,丰富生成模型的语义特征,使用加入多头注意力机制的解码器生成摘要。实验结果表明,相比BART、MV_BART、HMNet等方法,该方法在ROUGE-1指标上最高可提升5.3个百分点。
来源:2023年第4期
《计算机工程》期刊编辑部