计算机工程

作者：刘金硕, 刘宁

单位：武汉大学 国家网络安全学院 空天信息安全与可信计算教育部重点实验室, 武汉 430079

关键词：文本生成,半结构化文本,主题提取,图注意力网络,异质图

基金：国家自然科学基金“网络恶意信息中人物身份消歧与溯源鉴别方法与关键技术研究”（U193607）；国家重点研发计划（2020YFA0607902）。

招标文件范本总结了历史招标文件的核心内容。针对现有文本摘要方法无法有效提取文本主题结构、忽略时间特征对文本重要性的影响等问题，提出一种基于多头图注意力网络的半结构化文本自动生成（SGMG）模型。在模型预处理层中，利用BERT预训练模型进行文本嵌入，通过白化操作增强文本向量的表达能力。在主题抽取模块中，利用异质图建立主题、段落及文档之间的语义关系，应用多头图注意力网络加强图节点之间的交互，提高模型学习能力。在中心句抽取模块中，通过融合时间特征及语义相似关系的有向图计算文本中心性，防止重要时间信息的丢失。在句子选择模块中，结合三元词过滤法，提升生成内容的多样性。将国家能源集团2016年至2020年的招标文件作为语料进行实验，结果表明SGMG模型能够有效提取文本主题结构，生成文本内容与人工编制的范本接近，ROUGE-L评估指标相比于TextRank、LexRank等现有文本摘要方法提升了4.3个百分点以上。

来源：2023年第3期

《计算机工程》期刊编辑部

查看计算机工程杂志2023年第3期