计算机工程

作者：陈志强, 仇瑜, 朱宇, 王晓英

单位：1. 青海大学计算机技术与应用系, 青海 西宁 8100002. 北京智谱华章科技有限公司, 北京 100084

关键词：分类法补全,先验知识,提示学习,自监督,预训练语言模型

基金：国家自然科学基金(62166032); 国家自然科学基金(62162053); 青海省自然科学基金(2022-ZJ-961Q); 科技创新2030-"新一代人工智能"重大项目(2021ZD0114102)

由于现有各领域种子分类法不完整, 且随着时间的推移, 涌现出大量新的领域术语, 使得各领域种子分类法有待自动补全。现有的自监督分类法补全方法采用图嵌入技术, 并未充分利用预训练语言模型所提供的丰富语义信息, 且只关注图中局部的节点关系, 忽视了整体图结构所蕴含的信息。针对上述问题, 提出一个基于先验知识引导提示学习的自监督分类法补全模型, 该模型融合了预训练语言模型的语义信息和种子分类法的结构信息。根据查询节点在垂直路径上存在粗粒度三元组的特性, 改进自监督数据集构建策略。在大样本情况下, 利用基于预训练和微调模式进行匹配。在微调阶段, 为了加强预训练语言模型对真实上位词的关注, 在提示(prompt)中融入真实上位词的同义词或缩略词的先验知识注意力, 从而更有效地利用prompt来引导预训练模型的微调过程。在匹配阶段, 为了降低时间复杂度, 采用软束搜索规则, 具体来说, 在局部图结构上, 利用prompt指导生成的节点嵌入来评估同级对兄弟节点的查询置信度; 在整体图结构上, 采用垂直路径的游走方法进行路径截取与排序筛选。在小样本情况下, 利用基于提示学习的模式进行匹配, 同时采用不同模板组合和上下文示例去微调预训练语言模型。在4个不同领域的大型公开数据集上进行实验, 结果表明, 相较于对比模型, 该模型的MR、MRR、Hit@10指标分别提升15%、0.057、0.030。

来源：2024年第12期

《计算机工程》期刊编辑部

查看计算机工程杂志2024年第12期