计算机工程

作者：李瑜泽, 栾馨, 柯尊旺, 李哲, 吾守尔·斯拉木

单位：1. 新疆大学 信息科学与工程学院, 乌鲁木齐 830046;2. 新疆多语种信息技术实验室, 乌鲁木齐 830046;3. 新疆多语种信息技术研究中心, 乌鲁木齐 830046;4. 新疆大学 软件学院, 乌鲁木齐 830046

关键词：自然语言处理,知识表征,语义知识,预训练,语言模型

基金：国家重点研发计划（2017YFC0820702-3）。

随着自然语言处理（NLP）领域中预训练技术的快速发展，将外部知识引入到预训练语言模型的知识驱动方法在NLP任务中表现优异，知识表示学习和预训练技术为知识融合的预训练方法提供了理论依据。概述目前经典预训练方法的相关研究成果，分析在新兴预训练技术支持下具有代表性的知识感知的预训练语言模型，分别介绍引入不同外部知识的预训练语言模型，并结合相关实验数据评估知识感知的预训练语言模型在NLP各个下游任务中的性能表现。在此基础上，分析当前预训练语言模型发展过程中所面临的问题和挑战，并对领域发展前景进行展望。

来源：2021年第9期

《计算机工程》期刊编辑部

查看计算机工程杂志2021年第9期