计算机工程

作者：刘高军, 王岳, 段建勇, 何丽, 王昊

单位：1. 北方工业大学 信息学院, 北京 100144;2. CNONIX国家标准应用与推广实验室, 北京 100144;3. 富媒体数字出版内容组织与知识服务重点实验室, 北京 100144

关键词：口语理解,外部知识,语言模型,意图检测,槽填充,联合训练

基金：国家自然科学基金面上项目“面向新闻事件的查询时效性计算模型研究”（61972003）；富媒体数字出版内容组织与知识服务重点实验室项目（ZD2021-11/05）。

基于预训练的语言模型在口语理解（SLU）任务中具有优异的性能表现。然而，与人类理解语言的方式相比，单纯的语言模型只能建立文本层级的上下文关联，缺少丰富的外部知识来支持其完成更为复杂的推理。提出一种针对SLU任务的基于Transformer的双向编码器表示（BERT）的联合模型。引入单词级别的意图特征并使用注意力机制为BERT融合外部知识。此外，由于SLU包含意图检测和槽填充2个相互关联的子任务，模型通过联合训练捕捉2个子任务间的关联性，充分运用这种关联性增强外部知识对于SLU任务的性能提升效果，并将外部知识转化为可用于特定子任务的特征信息。在ATIS和Snips 2个公开数据集上的实验结果表明，该模型句子级别的语义准确率分别为89.1%和93.3%，与BERT模型相比，分别提升了0.9和0.4个百分点，能够有效利用外部知识提升自身性能，在SLU任务中拥有比BERT更为优秀的性能表现。

来源：2023年第3期

《计算机工程》期刊编辑部

查看计算机工程杂志2023年第3期