计算机工程

作者：周昭辰, 方清茂, 吴晓红, 胡平, 何小海

单位：1. 四川大学电子信息学院, 四川 成都 610065;2. 四川省中医药科学院, 四川 成都 610041

关键词：机器阅读理解,对抗训练,预训练模型,掩码校正的来自Transformer的双向编码器表示,双向长短期记忆网络

基金：成都市重大科技应用示范项目(2019-YF09-00120-SN)。

机器阅读理解旨在让机器像人类一样理解自然语言文本,并据此进行问答任务。近年来,随着深度学习和大规模数据集的发展,机器阅读理解引起了广泛关注,但是在实际应用中输入的问题通常包含各种噪声和干扰,这些噪声和干扰会影响模型的预测结果。为了提高模型的泛化能力和鲁棒性,提出一种基于掩码校正的来自Transformer的双向编码器表示(MacBERT)与对抗训练(AT)的机器阅读理解模型。首先利用MacBERT对输入的问题和文本进行词嵌入转化为向量表示;然后根据原始样本反向传播的梯度变化在原始词向量上添加微小扰动生成对抗样本;最后将原始样本和对抗样本输入双向长短期记忆(BiLSTM)网络进一步提取文本的上下文特征,输出预测答案。实验结果表明,该模型在简体中文数据集CMRC2018上的F1值和精准匹配(EM)值分别较基线模型提高了1.39和3.85个百分点,在繁体中文数据集DRCD上的F1值和EM值分别较基线模型提高了1.22和1.71个百分点,在英文数据集SQuADv1.1上的F1值和EM值分别较基线模型提高了2.86和1.85个百分点,优于已有的大部分机器阅读理解模型,并且在真实问答结果上与基线模型进行对比,结果验证了该模型具有更强的鲁棒性和泛化能力,在输入的问题存在噪声的情况下性能更好。

来源：2024年第5期

《计算机工程》期刊编辑部

查看计算机工程杂志2024年第5期