计算机工程

作者：于明诚, 党亚固, 吴奇林, 吉旭, 毕可鑫

单位：四川大学化学工程学院, 四川 成都 610041

关键词：英文作文自动评分,预训练模型,多尺度上下文,全局注意力,主题层次特征

基金：国家重点研发计划(2021YFB40005)

目前作文自动评分模型缺乏对不同尺度上下文语义特征的提取，未能从句子级别计算与作文主题关联程度的特征。提出基于多尺度上下文的英文作文自动评分研究方法MSC。采用XLNet英文预训练模型提取原始作文文本单词嵌入和句嵌入，避免在处理长序列文本时无法准确捕捉到符合上下文语境的向量嵌入，提升动态向量语义表征质量，解决一词多义问题，并通过一维卷积模块提取不同尺度的短语级别嵌入。多尺度上下文网络通过结合内置自注意力简单循环单元和全局注意力机制，分别捕捉单词、短语和句子级别的作文高维潜在上下文语义关联关系，利用句向量与作文主题计算语义相似度提取篇章主题层次特征，将所有特征输入融合层通过线性层得到自动评分结果。在公开的标准英文作文评分数据集ASAP上的实验结果表明，MSC模型平均二次加权的Kappa值达到了80.5%，且在多个子集上取得了最佳效果，优于实验对比的深度学习自动评分模型，证明了MSC在英文作文自动评分任务上的有效性。

来源：2024年第3期

《计算机工程》期刊编辑部

查看计算机工程杂志2024年第3期