计算机工程

作者：杨兴睿, 马斌, 李森垚, 钟忺

单位：1. 武汉理工大学计算机与人工智能学院, 湖北 武汉 4300702. 武汉理工大学信息化办公室, 湖北 武汉 430070

关键词：教育数字化,文本摘要,大语言模型,低资源场景,幂等,扩增

基金：国家自然科学基金(62271361)

大语言模型在自然语言处理领域蓬勃发展, 但在教育数字化领域应用过程中仍面临一系列重要挑战。针对教育数字化领域垂域数据稀缺、摘要长度不稳定导致信息缺失或冗余的问题, 提出一种用于教育领域文本摘要的轻量化幂等模型框架IGLM。该模型首先采用多源训练进行自适应扩增以提升数据多样性, 然后对下游的文本摘要任务进行多种微调。同时, 为降低文本长度的影响, 设计幂等摘要生成策略拉近初次摘要与幂等摘要来约束模型, 减少语料分布不均导致的偏见, 结合量化技术在低资源条件下生成更为精确和流畅的摘要文本。实验以ROUGE分数为评估指标, 在公开中文文本摘要数据集LCSTS、EDUCATION、NLPCC上进行验证。实验结果表明, 该框架在生成摘要的准确率和流畅性上有明显提升, 其中ROUGE-1/2/L相较基线模型在LCSTS数据集上分别提升7.9、7.4、8.7个百分点, 在EDUCATION数据集上分别提升12.9、15.4、15.7个百分点, 在NLPCC数据集上分别提升12.2、11.7、12.7个百分点, 验证了模型有效性。

来源：2024年第7期

《计算机工程》期刊编辑部

查看计算机工程杂志2024年第7期