计算机工程

作者：路悦, 周翔宇, 张世周, 梁国强, 邢颖慧, 程德, 张艳宁

单位：1. 西北工业大学计算机学院, 陕西 西安 7101292. 西安电子科技大学通信工程学院, 陕西 西安 710071

关键词：持续学习,灾难性遗忘,预训练模型,高效参数微调,深度神经网络

基金：国家自然科学基金(62201467); 中国博士后科学基金(2022TQ0260); 中国博士后科学基金(2023M742842); 西安市科协青年人才托举计划(959202313088); 陕西省创新能力支撑计划(2024ZC-KJXX-043); 陕西省自然科学基础研究计划(2022JC-DW-08)

传统机器学习算法只有当测试集和训练集同分布时才能取得较好的性能, 无法增量地学习原训练集中没有的新类别或任务。持续学习使模型得以具备自适应学习能力, 在持续学习新任务的同时能够防止对旧任务的遗忘。当前持续学习仍面临计算开销大、存储成本高以及性能不稳定等挑战。近年来, 预训练模型的发展为持续学习提供了新的研究方向, 有望进一步提高性能表现。首先, 分析了现有基于预训练的持续学习方法, 按照防止遗忘的机制将其归纳为基于提示池、缓慢更新参数、基于扩展主干网络分支、基于参数正则化、基于分类器设计5类方法, 进一步按照阶段数、微调方式和是否利用语言模态对其进行归类并总结了各类方法的主要特点和各自优势。然后, 分析了持续学习方法存在的主要挑战, 归纳了各类持续学习方法的适用场景和局限性, 在多个评测基准上对各类方法进行实验比较并讨论各方法的性能差异。最后, 对基于预训练的持续学习方法的研究趋势进行展望。

来源：2025年第10期

《计算机工程》期刊编辑部

查看计算机工程杂志2025年第10期