计算机工程

作者：高伟, 李帅龙, 茆琳, 王磊, 李颖颖, 韩林

单位：1. 郑州大学国家超级计算郑州中心, 河南 郑州 4500012. 郑州大学计算机与人工智能学院, 河南 郑州 4500013. 92196部队19分队, 山东 青岛 2660004. 信息工程大学网络空间安全学院, 河南 郑州 450001

关键词：深度学习编译器,代价模型,梯度提升算法,剪枝策略,自动调优

基金：河南省重大科技专项(221100210600)

随着人工智能(AI)的飞速发展，新算子和底层硬件层出不穷，这给算子库的开发和维护带来了巨大的工作量。单纯基于手工优化来解决AI模型的性能和效率很容易出现瓶颈。TVM深度学习编译器通过代码的自动化生成减轻了手工优化的负担，但同时也存在搜索时间长的问题。为此，针对TVM的自动化代码生成框架Ansor，提出基于梯度提升算法的新代价模型和基于预定义规则的调度空间剪枝优化2种优化策略，旨在加速TVM的自动化代码生成过程，实现模型快速落地与部署，并进一步为人工智能技术的应用提供更高效的解决方案。实验结果表明，通过应用优化后代价模型可以在不损失推理时间的前提下，使得在x86 CPU平台上模型的调优时间减少30%~35%，同时优化后算子性能最高可提升22%，使得在深度计算单元(DCU)平台上模型的调优时间减少20%左右，同时优化后算子平均性能提升5.7%，此外，基于预定义规则的剪枝策略可以有效提升代价模型的收敛速度，并且在原有最佳迭代次数下，模型推理时间可提高7.4%。

来源：2024年第8期

《计算机工程》期刊编辑部

查看计算机工程杂志2024年第8期