计算机工程

作者：刘金硕, 文尧

单位：武汉大学国家网络安全学院空天信息安全与可信计算教育部重点实验室, 湖北 武汉 430072

关键词：模板运算,统一计算设备架构,计算图,领域专用语言,代码生成,自动调优

基金：国家重点研发计划(2020YFA0607900)。

针对现有模板代码生成方法不支持多图形处理器(GPU)、调优不充分等问题,提出一种由领域专用语言(DSL)描述的模板代码的自动生成与调优框架。在代码自动生成阶段,该框架能够自动解析上层提供的描述语言,构建计算图进而生成模板运算的统一计算设备架构(CUDA)核函数,同时根据单GPU或多GPU环境生成不同的主机端代码。在代码调优阶段,根据不同的GPU型号确定候选参数范围,动态调用生成的CUDA核函数以确定最优参数。在多GPU的情况下,自动生成的主机端代码能够使用计算与通信重叠的方法进行边界数据交换。在4种不同的GPU与7、13、19、27点模板运算中,该框架能找到最优的参数配置。实验结果表明,对于Tesla V100-SXM2,以调优过的参数进行模板运算,该框架在单精度4种模板运算下的每秒万亿次浮点运算数(TFLOPs)分别为1.230、1.680、1.120、1.480,在双精度下分别为0.690、1.010、0.480、1.470,平均性能达到手工优化代码的98%,并且描述更简单,支持多GPU扩展。

来源：2024年第6期

《计算机工程》期刊编辑部

查看计算机工程杂志2024年第6期