计算机工程

作者：何玉林, 莫沛恒, 黄哲学, Philippe Fournier-Viger

单位：1. 人工智能与数字经济广东省实验室(深圳), 广东 深圳 5181072. 深圳大学计算机与软件学院, 广东 深圳 518060

关键词：Spark集群,作业调度,混合云,蚁群优化算法,作业截止期限,虚拟机

基金：广东省自然科学基金面上项目(2023A1515011667); 深圳市科技重大专项(202302D074); 深圳市基础研究面上项目(JCYJ20210324093609026)

大数据计算框架如Apache Spark在大数据分析任务中的重要性日益凸显, 但是仅依靠本地计算资源往往难以支撑数据密集型作业任务的处理。因此, 一种可行的方案是租用公共云服务商的云资源, 并将Spark集群完全部署在云端。然而, 这样会导致计算成本过高。为了降低成本, 越来越多的用户选择使用本地资源和云资源协同的方式构建混合云计算集群。但是在混合云部署的Spark集群中, 在满足多个服务水平协议需求(例如最小化成本和保证作业截止期限)的同时完成作业调度是一项具有挑战性的任务。现有的研究主要关注如何降低集群使用成本或者提高作业截止日期的满足率, 而没有考虑这两个目标之间的平衡。针对这一问题, 提出了一种新的期限-成本感知蚁群优化(DC-ACO)作业调度算法, 该算法能够在利用混合云部署集群中不同虚拟机(VM)实例定价下优化集群VM使用成本的同时, 最大限度地保证作业截止日期的满足百分比, 并通过仿真实验对比提出的DC-ACO作业调度算法与基线算法的性能。实验结果表明, DC-ACO算法具有良好的可扩展性, 并且能够将作业截止日期的满足百分比提升约20%, 同时将混合集群的VM使用成本降低约10%。

来源：2026年第3期

《计算机工程》期刊编辑部

查看计算机工程杂志2026年第3期