计算机工程

作者：汪文豪, 史雪荣

单位：1. 南京工业大学 计算机科学与技术学院, 南京 211816;2. 盐城师范学院 数学与统计学院, 江苏 盐城 224002

关键词：Flink集群,异构集群,负载不均衡,节点优先级,自适应调度

基金：国家自然科学基金（11872327）；江苏省高等学校自然科学研究项目（20KJA190001）。

Flink流处理系统默认的任务调度策略在一定程度上忽略了集群异构和节点可用资源，导致集群整体负载不均衡。研究分布式节点的实时性能和集群作业环境，根据实际作业环境的异构分布情况，设计结合异构Flink集群的节点优先级调整方法，以基于Ganglia可扩展分布式集群资源监控系统的集群信息为依据，动态调整适应当前作业环境的节点优先级指数。基于此提出Flink节点动态自适应调度策略，通过实时监测节点的异构状况，并在任务执行过程中根据实时作业环境更新节点优先级指数，为系统任务找到最佳的执行节点完成任务分配。实验结果表明，相比于Flink默认的任务调度策略，基于节点优先级调整方法的自适应调度策略在WorldCount基准测试中的运行时间约平均减少6%，可使异构Flink集群在保持集群低延迟的同时，节点资源利用率和任务执行效率更高。

来源：2022年第3期

《计算机工程》期刊编辑部

查看计算机工程杂志2022年第3期