计算机工程

作者：郝志峰, 黄泽林, 蔡瑞初, 傅正佳, 温雯, 唐凯麟

单位：1. 广东工业大学 计算机学院, 广州 510006;2. 佛山科学技术学院 数学与大数据学院, 广东 佛山 528000

关键词：分布式集群,动态调度,协同分配,流数据处理,资源分配

基金：国家自然科学基金（61876043）；NSFC-广东联合基金（U1501254）；广东省自然科学基金（2014A030306004，2014A030308008）；广东特支计划（2015TQ01X140）；广州市珠江科技新星专项（201610010101）；广州市科技计划项目（201902010058）。

Storm on YARN是目前主流的分布式资源调度框架，但其存在需要人工干预和无法根据资源可用性实时调整系统资源的不足。根据流数据处理的实时延迟计算系统负载情况，在Storm平台上基于YARN设计分布式资源调度和协同分配系统。建立包含系统层和任务层的双层调度模型，系统层通过对流数据处理负载的实时监测进行资源分配预测，任务层利用ZooKeeper和YARN对集群资源的高效管理能力进行动态资源管理。实验结果表明，该系统可以实时调整集群资源分布，有效减小系统延迟。

来源：2021年第2期

《计算机工程》期刊编辑部

查看计算机工程杂志2021年第2期