计算机工程

北大核心,CA,INSPEC,JST,Pж(AJ)

国内刊号:31-1289/TP

国际刊号:1000-3428

计算机工程杂志2020年第1期:大规模异构计算集群的双层作业调度系统

发布日期:

作者:孙震宇, 石京燕, 孙功星, 杜然, 姜晓巍, 邹佳恒, 谭宏楠

单位:1. 中国科学院高能物理研究所, 北京 100049;2. 中国科学院大学 物理科学学院, 北京 100049

关键词:计算集群管理,作业调度器,高通量计算,高性能计算,高能物理计算

基金:国家自然科学基金(11475210);国家自然科学基金青年基金(11805225)。

高能物理计算平台中的HTCondor和SLURM计算集群为多个高能物理实验提供数据处理服务,然而HTCondor并行作业调度效率较低、SLURM难以应对大量串行作业,且计算平台整体资源管理及调度策略过于简单。为满足高能物理计算集群高负荷运行的需求,在传统作业调度器上增加作业管理层,设计双层作业调度系统,通过高效调度串并行作业并兼顾实验组间资源的使用公平性,实现用户对作业的细粒度管理。测试结果表明,双层作业调度系统支持大批量高能物理作业的快速提交,并充分利用计算平台的总体资源,具有较好的作业调度性能。

来源:2020年第1期

《计算机工程》期刊编辑部

查看计算机工程杂志2020年第1期

联系我们

  • 地址:上海市嘉定区澄浏公路63号
  • 电话:(021) 67092217
  • E-mail:ecice06@ecict.com.cn

咨询工作人员