计算机工程

作者：鲜港, 杨文祥, 张晓蓉, 喻杰, 田永强

单位：1. 国防科技大学计算机学院, 湖南 长沙 4100002. 中国空气动力研究与发展中心计算空气动力研究所, 四川 绵阳 6210003. 西南科技大学计算机科学与技术学院, 四川 绵阳 621000

关键词：作业感知,文件条带化,高性能计算,并行I/O,存储系统

基金：国家自然科学基金(62202471); 国家自然科学基金(61872304); 国家自然科学基金(61802320); 四川省科技厅重点研发项目(2022YFG0040)

为解决超级计算机I/O效率不高、用户无法充分利用存储系统I/O能力的问题, 研究生产型超级计算机对象存储目标(OST)上的工作负载, 分析高性能计算作业的I/O模式和整个系统中作业的I/O分布情况, 探索提升I/O效率的方法。研究结果显示: 在传统非条带化设置下, OST上的瞬时负载严重不平衡, 导致无法调用未充分利用的OST进行I/O请求; 不同作业的I/O模式对OST的使用情况也有所不同, 因此可以根据作业的I/O模式适当调整文件条带布局, 调动未充分利用的OST来提升I/O性能。提出一种作业感知条带优化方法, 包括静态和动态文件条带化。静态文件条带化将用户的作业均进行条带优化, 而动态文件条带化利用作业名和作业路径的聚类方式提取作业之间的相似性, 预测用户部分可条带优化的作业, 并在作业完成后还原条带配置以减小条带设置错误的负面影响。实验结果表明, 作业感知文件条带化能够增加作业使用的OST数量, 有效提升作业的并行I/O性能, 同时不会对系统稳定性产生显著影响。

来源：2025年第3期

《计算机工程》期刊编辑部

查看计算机工程杂志2025年第3期