计算机工程

作者：刘健, 章步镐, 方匡弛, 刘宣锋, 孙国道, 梁荣华, 梁浩然

单位：1. 浙江工业大学计算机科学与技术学院, 浙江 杭州 3100232. 银江技术股份有限公司, 浙江 杭州 311400

关键词：Q-Learning算法,I/O负载,长尾延迟,缓存替换算法,混合存储

基金：国家自然科学基金区域创新发展联合基金重点项目(U24A20247); 国家自然科学基金(62202430); 国家自然科学基金(62176235); 国家自然科学基金(62432014); 浙江省自然科学基金(LY24F020018); 浙江省自然科学基金(LR23F020003); 浙江省智能交通工程技术研究中心开放课题(2023ERCITZJ-KF02)

随着全球数据规模的不断增大, 如何以低成本的方式有效提升数据的访问性能是存储系统面临的一项重要挑战, 使用低延迟、高带宽的固态硬盘(SSD)和低成本、高存储密度的叠瓦式磁盘(SMR)来构建缓存系统, 成为一种有效的解决方案。但是, SMR固有的机械运动和多磁道堆叠的特性导致其写性能较差, SSD中的脏数据频繁写回SMR所导致的大量读-合并-写(RMW)操作可能会引起严重的长尾延迟现象。为此, 基于SSD-SMR混合存储架构提出一种结合强化学习Q-Learning算法的缓存替换优化策略。通过学习SMR设备的I/O负载状况与延迟之间的经验知识来控制对SMR的写入, 当SMR负载较大时, 通过控制缓存中脏数据的逐出来减少SMR因写回而产生的大量RMW操作, 从而优化系统在不同负载下的尾部延迟开销。将Q-Learning算法与基于数据流行度的缓存算法LRU以及SMR感知的缓存算法SAC进行结合, 使用真实企业Trace和YCSB生成的模拟Trace进行测试, 实验结果表明, 所提方法能够有效提升现有缓存算法的性能, 可以降低57.06%的平均延迟和87.49%的尾部延迟。

来源：2026年第3期

《计算机工程》期刊编辑部

查看计算机工程杂志2026年第3期