计算机工程

作者：曾建州, 李泽平, 张素勤

单位：贵州大学计算机科学与技术学院公共大数据国家重点实验室, 贵州 贵阳 550025

关键词：移动边缘网络,多智能体,协作缓存,深度强化学习,TD3算法

基金：国家自然科学基金(61462014)

为了降低移动边缘网络中的内容获取时延和传输开销, 提出一种基于双延迟深度确定性策略梯度(TD3)的多智能体协作缓存策略(MACC)。首先构建多智能体边缘缓存模型, 将多节点缓存替换问题建模为部分可观测马尔可夫决策过程(POMDP), 把相邻节点的缓存状态和内容请求信息融入到各节点的观察空间, 提高智能体对环境的感知能力, 并通过三次指数平滑法提取各节点内容请求的流行度特征, 使得算法能够适应内容流行度变化, 从而提高缓存命中率; 然后联合本地与相邻节点的传输时延和开销来设计指导性奖励函数, 引导智能体进行协作缓存, 降低系统的缓存冗余和内容传输开销; 最后结合Wolpertinger Architecture方法对TD3算法进行多智能体扩展, 使每个边缘节点都能自适应地学习缓存策略, 从而提高系统性能。实验结果表明, MACC算法中边缘节点牺牲了部分缓存空间来协助相邻节点缓存请求内容, 从而提高缓存命中率, 在同一数据集上与MAAC、DDPG、独立TD3算法相比, MACC算法的缓存命中率分别平均提高了8.50%、13.91%和29.21%, 并能适应动态的边缘环境, 实现较小的内容获取时延和传输开销。

来源：2025年第2期

《计算机工程》期刊编辑部

查看计算机工程杂志2025年第2期