计算机工程

作者：张冠莹, 伊鹏, 李丹, 朱棣, 毛明

单位：1. 郑州大学 网络空间安全学院, 郑州 4500002. 中国人民解放军战略支援部队信息工程大学 信息技术研究所, 郑州 450000

关键词：网络功能虚拟化,服务功能链,深度强化学习,部分可见马尔可夫决策过程,多智能体

基金：国家重点研发计划(2022YFB2901304); 国家自然科学基金(62002382); 嵩山实验室项目(221100210900-03)

网络功能虚拟化(NFV)将网络功能从硬件中间盒中解耦出来，部署功能实例并编排为服务功能链(SFC)，从而实现网络服务。针对资源受限情况下大规模网络环境中的SFC动态部署问题，提出一种基于多智能体的群策部署方法，该方法结合了集中式深度强化学习（DRL）和传统分布式方法的优点。将SFC部署问题建模为部分可见马尔可夫决策过程，每个节点部署一个Actor-Critic智能体，仅通过观察本地节点信息即可得到全局训练策略，具有DRL的灵活性和自适应性。本地智能体控制交互过程，以解决集中式DRL方法在大规模网络中控制复杂、响应速度慢等问题。基于多线程的思想，收集、整合每个节点的经验进行集中式训练，避免完全分布式训练过程中部分节点因请求流量少而导致训练不充分、策略不适用等问题。实验结果表明，该方法无须考虑网络规模而且不依赖特定场景，可以很好地适应现实中复杂多变的网络环境，在相对复杂的流量环境中，与CDRL、GCASP方法相比，在多种流量模式下所提方法的部署成功率均提高了20%以上，同时能够降低部署成本。

来源：2023年第8期

《计算机工程》期刊编辑部

查看计算机工程杂志2023年第8期