计算机工程

作者：沈思彤, 王耀吾, 谢在鹏, 唐斌

单位：河海大学计算机与软件学院，江苏 南京 211100

关键词：多智能体强化学习,角色学习,多智能体通信,互信息,协作

基金：水灾害防御全国重点实验室“一带一路”水与可持续发展科技基金(2021490811); 国家自然科学基金青年科学基金项目(62102131)

多智能体强化学习(MARL)在解决复杂协作任务中具有重要作用。然而，传统方法在动态环境和信息非平稳性方面存在显著局限性。针对这些挑战，提出一种基于角色学习的多智能体强化学习框架(RoMAC)。该框架通过基于动作属性的角色划分，并借助角色分配网络实现智能体角色的动态分配，以提升多智能体协作效率。框架采用分层通信设计，包括基于注意力机制的角色间通信和基于互信息的智能体间通信。在角色间通信中，利用注意力机制生成高效的通信信息，以实现角色代理间的协调；在智能体间通信中，通过互信息生成有针对性的信息，从而提升角色组内部的决策质量。实验在星际争霸多智能体挑战(SMAC)环境中进行，结果表明，RoMAC胜率平均提高了约8.62百分点，收敛时间缩短了0.92×106时间步，通信负载平均降低了28.18百分点。消融实验进一步验证了RoMAC各模块在提升性能中的关键作用，体现了模型的稳健性与灵活性。综合实验结果表明，RoMAC在MARL和协作任务中具有显著优势，为复杂任务的高效解决提供了可靠支持。

来源：2025年第6期

《计算机工程》期刊编辑部

查看计算机工程杂志2025年第6期