计算机工程

作者：蔡丽娇, 秦进, 陈双

单位：1. 贵州大学 计算机科学与技术学院 公共大数据国家重点实验室, 贵阳 5500252. 贵州道坦坦科技股份有限公司, 贵阳 550025

关键词：深度强化学习,奖励稀疏任务,内在奖励,旧区域,回路

基金：贵州省科技计划项目(黔科合基础[2020]1Y275); 贵州省科技计划项目(黔科合支撑[2020]3Y004)

以内在动机为导向的探索类强化学习中，通常根据智能体对状态的熟悉程度产生内在奖励，难以获得较合适的近似度量方法，且这种长期累计度量的方式没有重视状态在其所处episode中的作用。Anchor方法使用锚代替分层强化学习中的子目标，鼓励智能体以远离锚的方式进行探索。受Anchor方法的启发，根据转移状态与同一个episode中历史状态之间的距离设计内在奖励函数，进而提出远离旧区域和避免回路的强化探索方法。将当前episode中部分历史状态组成的集合作为区域，周期性更新区域为最近访问的状态集合，根据转移状态与区域的最小距离给予智能体内在奖励，使智能体远离当前最近访问过的旧区域。将转移状态的连续前驱状态作为窗口并规定窗口大小，根据窗口范围内以转移状态为终点的最短回路长度给予内在奖励，防止智能体走回路。在经典的奖励稀疏环境MiniGrid中的实验结果表明，该方法避免了对状态熟悉程度的度量，同时以一个episode为周期对环境进行探索，有效提升了智能体的探索能力。

来源：2023年第7期

《计算机工程》期刊编辑部

查看计算机工程杂志2023年第7期