计算机工程

作者：江泰民, 谭泰, 李辉, 张建伟, 化晨昊, 董志强

单位：1. 四川大学计算机学院, 四川 成都 6100652. 四川大学视觉合成图形图像技术国家级重点实验室, 四川 成都 6100653. 中国船舶集团有限公司系统工程研究院, 北京 100094

关键词：分层强化学习,固定翼无人机,六自由度,路径跟踪,无人机控制,无人机制导

基金：国家自然科学基金(U20A20161)

固定翼无人机(UAV)的路径跟踪问题是无人机领域中的重要问题。在六自由度(DOF)动力学领域中, 固定翼无人机是一种非线性系统, 其连续状态空间和连续动作空间的高维特征使得固定翼无人机难以控制和制导。构建一种新型的分层强化学习框架, 以解决固定翼无人机路径跟踪中的复杂问题。该框架的核心在于将路径跟踪问题分解为控制问题和制导问题。在控制方面, 通过引入微分补偿器提出一种基于微分补偿器的近端策略优化(PPO-DC)算法, 该算法具有更快的收敛速度以及更好的控制稳定性。实验证明, 提出的PPO-DC算法的收敛速度比PPO算法提升了约2.5倍并且具有更佳的控制精度。此外, 通过特定控制任务训练的模型在处理其他控制任务时同样具有很强的适应性。针对固定翼无人机建立制导模型, 并提出一种有效的制导策略, 解决了其制导问题, 同时提出一种累积奖励设计以解决强化学习任务中多个目标顺序学习的问题, 使得训练能够有效收敛。实验结果表明, 提出的分层强化学习框架在多种复杂路径跟踪场景中表现突出, 固定翼无人机路径跟踪平均误差保持在20 m以内。

来源：2026年第4期

《计算机工程》期刊编辑部

查看计算机工程杂志2026年第4期