双足机器人由于其高维动力学和高动态性，实现全向行走面临着巨大挑战。为应对这些挑战，本研究以自主设计的伸缩腿双足机器人为模型，基于多智能体强化学习，提出了一种专门针对双足机器人训练的算法。为提高训练效率和准确 性，研究设计了一种经验回放机制，使智能体能够更有效地利用先前的训练经验。此外，引入课程学习方法，并根据伸缩腿机器人的行走特点，设计了一套周期性摆腿曲线。实验结果表明，所提出的方法能够更有效地实现双足机器人在侧向、前向及转向等全向步态的稳定行走。

双足机器人，也称仿人机器人，由于其结构与人 类相似，在生活环境、生产建设以及家庭服务方面可 以更好地进行工作，不需要再为其打造特殊的工作 环境，因此能够更好地适应各种地形环境。然而，由 于人类行走的复杂性以及对于动态平衡的要求，双 足机器人的行走一直是一个具有挑战性的问题。

由于双足机器人结构复杂，非线性程度较高，所 一般采用简化模型的方式来进行步态规划并运用 到机器人上1。 Domínguez等学者[2提出了一种利 用线性倒立摆模型（ LIPM） 和逆几何模型（ IGM）为 12自由度双足机器人生成步态周期的方法。Caron 等学者[3提出了一种将线性倒立摆（ LIP） 模型的可 捕获性分析推广到可变高度倒立摆（ VHIP） 模型的 方法，这使得机器人能够在不平整地形上进行三维 步行。Guan 等学者[4]提出了一种虚拟质量椭球倒 立摆模型，并将其应用到3位双足机器人在不平整地面的运动控制。Dong等学者[5]在机器人的平衡 控制中，采用了模糊零力矩点（ ZMP）控制器来维持 机器人的平衡和稳定其质心，同时通过姿势控制器 和阈值增加的躯干位置合规性控制器来增加稳定性 边界。林知微等学者[6提出的基于中枢模式发生 器（ CPG） 的六足机器人运动控制方案，通过改进 Hopf振荡器模型和设计合理的CPG网络拓扑结构， 能够实现对六足机器人不同运动步态的稳定控制。 Gibson 等学者[7]运用角动量线性倒立摆模型与模 型预测控制（ MPC）相结合，使用虚拟约束来增强机 器人的敏捷性。以上的传统方法多年来一直被用于 双足机器人的步态控制，然而，这些传统方法往往表 现出计算复杂度较高、通用性差、鲁棒性低等特点。 如对地面的要求过高、对外部抗干扰的能力有限，需 要耗费大量的时间进行手动参数优化，往往会产生 低于最优值的结果。

为了解决这些问题，近年来双足机器人的控制 领域开始广泛采用强化学习（ RL） 方法[8-9]。强化 学习方法在解决双足机器人的行走方面具有许多优 点，包括自主学习、感知能力强、泛化能力强以及端 到端训练等。这些优点使得强化学习成为解决双足 机器人行走问题的强大工具，有助于提高机器人的 行走稳定性、适应性和智能水平。万宇航等学者[10] 提出了一种改进的近端优化算法的机器人臂动态规 划方法，该方法解决了非结构化环境中环境不确定 性增加和建模困难的挑战。刘晓德等学者[ I 提出 了一种基于强化学习和脉冲神经网络的智能运动控 制算法，以提高多自由度连续运动控制的鲁棒性。 Li 等学者[12]提出了使用多阶段训练框架来开发目 标条件跳跃策略的观点，同时还使用了多层感知器 ( MLP）和一维卷积神经网络（1DCNN）来表示控制 策略。在这个框架中，通过3个阶段的训练，包括单 目标训练、多目标训练和动力学参数随机化，来提高 机器人控制策略的泛化性，最终得到了高动态性能 的跳跃策略。Duan等学者[13同样使用了卷积神经 网络（ CNN）来构建模型，将高维机器人状态映射到 一系列步长命令的步长误差，以预测下一个着陆点 的可达性。Yu 等学者[¹4]使用了长短期记忆网络 ( LSTM）应用于双足站立运动控制的策略架构，通 过使用经过优化的单刚体模型轨迹生成的参考数 据，训练循环策略来执行四步、90°转弯，再通过使用 结尾奖励来学习特定行为，并成功转移到Cassie 上。 Singh等学者[15设计了一种遵循 ROS 框架中给定 步骤序列的学习策略，可以实现机器人在平面及立体环境的全方位行走。Li 等学者[16研究利用域随 机化技术来促进策略学习适应系统动力学的变化， 从而实现鲁棒行为。Rodriguez 等学者[17]提出了一 种实现双足机器人步态的新方法。研究将 RL 与课 程学习结合起来的方法，逐步增加步态训练任务的难 度，这种整合使得在各个方向上学习稳健和通用的 步态成为可能。Kasaura 等学者[18提出用于机器人 控制的动作约束强化学习算法，确保学习系统采取 的行动符合特定的约束，这对现实世界的可行性和 安全性至关重要。Ou 等学者[19提出了一个使用深 度强化学习的框架，用于在仿真环境中学习控制策 略并将其传输到实物机器人上。