四足运动控制中的强化学习

四足机器人的运动依赖感知、状态估计、策略、关节控制和执行等环节。本篇先说明强化学习策略在系统中的位置，再讨论训练与运行的区别。后续以十二关节四足机器人的速度跟踪任务为例；具体输入、输出和控制频率属于任务设计，并非所有框架的固定配置。

1. 四足运动控制系统的层次结构

强化学习通常承担运动策略这一环节。策略可以写成 $a_t=\pi_\theta(o_t)$ ：参数为 $\theta$ 的网络接收观测 $o_t$ ，输出动作 $a_t$ 。训练时还可能从策略定义的分布中采样动作。

这个边界取决于方案。有的系统单独估计速度，有的策略带有估计模块或利用观测历史推断运动状态。因此阅读项目时，应先画出实际数据流，再判断哪些功能由策略承担。

策略接收的是有顺序的数值。输入中的第一个数究竟是前进速度指令还是机身角速度，由任务定义决定；模型权重不会替使用者核对这个含义。

一份可用的接口说明至少要记录：

例如，训练时动作第 0 项对应左前腿髋关节，部署时却被送到右后腿，向量维度仍然正确，但物理行为已经改变。接口一致性需要逐项核对，不能只检查网络是否成功加载。

训练时，策略与仿真环境反复交互。环境提供状态转移、奖励和回合边界，训练算法使用这些数据更新网络参数。

运行一个训练好的策略时，通常只做推理：构建观测、计算动作、执行控制，再读取新状态。此时一般不再根据奖励在线更新参数。训练中的随机探索和评估时采用的动作选择方式也可能不同。

仿真中能读取的信息，不一定能在实机获得。训练时可以为价值网络提供额外信息，但部署所需的策略输入必须有明确来源，详见环境状态与策略观测。

模型化控制常通过运动学、动力学、步态规划和优化来确定运动命令；强化学习通过交互数据优化策略。两者可以组合，例如由策略给出关节目标，再由 PD 控制器执行，也可以由策略调整控制器的部分参数。

不能仅凭使用了神经网络就推断整套系统不需要模型、估计器或执行约束。一个策略在仿真中表现良好，也不能说明模型误差、通信延迟和关节映射已经解决。

选一套你能读到的机器人程序，画出“传感器 → 观测 → 策略 → 动作处理 → 关节执行”的流程，并回答：

能标清每个箭头上传递的数据及其单位，就具备了阅读训练环境的基础。