四足强化学习任务的定义与组成

训练算法决定如何改进策略，任务定义决定策略在什么条件下学习什么行为。本篇建立一份完整的任务说明，后续“仿真与任务构建”再分别展开。示例采用平地速度跟踪：十二关节四足机器人接收速度指令，输出相对默认姿态的关节位置偏移。

1. 任务目标与运行条件

“让机器人走好”无法直接实现。可以将目标具体化为：在规定速度范围内跟踪前进、侧移和转向指令，同时控制动作变化、关节负载和不期望的碰撞。

这里至少包含三类设计：任务目标、允许的运动条件、评价与结束规则。平地行走和复杂地形跨越即使都使用 PPO，也不是同一个训练任务。

模型和场景承载物理转移，其余要素共同定义学习问题。改变机器人质量、控制周期或初始化分布，也会改变策略面对的任务。

若奖励要求跟踪某个随机速度，却没有向策略提供该目标或可推断目标的信息，策略就难以知道本回合希望它做什么。速度指令与实际速度还必须在一致的坐标约定下比较。

位置偏移动作可以写为：

q_d=q_{\text{default}}+s_a\,\operatorname{clip}(a,-a_{\max},a_{\max})

这只定义目标角度，后面还需要关节控制和力矩约束。零动作表示回到默认目标姿态，并不表示电机不出力。动作裁剪也不能代替关节位置与力矩约束。

策略部署时需要的输入应当有获取途径。仿真真值可以用于奖励、评价，也可以作为训练阶段价值网络的特权输入；是否进入策略观测，是另一项需要明确的设计。

奖励给出评价，终止规定转移是否继续。一项碰撞惩罚不一定导致重置；失败终止也不一定自动附带负奖励。需要分别定义，不能依赖名称猜测。

下面是用于理解的顺序，不是某个框架的可运行接口：

指令更新、奖励计算和重置的实际位置需要看实现。若本步中途更换指令，应说明奖励评价的是哪个指令；自动重置后也要区分新回合初始观测与上一回合末观测。

先用文字确定这些字段，再打开框架配置：

完成标准是：另一位成员能依据这张表解释策略输入输出，并指出实现时需要核对的代码位置。尚未确定的字段应明确标出，不能用框架默认值掩盖任务决策。