仿真到实机迁移

仿真到实机迁移（Sim-to-Real）将训练得到的策略接入真实机器人的状态与执行链路。其关键在于使模型、观测、控制和时间约定对应到实际系统，并用逐步积累的证据确定可运行范围。本篇讨论通用方法，不提供某台机器人的接线、增益、限幅或首次上机操作规程。

前置内容为跨仿真器迁移与验证与策略评估与实验记录。跨仿真器评估可以支持问题定位，但不能替代实机验证。

1. 仿真与实机的差异来源

最后一类通常是确定性实现问题，应先校正。其余差异可以通过测量、辨识、改进模型和针对性随机化共同处理。四足迁移研究中，执行器建模、延迟模拟与随机化的结合可参考 Sim-to-Real: Learning Agile Locomotion For Quadruped Robots。

系统辨识利用实际输入与响应改进模型。可以从已有设备资料、离线测量和受控实验确认质量、质心、关节零位、摩擦和执行响应，而不必一次估计所有参数。

记录输入命令、状态反馈和时间戳后，在相同输入条件下比较模型响应。先校正能明确定位的偏差，再对剩余不确定性设计随机化范围。辨识数据与验证数据应适当分开，避免只在采集片段上获得良好拟合。

关节力矩反馈可能来自电流换算或内部估计，不能未经确认当作精确测量。温度、供电和负载也可能影响响应，应随实验记录，防止把条件变化误认为固定模型参数。

部署端需要逐项实现训练时的观测约定：

IMU 加速度计的读数包含运动相关的比力，不能在动态运动时直接当成纯重力方向。需要按所用姿态估计方案构建重力投影，并在已知姿态下核对方向和量级。

多个传感器的最新样本未必来自同一时刻。应记录时间戳、数据龄期以及同步或插值规则；如果训练只覆盖固定延迟，实机的大幅抖动仍可能造成输入失配。

沿本文位置偏移动作的约定，部署链路仍可表示为：

a_t\longrightarrow q_d\longrightarrow\tau_d\longrightarrow\text{驱动器与关节}

但 PD 可能在主控、实时控制程序或驱动器中计算。必须确认实际计算位置、目标速度与前馈项、增益单位、力矩和位置约束，避免重复控制或遗漏限幅。

端到端延迟可近似分解为：

t_{latency}=t_{sensing}+t_{processing}+t_{inference}+t_{communication}+t_{actuation}

这些环节可能并行或流水执行，上式用于识别来源，实际端到端延迟应结合时间戳测量。平均推理耗时低于控制周期，不代表所有周期都满足截止时间，还应检查高分位耗时、超时和过期数据处理。

部署前应明确启动、进入策略控制、退出策略控制和异常处理的状态转换。异常后应进入什么状态取决于硬件与机构条件，不能统一写成“全部力矩归零”；相应行为应由具体机器人控制规程规定并验证。

下表给出阶段目标，不替代硬件操作规程。实机阶段的支撑方式、人员分工、退出机制和参数限制应由具体平台确定。

离线回放能验证计算链路，但动作没有作用到真实状态，因此不能证明闭环稳定。带支撑装置的实验也会改变动力学；其成功只支持该条件下的阶段结论。

首次接入时的关节目标和历史初始化应与当前状态、训练初始分布及平台接入方式协调，避免产生无意的目标跳变。具体过渡策略需要在所用机器人上验证。

每次实验保存策略和配置版本、模型与标定信息、设备条件、指令、原始与处理后观测、动作、关节目标、反馈及时间戳。额外记录限幅、超时、保护触发和人工退出原因。

先定位最早出现差异的信号，再决定是修正接口、更新模型还是重新训练。不要将所有问题都归为“策略泛化不足”。

迁移记录应区分直接使用原策略、修改输入或控制参数后使用，以及采集新数据重新训练或微调。任何修改都应形成可追踪版本，并重新执行受影响的验证。

可以按“实机观察 → 差异定位 → 模型与训练分布修订 → 仿真回归 → 实机复验”形成迭代。仿真回归需同时检查基础场景，防止为某一实机现象修正后损害其他能力。

报告应列出已验证的指令、地形、负载和运行时长，以及失败或尚未测试的条件。单次成功演示不能代表长期可靠性，仿真训练分布覆盖某种变化也不能替代实际测量。