robotics_transfer.md

# World Model → 机器人自主活动：迁移方案

> 目标 3。把从游戏交互数据学到的世界模型，变成机器人「更好的自主活动」。
> **诚实开场**：游戏动作 ≠ 机器人动作（embodiment gap 具身鸿沟）。这一篇讲怎么跨，以及哪条路证据最强。
> 状态：📐 路线已定，主线 = V-JEPA 2-AC 式动作条件视觉规划。

---

## 0. 核心张力：具身鸿沟

游戏交互场景里的「操作」是触屏/键鼠/手柄 → 屏幕世界；机器人的「动作」是关节力矩/末端位姿 → 物理世界。直接拿游戏世界模型当机器人大脑**不会即插即用**。

但 2025-2026 的研究给了三条可行通路，它们对「鸿沟」的处理方式不同：

## 1. 三条迁移路线

### 路线 ①（主线，证据最强）— 动作条件视觉规划 + MPC（V-JEPA 2-AC 式）
- **思路**：世界模型主要提供**可预测的视觉/隐状态动力学**；机器人侧加一个**小的动作条件 predictor**，仅用**少量真机数据**后训练，让模型学「机器人这个动作 → 隐状态怎么变」。然后用 **MPC**：在脑内 rollout 候选动作、挑最接近图像目标的那个执行。
- **为什么选它**：V-JEPA 2-AC 已证明——**>100 万小时视频预训练 + ~62 小时真机数据**，就能在没见过的 Franka 机械臂上**零样本**抓取/放置，规划比 Cosmos 快 ~16×。这正是「海量游戏/视频学世界 + 少量真机落地」的范式，**和我们的资产结构完全吻合**。
- **游戏数据在这里的角色**：当作 V-JEPA 2 那「海量视频」的一部分——尤其是富含「物体被推/被挡/运动后果」的交互片段，喂的是**物理直觉**，不是具体关节控制。
- **我们要补**：一套真机/仿真的少量动作标注数据做 AC 后训练 + 一个 MPC/规划器。

### 路线 ②— 表征预训练 backbone（最稳、最快见效）
- **思路**：把世界模型/编码器当成机器人策略的**预训练 backbone**（类似 V-JEPA、UniSkill 的用法），下游用模仿学习/RL 微调成具体策略。
- **取舍**：见效快、工程稳；但「世界模型」退化成「好特征」，没充分用到它「能预测后果」的本事。适合**先拿到一个能动的 baseline**。

### 路线 ③— 世界模型当模拟器，在「梦」里训策略（Dreamer / Cosmos 式）
- **思路**：用世界模型生成想象 rollout，在其中跑 model-based RL（DreamerV3），或用 Cosmos 这类做**照片级物理仿真 + 合成数据**训策略，再 sim-to-real。
- **取舍**：数据效率潜力最高；但要求世界模型**长程一致、物理可信**（否则在错误的梦里学坏习惯），门槛最高。该世界模型一致性达标后再上。

### 对照表

| 路线 | 代表 | 游戏数据角色 | 需补什么 | 风险 | 建议时序 |
|------|------|-------------|---------|------|---------|
| ① 动作条件规划+MPC | **V-JEPA 2-AC** | 海量视频→物理直觉 | 少量真机AC数据 + MPC | 隐动作对齐 | **主线，Phase 4 先做** |
| ② 表征 backbone | V-JEPA / UniSkill | 预训练特征 | 下游模仿/RL | 用不满世界模型 | 先做拿 baseline |
| ③ 梦里训策略 | DreamerV3 / Cosmos | 当模拟器 | 长程一致世界模型 | 一致性不够会学坏 | 一致性达标后 |

## 2. 跨具身的钥匙：latent action（贯穿三条路）

无论走哪条，**具身鸿沟靠 latent action model 缓解**：
- 用 **LAPA/Genie LAM** 从**无标注**视频（游戏录屏 + 机器人视频）学一套**隐动作**；
- 隐动作是「跨具身」的中间语言：游戏里的「向前推」和机器人「末端前移」可以映射到相近隐动作；
- 再用**少量带真实机器人动作标注**的数据，把隐动作**对齐/解码**成真实关节/位姿指令。

这就是为什么在数据侧要**保留无标注段**——它是 latent action 预训练的料。

## 3. 推荐落地顺序

1. **先 ②**（表征 backbone）：用世界模型编码器 + 少量真机模仿学习，拿到一个**能动的 baseline**，打通真机工具链。
2. **再 ①**（V-JEPA 2-AC 式）：加动作条件 predictor + MPC，做**零样本/少样本**抓取放置，对标 V-JEPA 2-AC 的实验设置。
3. **后 ③**（梦里训策略）：当世界模型一致性/物理可信达标，再用它当模拟器训更复杂的长程策略。
4. 全程用 **latent action** 把游戏与真机数据接起来。

## 4. 评测（机器人侧的「真指标」）

- **零样本任务成功率**：抓取 / 到达 / 抓放（对标 V-JEPA 2-AC）。
- **数据效率**：达到目标成功率需多少真机数据（越少越证明世界模型有用）。
- **规划速度**：每动作规划耗时（V-JEPA 2-AC ≈16s vs Cosmos ≈4min，作参照）。
- **泛化**：换实验室/换物体/换光照还能不能行（零样本泛化是世界模型价值的试金石）。

## 5. 诚实的风险清单

- **游戏交互场景动作不够「具身」** → 学到的动力学对操作类机器人帮助有限。缓解：优先用富物理交互的片段；必要时为采数据设计更具身的玩法。
- **latent action 对齐是真研究风险**，不是工程拼装。
- **真机闭环**需要硬件 + 安全 + 标注，是独立工作量，别低估。
- **路线 ③ 对世界模型质量要求最高**，过早上会「在坏梦里学坏」。

> 一句话：**先用该世界模型喂物理直觉 + 表征，配极少真机数据走 V-JEPA 2-AC 路线做零样本控制**——这是当前证据最强、与我们资产最契合的机器人出口。