README.md

---
language:
- zh
tags:
- robotwin
- embodied-ai
- robotics
- bimanual-manipulation
- imitation-learning
- act
- pytorch
library_name: pytorch
license: other
---

# RoboTwin ACT on beat_block_hammer demo_clean-50

这是一次基于 RoboTwin 官方代码仓库的单任务具身智能闭环实验模型产物。

- 平台版本：RoboTwin `main`
- 上游提交：`958a6d2910a0262f5531fcdeb7fffae4184bb586`
- 任务：`beat_block_hammer`
- 数据配置：`demo_clean`
- 专家轨迹数：`50`
- 策略：`ACT`

## 仓库内容

- `policy_best.ckpt`
- `policy_last.ckpt`
- `dataset_stats.pkl`
- 训练曲线图
- `results.json`

## 实验设置

- 数据来源：RoboTwin 官方 `collect_data.sh` 流程生成的 `demo_clean 50` 专家轨迹
- 预处理：RoboTwin 官方 ACT `process_data.sh`
- 训练脚本：RoboTwin 官方 ACT `train.sh`
- 训练参数：
  - `batch_size=8`
  - `num_epochs=6000`
  - `chunk_size=50`
  - `hidden_dim=512`
  - `dim_feedforward=3200`
  - `seed=0`

## 核心结果

- 同分布评测 `demo_clean -> demo_clean`：`0.64`
- 跨配置评测 `demo_clean -> demo_randomized`：`0.0`

## 工程心得

这次实验最有价值的地方，不是单独得到一个 checkpoint，而是完整跑通了具身智能中的环境、专家、数据、模型、部署、评测闭环：

1. RoboTwin 环境程序化定义任务与成功条件。
2. 官方专家程序自动生成并筛选成功轨迹。
3. 原始多模态数据落盘为 raw HDF5 / video / instruction / trajectory。
4. ACT 预处理把采集格式转换为训练格式。
5. 模型通过离线模仿学习吸收专家行为。
6. 学到的策略重新部署回环境接受正式评测。

从结果上看，ACT 已经学会了 clean 条件下的单任务执行模式，但对 randomized 环境几乎没有泛化能力。这正对应 RoboTwin 2.0 的研究动机：仅在干净分布上成功并不等于策略具有稳健性，强 domain randomization 和更高质量、更大规模的数据生成仍然是核心问题。

## 学术上下文

这个实验对应的是 RoboTwin 研究体系中的下游策略学习部分：

- RoboTwin 1.0 强调数字孪生 benchmark 对双臂操作的价值。
- RoboTwin 2.0 强调可扩展数据生成和强 domain randomization。
- 本仓库展示的是在 `beat_block_hammer` 上完成的单任务闭环复现。

## 引用

如果你使用了这些模型产物，请同时引用 RoboTwin 官方论文与代码仓库。