--- language: - zh tags: - robotwin - embodied-ai - robotics - bimanual-manipulation - imitation-learning - act - pytorch library_name: pytorch license: other --- # RoboTwin ACT on beat_block_hammer demo_clean-50 这是一次基于 RoboTwin 官方代码仓库的单任务具身智能闭环实验模型产物。 - 平台版本:RoboTwin `main` - 上游提交:`958a6d2910a0262f5531fcdeb7fffae4184bb586` - 任务:`beat_block_hammer` - 数据配置:`demo_clean` - 专家轨迹数:`50` - 策略:`ACT` ## 仓库内容 - `policy_best.ckpt` - `policy_last.ckpt` - `dataset_stats.pkl` - 训练曲线图 - `results.json` ## 实验设置 - 数据来源:RoboTwin 官方 `collect_data.sh` 流程生成的 `demo_clean 50` 专家轨迹 - 预处理:RoboTwin 官方 ACT `process_data.sh` - 训练脚本:RoboTwin 官方 ACT `train.sh` - 训练参数: - `batch_size=8` - `num_epochs=6000` - `chunk_size=50` - `hidden_dim=512` - `dim_feedforward=3200` - `seed=0` ## 核心结果 - 同分布评测 `demo_clean -> demo_clean`:`0.64` - 跨配置评测 `demo_clean -> demo_randomized`:`0.0` ## 工程心得 这次实验最有价值的地方,不是单独得到一个 checkpoint,而是完整跑通了具身智能中的环境、专家、数据、模型、部署、评测闭环: 1. RoboTwin 环境程序化定义任务与成功条件。 2. 官方专家程序自动生成并筛选成功轨迹。 3. 原始多模态数据落盘为 raw HDF5 / video / instruction / trajectory。 4. ACT 预处理把采集格式转换为训练格式。 5. 模型通过离线模仿学习吸收专家行为。 6. 学到的策略重新部署回环境接受正式评测。 从结果上看,ACT 已经学会了 clean 条件下的单任务执行模式,但对 randomized 环境几乎没有泛化能力。这正对应 RoboTwin 2.0 的研究动机:仅在干净分布上成功并不等于策略具有稳健性,强 domain randomization 和更高质量、更大规模的数据生成仍然是核心问题。 ## 学术上下文 这个实验对应的是 RoboTwin 研究体系中的下游策略学习部分: - RoboTwin 1.0 强调数字孪生 benchmark 对双臂操作的价值。 - RoboTwin 2.0 强调可扩展数据生成和强 domain randomization。 - 本仓库展示的是在 `beat_block_hammer` 上完成的单任务闭环复现。 ## 引用 如果你使用了这些模型产物,请同时引用 RoboTwin 官方论文与代码仓库。