| --- |
| license: other |
| language: |
| - en |
| - zh |
| library_name: transformers |
| pipeline_tag: robotics |
| tags: |
| - robotics |
| - vision-language-action |
| - vla |
| - go-1 |
| - agibot-world |
| - imitation-learning |
| - dual-arm |
| - suction |
| --- |
| |
| # go1_sft_go2 — G2 双臂吸盘搬铝板 VLA (GO-1 / AgiBot-World) |
|
|
| GO-1 架构的 Vision-Language-Action 策略，用于智元 **G2 双臂人形**在料箱中用**吸盘抓取铝板并抬出**。本仓库含一个 SFT checkpoint（`checkpoint_22000/`）+ G2 真机部署/测试代码（`deploy/`）。 |
|
|
| ## 仓库结构 |
| ``` |
| go1_sft_go2/ |
| ├── README.md # 本卡片 |
| ├── .gitattributes # LFS: *.safetensors/*.model/*.npy/... |
| ├── .gitignore |
| ├── checkpoint_22000/ # ★ 模型 (step 22000, 推理必需文件) |
| │ ├── model-0000{1,2}-of-00002.safetensors # 权重 ~5.6GB (LFS) |
| │ ├── model.safetensors.index.json |
| │ ├── config.json |
| │ ├── dataset_stats.json # 归一化必需 |
| │ └── added_tokens / special_tokens_map / tokenizer_config / tokenizer.model / tokenization_internlm2.py |
| └── deploy/ # G2 真机部署+测试代码 (入口 INDEX.md / COMMANDS_v2.md) |
| └── go1_env.py # 路径配置: GO1_* 环境变量 + 仓库相对默认值 |
| ``` |
| 加载时 `from_pretrained` 指向 **`checkpoint_22000/`**。 |
| |
| ## 模型概览 |
| - **架构**：`go1`（model_type）；InternLM2 主干（hidden 2048）+ action expert（hidden 1024，输出 22 维） |
| - **输入**：3 路相机（head / hand_l / hand_r）+ 22 维本体 state + 文本指令 |
| - **输出**：动作 chunk，shape `(1, 30, 22)` —— 未来 30 帧 × 22 维，控制频率 30Hz |
| - **规模**：~2.82B 参数，bf16，推理约 11.5GB 显存 |
| |
| ## 22 维 state/action 布局（lerobot 序，固定） |
| ``` |
| [0:7] 左臂 | [7:14] 右臂 | [14] 左吸盘 | [15] 右吸盘 | [16:21] 下半身 | [21] 头 pitch |
| ``` |
| 来源 profile：`GO2_SUCTION_EXTRACT_V1`。qpos ↔ lerobot：左臂=qpos[8:15]、右臂=qpos[15:22]、下半身=qpos[0:5]、头 pitch=qpos[7]。 |
| |
| ## 任务 prompt |
| > What action should the robot take to reach into the bin, attach both suction cups to the part and lift it out level? |
| |
| ## 归一化 |
| 推理前 state 用 `checkpoint_22000/dataset_stats.json` 的 mean/std 标准化；action 输出反标准化（×std + mean）。 |
| |
| ## 配置（路径可移植） |
| 所有宿主机/机器人相关路径都由 **[`deploy/go1_env.py`](deploy/go1_env.py)** 统一解析：**默认值按本仓库目录结构推导**，用环境变量即可覆盖，无需改代码。 |
| |
| | 环境变量 | 含义 | 默认值 | |
| |---|---|---| |
| | `GO1_CKPT` | 模型 checkpoint 目录 | `<repo>/checkpoint_22000` | |
| | `GO1_WORKSPACE` | GDK / go2_data_recorder 安装位置 | `/home/agi/workspace` | |
| | `GO1_AGIBOT_WORLD` | AgiBot-World 模型代码 | `/data/agi/AgiBot-World` | |
| | `GO1_POSE_FILE` | 初始位姿 `.npy` | `<repo>/deploy/saved_init_pose.npy` | |
| | `GO1_OUT_DIR` | `grab_*.jpg` 等输出目录 | `<repo>/deploy` | |
| |
| - 默认即指向仓库自带的 `checkpoint_22000/`，clone 后**离线脚本**（`openloop_verify` / `check_model_load`）配好 `GO1_AGIBOT_WORLD` 后可直接跑。 |
| - **真机脚本**（`infer_*` / `pose_io` / `head_pitch_test` 等）还需机器人侧 GDK 运行时：先 `source $GO1_WORKSPACE/env.sh` 再运行。 |
| - 示例： |
| ```bash |
| # 机器人上想用原 checkpoint, 覆盖默认即可: |
| export GO1_CKPT=/data/agi/checkpoint_0617 |
| source /home/agi/workspace/env.sh |
| python deploy/infer_stage_a_v2_0617.py # 不设 GO1_CKPT 时默认从 <repo>/checkpoint_22000 加载 |
| ``` |
| |
| ## 部署（G2 真机） |
| 完整流程/命令见 **[`deploy/COMMANDS_v2.md`](deploy/COMMANDS_v2.md)**（入口索引 `deploy/INDEX.md`）。要点： |
| - 推理用 venv `go1_torch`；state 按 lerobot 序拼；臂下发用 `move_arm_joint_servo(group=2)`；100Hz 平滑。 |
| - **起手必需**：①头预下俯 ~0.50（让头镜头看到料箱，否则视觉 OOD 卡 home）②开腰（躯干前倾带动伸手，勿用 `--no-waist`）。 |
| - 当前能做"弯腰探入 → 双臂伸到铝板正上方"；**吸盘 actuation（EVS08）部署侧未接、模型自主闭环也未触发吸附**，故"吸附+抬出"未在真机验证。 |
| |
| ## 数据来源 |
| AgiBot-World 风格示教，59 episodes。`dataset_stats.json` 的归一化量由各 episode 的逐条统计（`episodes_stats.jsonl`）聚合生成（训练产物 episodes/trainer_state 未随本仓库分发）。 |
| |
| ## 使用与许可 |
| 内部研发用私有模型。真机控制脚本会驱动双臂人形，运行前务必人守急停、按 `deploy/COMMANDS_v2.md` 的权限规则操作。 |
| |
