| --- |
| tags: |
| - robotics |
| - vision-language-action |
| - tactile |
| - mujoco |
| - smolvla |
| library_name: lerobot |
| --- |
| |
| # SmolVLA DexHand Tactile Checkpoints |
|
|
| 本仓库存放 [SmolVLA DexHand Tactile](https://github.com/SCUT-Turing/SmolVLA_Dexhand_tactile) |
| 项目的可复现实验权重。目标系统为 MuJoCo 中的 RM65 六轴机械臂与 Gaia 五指灵巧手。 |
|
|
| ## 发布模型 |
|
|
| - `apple_S2_tactile_regularized_residual_full_vision_300_best_step3000`：当前主模型 `S2V`， |
| 普通 300 条数据、共享指尖 MLP、state-token 残差触觉、完整 SigLIP 视觉编码器参与训练。 |
|
|
| 为了避免团队误用，本仓库只发布当前闭环成功率最高的代表权重；冻结视觉、局部解冻、 |
| prefix-token、纠错数据、无触觉和 800 条数据消融 checkpoint 仍保留在项目归档中，不上传 Hub。 |
|
|
| 模型结构不能只依据 checkpoint 内的 `config.json` 判断；触觉融合、视觉训练范围、数据来源、 |
| SHA256 和闭环结果以代码仓库的 `configs/artifacts.json` 为准。 |
|
|
| ## 使用 |
|
|
| ```bash |
| git clone git@github.com:SCUT-Turing/SmolVLA_Dexhand_tactile.git |
| cd SmolVLA_Dexhand_tactile |
| uv sync --locked --python 3.10 |
| ./.venv/bin/python scripts/download_hf_artifacts.py \ |
| --model-id apple_S2_tactile_regularized_residual_full_vision_300_best_step3000 |
| HF_HUB_OFFLINE=1 TRANSFORMERS_OFFLINE=1 ./run infer S2V --scene-index 9 --viewer |
| ``` |
|
|
| 仓库已公开，无需 Hugging Face 登录。下载脚本使用 manifest 固定的 Hugging Face commit，避免 |
| `main` 后续变化破坏复现。 |
|
|
| ## 评测边界 |
|
|
| 当前最好记录为 `S2V` 在同一份 30 场景开发集上的 17/30；这些场景已经参与 checkpoint |
| 筛选，不能视为无偏最终测试。项目尚未验证真机下发，权重仅用于研究与 MuJoCo 验证。 |
|
|
| ## 上游 |
|
|
| 本项目基于 LeRobot SmolVLA 和 `HuggingFaceTB/SmolVLM2-500M-Video-Instruct`。使用时还需遵守 |
| 上游模型、代码与资产各自的许可条件。 |
|
|
