---
tags:
  - robotics
  - vision-language-action
  - tactile
  - mujoco
  - smolvla
library_name: lerobot
---

# SmolVLA DexHand Tactile Checkpoints

本仓库存放 [SmolVLA DexHand Tactile](https://github.com/SCUT-Turing/SmolVLA_Dexhand_tactile)
项目的可复现实验权重。目标系统为 MuJoCo 中的 RM65 六轴机械臂与 Gaia 五指灵巧手。

## 发布模型

- `apple_S2_tactile_regularized_residual_full_vision_300_best_step3000`：当前主模型 `S2V`，
  普通 300 条数据、共享指尖 MLP、state-token 残差触觉、完整 SigLIP 视觉编码器参与训练。

为了避免团队误用，本仓库只发布当前闭环成功率最高的代表权重；冻结视觉、局部解冻、
prefix-token、纠错数据、无触觉和 800 条数据消融 checkpoint 仍保留在项目归档中，不上传 Hub。

模型结构不能只依据 checkpoint 内的 `config.json` 判断；触觉融合、视觉训练范围、数据来源、
SHA256 和闭环结果以代码仓库的 `configs/artifacts.json` 为准。

## 使用

```bash
git clone git@github.com:SCUT-Turing/SmolVLA_Dexhand_tactile.git
cd SmolVLA_Dexhand_tactile
uv sync --locked --python 3.10
./.venv/bin/python scripts/download_hf_artifacts.py \
  --model-id apple_S2_tactile_regularized_residual_full_vision_300_best_step3000
HF_HUB_OFFLINE=1 TRANSFORMERS_OFFLINE=1 ./run infer S2V --scene-index 9 --viewer
```

仓库已公开，无需 Hugging Face 登录。下载脚本使用 manifest 固定的 Hugging Face commit，避免
`main` 后续变化破坏复现。

## 评测边界

当前最好记录为 `S2V` 在同一份 30 场景开发集上的 17/30；这些场景已经参与 checkpoint
筛选，不能视为无偏最终测试。项目尚未验证真机下发，权重仅用于研究与 MuJoCo 验证。

## 上游

本项目基于 LeRobot SmolVLA 和 `HuggingFaceTB/SmolVLM2-500M-Video-Instruct`。使用时还需遵守
上游模型、代码与资产各自的许可条件。