| --- |
| license: other |
| license_name: nvidia-non-commercial |
| license_link: LICENSE |
| base_model: nvidia/GR00T-N1.7-3B |
| pipeline_tag: robotics |
| tags: |
| - mlx |
| - robotics |
| - vla |
| - groot |
| - non-commercial |
| --- |
| |
| # groot-n1.7-mlx |
|
|
| > **利用は研究・評価目的のみ（非商用）です。** ベースモデルnvidia/GR00T-N1.7-3Bは同梱の[NVIDIAライセンス](LICENSE)（3.3条 Use Limitation）で配布されており、本変換もそれを継承します。商用利用はできません。 |
|
|
| NVIDIAのヒューマノイド向けロボット基盤モデル [GR00T N1.7](https://huggingface.co/nvidia/GR00T-N1.7-3B)（3.14B・Vision-Language-Action）のApple Silicon（MLX）移植です。カメラ画像・言語指示・関節状態（マルチ実施形態・最大132次元）から40手先までのアクションチャンクをflow matchingで生成します。 |
|
|
| 同一入力・同一ノイズでPyTorch参照実装（LeRobot・NVIDIA公式gr00tパッケージとのパリティテスト済み実装）と**コサイン類似度1.000000（最大差0.00027）**の出力一致を検証済みです。1チャンク420ms・ピークメモリ10.4GBで、大規模GPUなしで動作します。 |
|
|
| ## 構造の要点 |
|
|
| - バックボーン: Cosmos-Reason2-2B（Qwen3-VL系）の先頭16層・pre-final-norm出力・fp32実行（参照実装がbf16チェックポイントをfp32昇格して実行するため、これを揃えることが一致の条件でした） |
| - アクションヘッド: 32層AlternateVL-DiT（AdaLN条件付け・画像/テキストへのcross-attentionを交互切替）+ 実施形態別エンコーダ群 + 4ステップflow matching |
|
|
| ## 使い方 |
|
|
| 前処理（Qwen3-VLチャットテンプレート・画像パッキング・状態正規化）は上流と同じLeRobotパイプラインで行い、推論コアを本MLX実装で実行します。Cosmos-Reason2-2B（gated）の利用同意が必要です。 |
|
|
| ```bash |
| pip install mlx-vlm |
| # 前処理用（Python 3.12+） |
| pip install 'lerobot[groot] @ git+https://github.com/huggingface/lerobot' |
| hf download tokimoa/groot-n1.7-mlx --local-dir groot-mlx |
| ``` |
|
|
| ```bash |
| # 1) 前処理（LeRobot・CPUで数秒） |
| python groot-mlx/preprocess_lerobot.py --ckpt groot-mlx \ |
| --image cam.png --state 0,0,0,0,0,0 --task "pick up the cube" \ |
| --embodiment-tag <統計が存在するタグ> --out processed.pt |
| # 2) MLX推論 |
| python groot-mlx/groot_mlx.py --processed processed.pt |
| ``` |
|
|
| ```python |
| from groot_mlx import GrootMLX |
| m = GrootMLX.from_pretrained("groot-mlx") |
| chunk = m.sample_actions_from_processed("processed.pt") # (1, 40, 132) |
| ``` |
|
|
| 利用可能な実施形態タグは`embodiment_id.json`と`experiment_cfg/dataset_statistics.json`を参照してください。ファインチューニング済みの同一アーキテクチャ重みは`model-*.safetensors`を差し替えれば動きます。 |
|
|
| ## 同シリーズ（Apache-2.0） |
|
|
| - [smolvla-mlx](https://huggingface.co/tokimoa/smolvla-mlx)（450M・160ms/チャンク） |
| - [pi0-mlx](https://huggingface.co/tokimoa/pi0-mlx)（π0・522ms/チャンク） |
|
|
| ## ライセンス |
|
|
| NVIDIA License（非商用・研究/評価目的のみ）。全文は[LICENSE](LICENSE)を参照。本リポジトリの変換・ランタイムコードも同条件で提供します。 |
|
|
| --- |
| Developed by [tokimoa](https://tokimoa.jp) |
|
|
