CoRL2026-CSI/Gr00tn15-Multi-Task-2ep-Isaac-mod

GR00T N1.5 · IsaacLab SO101 Multi-Task (11 tasks, 2 epoch)

nvidia/GR00T-N1.5-3B 를 IsaacLab 시뮬레이션 SO101 11-task 멀티태스크 데이터셋 CoRL2026-CSI/Isaaclab-so101_11task_baseCaP_3300epi_10fps 으로 2 epoch 파인튜닝한 GR00T N1.5 정책.

이 체크포인트는 full model (model.safetensors, 5.4 GB) 입니다 — LoRA adapter 가 아니며, 그대로 로드해 사용합니다.

Model details

• Base model: nvidia/GR00T-N1.5-3B (Eagle-2 VLM backbone + diffusion action head)
• Robot: SO101 (6-DOF, gripper 포함) — IsaacLab 시뮬레이션
• Cameras: top, left_wrist (480×640) — 정책 내부에서 224×224 로 resize
• Embodiment tag: new_embodiment (SO101 은 GR00T 사전학습 embodiment 에 없음 → 신규 projector 학습)
• Inputs: observation.state[6] + 카메라 2개 + language instruction (task)
• Output: action[6] (joint position)
• Action chunking: chunk_size=16, n_action_steps=16 (GR00T N1.5 action horizon)

학습 방식

Projector + Diffusion head 만 학습 (VLM/Visual frozen) — NVIDIA 공식 GR00T N1.5 fine-tune baseline. LoRA 사용 안 함.

구성요소	상태
LLM backbone (Eagle-2)	❄️ Frozen (tune_llm=false)
Visual encoder	❄️ Frozen (tune_visual=false)
Projector	🔥 학습 (tune_projector=true)
Diffusion action head	🔥 학습 (tune_diffusion_model=true)
PEFT / LoRA	사용 안 함 (lora_rank=0)

Training hyperparameters

항목	값
Dataset	Isaaclab-so101_11task_baseCaP_3300epi_10fps — 3,300 episodes / 1,175,352 frames / 11 tasks / 10 fps
Epochs / Steps	2 epoch / 9,200 steps
Global batch size	256 (micro batch 64 × 4 GPU × grad_accum 1)
Optimizer	AdamW — lr 1e-4, betas (0.95, 0.999), eps 1e-8, weight_decay 1e-5, grad_clip_norm 10.0
LR scheduler	cosine_decay_with_warmup — warmup 500 / decay 10,000 / peak_lr 1e-4 / decay_lr 1e-5
chunk_size / n_action_steps	16 / 16
max_state_dim / max_action_dim	64 / 32
Normalization	STATE·ACTION = MEAN_STD, VISUAL = IDENTITY (ImageNet stats)
Seed	1000
Dataloader workers	16
Precision	bf16 (use_bf16=true)
Image augmentation	ColorJitter (brightness/contrast/saturation/hue) + SharpnessJitter — 기하학적 변형(회전/이동/반전) 없음 (VLA 좌우 의미 보존)
Hardware	4 × NVIDIA H100 80GB
Final loss	0.0157

Camera

GR00T 는 observation.images.* 키를 자동 stack 하므로 카메라 rename 불필요 (rename_map={}). 데이터셋 원본 키를 그대로 사용합니다.

Dataset key	용도
observation.images.top	top view
observation.images.left_wrist	wrist view

Input / Output 규정

• Input: observation.state[6] (joint position) + 카메라 2개 + language instruction(task) 만
• Output: action[6] (joint position) 만
• 데이터셋의 ee_pos / gripper_binary / state.radian_urdf0 / action.radian_urdf0 는 학습에서 제외
• GR00T 정책은 --policy.type=groot 로 생성되어 LeRobot factory 의 feature 필터가 작동 → 입출력 feature 가 정확히 위 규정대로 제한됩니다.

Usage

from lerobot.policies.groot.modeling_groot import GrootPolicy

policy = GrootPolicy.from_pretrained("CoRL2026-CSI/Gr00tn15-Multi-Task-2ep-mod")

Citation / Acknowledgement

Built on top of LeRobot and the GR00T N1.5 base checkpoint. Project: CoRL 2026 CSI submission.

Framework versions

• LeRobot 0.5.2