XYZPIT/gr00t_breadbag_baseline_100K

GR00T Bread Bag Baseline H16 — 100K

빵 봉투 집기 태스크를 위해 NVIDIA GR00T N1.6-3B를 fine-tuning한 baseline 체크포인트입니다.

이 모델은 별도로 설계한 안정화 loss를 추가하지 않고 GR00T의 기본 학습 objective로 학습했습니다. 이후의 loss 설계, masking, action horizon 변경 등 개선 실험과 비교하기 위한 기준 모델입니다.

Checkpoint: 100,000 steps
Action horizon: 16 steps
Status: Open-loop validation 완료 / 실물 로봇 평가는 진행 예정

Task

테이블 위의 빵 봉투를 instruction에서 지정한 위치와 손에 따라 집는 작업입니다.

• Target position: left, middle, right
• Active hand: left hand, right hand
• Robot: dual-arm R1 Lite
• Cameras: head RGB, left wrist RGB, right wrist RGB
• Dataset: XYZPIT/260908_pick_up_the_specified_bread_bag

Example instruction:

Pick up the right bread bag with the right hand.

Baseline definition

이 체크포인트에서 말하는 baseline은 다음을 의미합니다.

• GR00T N1.6-3B에서 fine-tuning
• Action chunk/horizon: 16
• 현재 시점의 영상 입력 사용 (video.delta_indices: [0])
• Arm action: state-relative
• Gripper action: absolute
• 기본 GR00T flow-matching objective 사용
• 별도의 reconstruction, inactive-hold, delta, acceleration loss 미적용
• 추론 단계의 hard hand gating은 모델 학습이 아닌 ROS2 adapter 옵션

Training configuration

Item	Value
Starting checkpoint	GR00T N1.6-3B
Selected checkpoint	100,000 steps
Full training run	200,000 steps
Action horizon	16
Global batch size	32
Learning rate	1e-4
LR scheduler	cosine
Optimizer	AdamW
Weight decay	1e-5
Warmup ratio	0.05
Precision	bfloat16
Number of GPUs	1

Open-loop validation

Validation trajectories 20개(traj 0–19)에서 checkpoint를 20K 간격으로 비교했습니다. 전체 action의 단순 MSE/MAE뿐 아니라, 서로 단위와 범위가 다른 arm과 gripper를 분리해 평가했습니다.

Checkpoint-100K results

Metric	Result
Active-arm MAE	0.022213
Active-arm delta error	0.005394
Active-arm 95th percentile error	0.092240
Inactive-arm MAE	0.003491
Inactive-arm motion error	0.002732
Gripper state accuracy	0.964232
Close timing error	6.95 steps
Excess gripper transitions	1.80
Overall MSE	22.344541
Overall MAE	0.415355

Selection rationale

100K checkpoint는 비교 대상 가운데 특정 지표 하나만 가장 좋은 모델은 아니지만, 주요 task-level 지표에서 순위가 고르게 높아 가장 균형적인 checkpoint로 선정했습니다.

• Composite average rank: 1.875 (1st)
• Metric ranks: 2, 2, 1, 2, 2, 2, 2, 2
• 40K checkpoint는 gripper 관련 일부 지표가 더 좋았지만, 100K가 arm tracking과 gripper 동작을 포함한 종합 안정성에서 더 균형적이었습니다.

Important notes on the metrics

• Arm joint action과 gripper action은 값의 범위가 다릅니다. 특히 gripper 값의 큰 오차가 전체 MSE를 지배할 수 있으므로, overall MSE/MAE만으로 checkpoint를 선택하지 않았습니다.
• Open-loop validation은 기록된 observation에 대한 action 예측 성능을 측정합니다. 실제 로봇의 closed-loop 성공률, 충돌 안전성 또는 grasp 성공을 직접 보장하지 않습니다.
• 결과는 현재 validation split과 evaluator 설정에 의존합니다.

Intended use

• Bread-bag manipulation 연구의 baseline
• Action horizon, loss, masking 및 데이터 수집 방식에 대한 ablation 비교
• ROS2 policy server를 이용한 R1 Lite 실물 로봇 평가

Limitations

• 현재 checkpoint의 실물 로봇 성공률은 아직 측정되지 않았습니다.
• 학습 데이터가 특정 카메라 배치, 작업 공간, 빵 봉투 외형 및 instruction 표현에 제한되어 있어 환경 변화에 일반화되지 않을 수 있습니다.
• 지정하지 않은 팔에도 action이 출력될 수 있습니다. 현재 실물 추론에서는 필요 시 ROS2 adapter의 hard gating으로 inactive arm/gripper topic publish를 차단합니다.
• Gripper close timing error와 불필요한 open/close transition이 남아 있습니다.
• 안전 인증 모델이 아니며, 실물 적용 시 dry-run과 저속 검증이 필요합니다.

Planned evaluation

1. 100K checkpoint 실물 로봇 추론
2. 위치 × 사용 손 조합별 반복 실험 및 성공률 측정
3. Gripper close timing과 action-chunk boundary 로그 분석
4. 동일 조건에서 후속 stable/masking 모델과 비교

Citation and acknowledgment

This checkpoint is based on NVIDIA GR00T N1.6. Please follow the original GR00T repository and base-model terms when using or redistributing this model.