lerobot-omx/omx-act-models

OMX pick and place ACT 모델

평가 프로토콜

두 모델 모두 같은 기준으로 실제 로봇에서 측정했습니다.

• 성공 기준: 120초 이내에 물체를 집어 목표 지점에 놓기
• 120초를 넘기면 실패로 기록하고 중단
• 물체: 학습에 사용한 주황색 인형. 시도마다 위치를 바꿈
• 소요 시간은 과제 완료 시점을 별도로 측정한 값. 영상 길이와 일치하지 않음
• 로봇 1대, 환경 1곳. 물체 좌표를 기록하지 않았으므로 같은 조건으로 재현할 수 없음
• 조명과 배경은 데이터셋과 일치시킴

act_v1_50ep_50000steps

• 데이터셋: omx_pick_place_orange_doll (50 에피소드, 25,445 프레임)
• 시연 방식: 모든 동작을 연속·동시 수행. 이동과 손목 회전을 겹침
• 학습: 처음부터 50,000스텝, 배치 8, 15.7 에포크, 6시간 32분
• 최종 loss 0.082 (l1 0.080, kld 0.000)
• 롤아웃: 6/10 성공 (60%, 95% 신뢰구간 31~83%)
• 성공 시 평균 소요 시간: 64.5초 (6회)
• 공개 사본: yanwoo/omx_pick_place_act_train

성공 영상 6건은 rollouts/success/에 있습니다. 파일명의 숫자는 측정된 소요 시간으로, 영상 길이과 차이가 있을 수 있습니다.

실패 패턴

원인	결과	영상
모터 에러 (그립퍼 Overload)	모터가 응답을 멈춰 중단	failure_01
접근 위치가 어긋남	120초 초과	failure_02
접근 각도가 어긋남	120초 초과	failure_03
물체를 잡지 않은 채 집고 놓는 동작을 반복	120초 초과	failure_04

일반화 테스트로 학습에 쓰지 않은 물체를 1회 시도했고 실패했습니다. 시도 1회이므로 성공률에 포함하지 않았습니다. unseen_object_01

act_v3_finetune_20000steps

• 데이터셋: omx_pick_place_orange_doll_v3 (20 에피소드, 23,327 프레임)
• 시연 방식: 동작을 단계로 분해. 동시 수행 없음
• 학습: 위 v1 모델에서 파인튜닝, 20,000스텝, 6.86 에포크, 2시간 34분
• 최종 loss 0.078 (l1 0.076, kld 0.000)
• 롤아웃: 2/7 성공 (29%, 95% 신뢰구간 8~64%)
• 성공 시 평균 소요 시간: 49초 (2회)
• 공개 사본: yanwoo/omx_pick_place_act_v3

영상이 남지 않은 시도가 2회 있습니다. 성공 1회와 실패 1회이며 집계에는 포함했습니다.

실패 패턴

원인	횟수	영상
동작 전환 지점에서 갇혀 120초 초과	4 (영상 3건)	failure_01, failure_02, failure_03
물체를 놓침	1	failure_04

관찰된 동작

로봇이 천천히 조심스럽게 움직이다가, 한 동작에서 다음 동작으로 넘어가야 하는 지점에서 거의 멈춥니다.

미세하게 떨거나 같은 자리를 오가며 제한 시간을 소진합니다.

v1에서 보였던 난폭한 움직임이나 허공을 집는 동작은 나타나지 않았습니다.

해석

확인된 사실이 아니라 관찰에 근거한 가설입니다.

• perceptual aliasing: 동작을 끊어서 촬영하면 한 동작이 끝난 직후와 다음 동작이 시작되기 직전의 관측이 거의 같아집니다.

  팔 자세도 카메라 영상도 비슷한 상태에서 서로 다른 행동을 내야 합니다.

• mode averaging: 구분되지 않는 상태에서 학습 데이터가 여러 방향의 행동을 요구하면 정책은 그 평균에 가까운 출력을 냅니다.

  반대 방향을 평균하면 거의 제자리가 됩니다.

• 개루프 구간: ACT는 한 번의 추론으로 여러 스텝의 행동을 미리 내놓고 그동안 새 관측을 반영하지 않습니다.

  전환 지점에서 잘못된 구간이 한 번 나오면 그 구간이 끝날 때까지 수정되지 않습니다.

act_v3_light_2000steps / act_v3_light_4000steps

• 데이터셋: omx_pick_place_orange_doll_v3 (20 에피소드, 23,327 프레임)
• 학습: act_v1_50ep_50000steps 에서 파인튜닝. 2,000스텝과 4,000스텝 체크포인트
• 목적: 모델 1과 20,000스텝 모델 사이의 적응 정도를 비교하기 위한 중간 지점
• 2,000스텝: 0.69 에포크, loss 0.155 (l1 0.153)
• 4,000스텝: 1.37 에포크, loss 0.127 (l1 0.126), 28분 24초
• 4,000스텝에서도 loss가 하강 중이므로 수렴 상태가 아님
• 롤아웃 미측정
• 공개 사본: yanwoo/omx_pick_place_act_v3_light (4,000스텝만)

두 모델의 비교에 대하여

성공률을 비교 근거로 쓰지 마세요. 시도 횟수가 각각 10회와 7회여서 신뢰구간이 31~64% 구간에서 크게 겹칩니다.

비교할 수 있는 것은 실패 방식입니다.

v1은 모터 에러, 위치, 각도, 빈 집기로 원인이 네 갈래로 갈렸고, v3 파인튜닝 모델은 실패 5회 중 4회가 동작 전환 지점에서 갇히는 같은 패턴입니다.

표본이 작아도 한 가지 모드가 반복된다는 사실은 그 자체로 정보입니다.

다음 작업을 계획했으나 교육 과정이 끝나 로봇을 반납하면서 수행하지 못했습니다.

• 두 데이터셋을 병합해 학습한 모델과의 비교
• 충분한 시도 횟수로 같은 프로토콜에서 재측정
• n_action_steps 를 줄여 전환 지점에서 관측을 더 자주 반영하도록 한 실험
• temporal_ensemble_coeff 를 사용한 추론

실패 모드에서 이어진 작업

v1의 실패 모드가 두 방향의 후속 작업으로 갈렸습니다.

모터 에러

모터 에러는 정책이 아니라 하드웨어 설정 문제였습니다.

그립퍼가 물체에 닿은 뒤 구동 출력이 상한에 붙은 상태로 유지되며 Overload가 걸렸고, 목표 전류와 위치 게인을 조정해 해결했습니다.

이때 정리한 진단 절차가 다음 두 저장소가 되었습니다.

• lerobot-omx/omx-setup 복사해서 따라 하는 트러블슈팅 가이드
• omx-doctor 같은 절차를 CLI로 만든 도구

접근 위치와 각도가 어긋나는 실패

이 문제의 원인은 시연 데이터로 보았습니다.

모든 동작이 이어져서 수행된 데이터로는 각 동작의 시작 조건이 분리되지 않습니다.

그래서 동작을 단계별로 끊어 수행한 데이터셋 v3를 새로 촬영하고 파인튜닝했습니다.

그 결과가 act_v3_finetune_20000steps 이며, 성공률의 큰 개선은 없었지만 실패 모드가 바뀌었습니다.

즉, 새로운 문제가 나타나긴 했지만, 기존의 문제는 해결되었습니다.

v3 적응 정도별 비교

모델	v3 적응 스텝	v3 에포크	v3 loss
act_v1_50ep_50000steps	0	0	0.32 이상
act_v3_light_2000steps	2,000	0.69	0.155
act_v3_light_4000steps	4,000	1.37	0.127
act_v3_finetune_20000steps	20,000	6.86	0.078

loss가 낮은 쪽이 롤아웃에서 더 나은 것은 아닙니다.

20,000스텝 모델이 가장 낮은 loss를 기록했지만 전환 지점 교착이 나타났습니다.

디렉터리 구성

• pretrained_model/ 추론용 가중치와 config
• training_state/ 옵티마이저·난수 상태·스텝 카운터. 같은 런을 이어갈 때만 쓰임
• rollouts/ 롤아웃 영상. success, failure, generalization 으로 나뉨. 720p 30fps 무음으로 다시 인코딩함.

추론용으로 쓸 때

hf download lerobot-omx/omx-act-models \
    --include "act_v1_50ep_50000steps/pretrained_model/*" \
    --local-dir ./dl

구버전 LeRobot에서는 config.json의 optimizer_fused 필드를 지워야 합니다.

--policy.path 에는 틸드가 확장되지 않으니 $HOME 또는 절대경로를 쓰세요.

추가 학습으로 이어갈 때

resume 은 체크포인트가 원래 디렉터리 구조에 있어야 동작합니다.

mkdir -p ~/outputs/train/omx_act/checkpoints
# 내려받은 050000 디렉터리를 위 경로로 옮긴 뒤
cd ~/outputs/train/omx_act/checkpoints && ln -s 050000 last

lerobot-train \
  --config_path=$HOME/outputs/train/omx_act/checkpoints/last/pretrained_model/train_config.json \
  --resume=true

주의 1

두 모델 모두 지정한 스텝을 이미 다 돌았습니다.

그대로 resume 하면 종료 조건이 충족되어 바로 끝납니다.

train_config.json 의 steps 를 먼저 올리세요.

주의 2

데이터셋을 바꿔 이어 학습하는 것은 resume 이 아니라 파인튜닝입니다.

그때는 --policy.path 로 pretrained_model 경로를 주고 새 런으로 시작하며, training_state/ 는 쓰이지 않습니다.