Instructions to use Sungah/omx_1119_act with libraries, inference providers, notebooks, and local apps. Follow these links to get started.
- Libraries
- LeRobot
How to use Sungah/omx_1119_act with LeRobot:
# No code snippets available yet for this library. # To use this model, check the repository files and the library's documentation. # Want to help? PRs adding snippets are welcome at: # https://github.com/huggingface/huggingface.js
- Notebooks
- Google Colab
- Kaggle
OMX ํํค ์ ๋ฐ์ค๋ฅผ ์ ๋ฐ์ ๋ฃ๊ธฐ ยท ACT ๊ธฐ๋ณธ / ์ ๋ฅ + MoGe (2026-11-20)
ํํค ์์ ๋์ธ ๋ฐ์ค๋ฅผ ์ง์ด ์ ๋ฐ 2์ด ๊ฐ์ ์๋ฆฌ์ ๋ฃ๋ ์์ฐ์ผ๋ก ACT๋ฅผ ํ์ตํ ๋ชจ๋ธ๊ณผ ์คํ ์ฝ๋์ ๋๋ค.
- ๋ฐ์ดํฐ: Sungah/omx_1119_sakim_success โ ์์ฐ 10๊ฐ, 11,936ํ๋ ์, 30 fps, ์นด๋ฉ๋ผ
top(์์ชฝ)ยทwrist(์๋ชฉ) - 0๋ฒ ์์ฐ์ val loss ๊ณ์ฐ์ฉ์ผ๋ก ํ์ต์์ ๋บ์ต๋๋ค. ํ์ต์๋ ์์ฐ 9๊ฐ(10,741ํ๋ ์)๋ฅผ ์ผ์ต๋๋ค.
- ์์ ๋ฌธ์ฅ์ ์ฐ์ง ์์ต๋๋ค(ACT๋ ์์ ๋ฌธ์ฅ์ ์ ๋ ฅ์ผ๋ก ๋ฐ์ง ์์).
๋ค์ด ์๋ ๋ชจ๋ธ
| ๋ฒํธ | ํด๋ | ์ ๋ ฅ | step |
|---|---|---|---|
| 1โ8 | act_1119_P0_base_<N>step |
top + wrist, state 6 (๊ด์ 5 + ๊ทธ๋ฆฌํผ ์์น) | 500~4000 |
| 9โ16 | act_1119_P1_grip_moge_<N>step |
top + top_depth + wrist, state 7 (+ ๊ทธ๋ฆฌํผ ์ ๋ฅ) | 500~4000 |
- ๋ฒํธ =
./infer.sh <๋ฒํธ>์ ์ฐ๋ ๊ฐ์ ๋๋ค. ๊ฐ ์ค ์์์ 500 step ์์์ ๋๋ค(์: 1 = P0 500 step, 8 = P0 4000 step, 16 = P1 4000 step). top_depth: ์์ชฝ ์นด๋ฉ๋ผ ์์์ MoGe-2 ViT-B(ํ ํฐ 1200)๋ก ์ถ์ ํ ๊ฑฐ๋ฆฌ๋ฅผ 0.87~2.68 m ๋ฒ์์ ํ๋ฐฑ ์์์ผ๋ก ๋ง๋ ๊ฒ์ ๋๋ค(๊ฐ๊น์ธ์๋ก ํฐ์). ์คํํ ๋ ์ค์๊ฐ์ผ๋ก ๋ง๋ญ๋๋ค.- ๊ทธ๋ฆฌํผ ์ ๋ฅ: ๋ฐ์ค๋ฅผ ์ฅ๋ฉด ํฌ๊ฒ ๋ด๋ ค๊ฐ๋ ๊ฐ์ด๋ผ "์ก์๋์ง"๋ฅผ ์๋ ค ์ค๋๋ค.
- ์ค๋ฌผ ์ฑ๊ณต๋ฅ : (ํ ์คํธ ํ ๊ธฐ๋ก)
val loss
val loss = ํ์ต์ ์ฐ์ง ์์ 0๋ฒ ์์ฐ์์, ๋ชจ๋ธ์ด ์์ธกํ ๋์ 100์คํ ์ด ์์ฐ๊ณผ ์ผ๋ง๋ ๋ค๋ฅธ์ง(L1, ์ ๊ทํ ๋จ์, ๋ฎ์์๋ก ์์ฐ๊ณผ ๋น์ท). ์ค๋ฌผ์์ ๋๋ฆด ๋์ฒ๋ผ ๊ณ์ฐํ์ต๋๋ค(๋ฌด์์ ์์ยท์ด๋ฏธ์ง ์ฆ๊ฐ ์์). ํ์ต ๋ก๊ทธ์ loss์๋ ๊ณ์ฐ์ด ๋ฌ๋ผ ๋ฐ๋ก ๋น๊ตํ ์ ์์ต๋๋ค.
- ํ์ต ์์ฐ = ํ์ต์ ์ด ์์ฐ 1ยท5ยท9๋ฒ์ ํ๊ท โ ๋น๊ต์ฉ
- ๊ตต์ ๊ฐ = ๊ทธ ๋ชจ๋ธ์์ val์ด ๊ฐ์ฅ ๋ฎ์ step
| ๋ฒํธ | ๋ชจ๋ธ | step | ํ์ต ์์ฐ(1ยท5ยท9 ํ๊ท ) | val(0๋ฒ) |
|---|---|---|---|---|
| 1 | P0 ๊ธฐ๋ณธ | 500 | 0.128 | 0.312 |
| 2 | P0 ๊ธฐ๋ณธ | 1000 | 0.101 | 0.318 |
| 3 | P0 ๊ธฐ๋ณธ | 1500 | 0.097 | 0.324 |
| 4 | P0 ๊ธฐ๋ณธ | 2000 | 0.094 | 0.327 |
| 5 | P0 ๊ธฐ๋ณธ | 2500 | 0.087 | 0.333 |
| 6 | P0 ๊ธฐ๋ณธ | 3000 | 0.085 | 0.331 |
| 7 | P0 ๊ธฐ๋ณธ | 3500 | 0.084 | 0.328 |
| 8 | P0 ๊ธฐ๋ณธ | 4000 | 0.084 | 0.331 |
| 9 | P1 ์ ๋ฅ + MoGe | 500 | 0.119 | 0.305 |
| 10 | P1 ์ ๋ฅ + MoGe | 1000 | 0.114 | 0.312 |
| 11 | P1 ์ ๋ฅ + MoGe | 1500 | 0.104 | 0.317 |
| 12 | P1 ์ ๋ฅ + MoGe | 2000 | 0.096 | 0.318 |
| 13 | P1 ์ ๋ฅ + MoGe | 2500 | 0.090 | 0.310 |
| 14 | P1 ์ ๋ฅ + MoGe | 3000 | 0.087 | 0.318 |
| 15 | P1 ์ ๋ฅ + MoGe | 3500 | 0.085 | 0.317 |
| 16 | P1 ์ ๋ฅ + MoGe | 4000 | 0.085 | 0.317 |
- ํ์ต ์์ฐ loss๋ step์ด ๋์๋ก ๊ณ์ ๋ด๋ ค๊ฐ์ง๋ง, val(0๋ฒ)์ 0.30~0.33์์ ๊ฑฐ์ ๊ทธ๋๋ก์ ๋๋ค. ์์ฐ์ด 9๊ฐ๋ฟ์ด๋ผ ์ฒ์ ๋ณด๋ ์์ฐ์ผ๋ก๋ ์ ์ผ๋ฐํ๋์ง ์๋ ์ํ์ ๋๋ค.
- P1์ด P0๋ณด๋ค val์ด ๋ชจ๋ step์์ ์กฐ๊ธ(0.006~0.023) ๋ฎ์ต๋๋ค.
- 0๋ฒ ์์ฐ์ ๋ค๋ฅธ ์์ฐ๋ณด๋ค ๊ทธ๋ฆฌํผ๋ฅผ ์ฝํ๊ฒ ์ฅ์์ต๋๋ค(์ ๋ฅ ์ต์ โ129, ๋ค๋ฅธ ์์ฐ์ โ150 ์๋). val loss๊ฐ ๋์ ๋ฐ๋ ์ด ์ฐจ์ด๋ ์ํฅ์ ์ค ์ ์์ผ๋, ์ค๋ฌผ ํ ์คํธ๋ก ํ์ธํด์ผ ํฉ๋๋ค.
ํ์ต ์ ๋ณด (lerobot 0.4.4)
| ํญ๋ชฉ | ๊ฐ |
|---|---|
| ์์์ | ResNet18 ImageNet ๊ฐ์ค์น |
| batch ยท step | 256 (32ร8๋ก ๋๋ ๊ณ์ฐ) ยท 4000 (ํ์ต ๋ฐ์ดํฐ ์ฝ 95ํ ๋ฐ๋ณต), 500๋ง๋ค ์ ์ฅ |
| ํ์ต๋ฅ | cosine ์ต๋ 4e-5 (์ด๋ฏธ์ง ์ธ์ฝ๋ 1e-5), warmup 100 โ 1e-6 |
| chunk | 100 |
| ๊ธฐํ | ์ด๋ฏธ์ง ์ฆ๊ฐ(์ยท์ ๋ช ๋ยทํ์ ยท์ด๋), grad clip 10 |
| ๋ง์ง๋ง ํ์ต loss | P0 0.066, P1 0.063 |
๋ค์ ๋ง๋ค๊ธฐ: ์ค์น โ ๋ฐ์ดํฐ ๋ฐ๊ธฐยท๋ง๋ค๊ธฐ โ ํ์ต โ val loss โ ์ถ๋ก
training/ ํด๋์ ํ์ต ๋ฐ์ดํฐ๋ฅผ ๋ง๋ ์ฝ๋, ํ์ต ์คํฌ๋ฆฝํธ, val loss ๊ณ์ฐ ์ฝ๋๊ฐ ์์ต๋๋ค. ์์ธํ ์ค๋ช
์ training/README.md๋ฅผ ๋ณด์ธ์.
# 0. ์ค์น
pip install "lerobot[dynamixel]==0.4.4"
pip install opencv-python-headless scipy trimesh # MoGe (P1)
pip install --no-deps git+https://github.com/EasternJournalist/utils3d.git git+https://github.com/microsoft/MoGe.git
# 1. ์ด ์ ์ฅ์ ๋ฐ๊ธฐ
hf download Sungah/omx_1119_act --local-dir omx_1119_act
cd omx_1119_act
# 2. ๋ฐ์ดํฐ ๋ฐ๊ธฐ + ๋ง๋ค๊ธฐ (์๋ณธ์ data/์ ๋ฐ๊ณ ํ์ตยทval ๋ฐ์ดํฐ 5๊ฐ๋ฅผ ๋ง๋ฆ, MoGe ๋จ๊ณ๋ GPU ํ์)
DATA=$PWD/data bash training/make_datasets.sh
# 3. ํ์ต
bash training/train_act.sh P0
bash training/train_act.sh P1
# 4. val loss
python -I training/tools/val_loss.py --dataset_root data/omx_1119_sakim_success --episodes 0,1,5,9 \
--ckpts outputs/train/act_1119_P0_base/checkpoints --out outputs/eval/val_1119_P0.json
python -I training/tools/val_loss.py --dataset_root data/omx_1119_grip_moge --episodes 0,1,5,9 \
--ckpts outputs/train/act_1119_P1_grip_moge/checkpoints --out outputs/eval/val_1119_P1.json
# 5. ์ถ๋ก (์ด ์ ์ฅ์์ ๋ชจ๋ธ๋ก ๋ฐ๋ก)
bash infer.sh 16
์คํ ๋ฐฉ๋ฒ
์ด ์ ์ฅ์์ ์คํ ์ฝ๋(lerobot 0.4.4์ฉ)๊ฐ ๊ฐ์ด ๋ค์ด ์์ต๋๋ค. ๋ฒํธ๋ก ๋ชจ๋ธ์ ๊ณจ๋ผ ์คํํ๊ณ , GPU(cuda) ๋ก ์คํํฉ๋๋ค.
hf download Sungah/omx_1119_act --local-dir omx_1119_act
cd omx_1119_act
chmod +x infer.sh inference.sh # hf download๋ ์คํ ๊ถํ์ ์ง์ (์ ํ๋ฉด bash infer.sh ๋ก ์คํ)
./infer.sh # ๋ชจ๋ธ ๋ฒํธ ๋ชฉ๋ก
./infer.sh 8 # P0 ๊ธฐ๋ณธ 4000 step
./infer.sh 16 # P1 ๊ทธ๋ฆฌํผ ์ ๋ฅ + MoGe 4000 step
- MoGe ๋ชจ๋ธ(9~16)์ ์ฒ์ ์คํํ ๋ Hugging Face์์
Ruicheng/moge-2-vitb-normal๊ฐ์ค์น๋ฅผ ๋ฐ์ต๋๋ค. ์ธํฐ๋ท์ด ํ์ํฉ๋๋ค. - ์์ ์์ธ: ์์ฐ์ ๋ชจ๋ ๊ฐ์ ์์ธ(๊ด์ ์ฝ [39, โ65, 31, 34, โ1], ๊ทธ๋ฆฌํผ 60)์์ ์์ํฉ๋๋ค. ๋น์ทํ ์์ธ์์ ์์ํ์ธ์.
infer.sh๊ฐ ์๋์ผ๋ก ํ๋ ์ผ
- ๋ก๋ด ํ์
์ ๋ชจ๋ธ์ ๋ง์ถฅ๋๋ค.
- P1(
depth_info.json์ด ์์):omx_follower_grip_depthโ ๊ทธ๋ฆฌํผ ์ ๋ฅ๋ฅผ state์ ๋ถ์ด๊ณ , MoGe depth ์นด๋ฉ๋ผ๋ฅผ ๋ง๋ญ๋๋ค. - P0:
omx_follower
- P1(
- MoGe ๋ชจ๋ธ์ ์ ์ฑ
์ด ์๋ก ์์ธกํ๋ ํ๋ ์์์๋ง ์์ชฝ ์นด๋ฉ๋ผ ์์์ผ๋ก depth๋ฅผ ๋ฐ๋ก ๋ง๋ค์ด ๋ฃ์ต๋๋ค.
- ACT๋
n_action_steps=50์ด๋ผ 50ํ๋ ์(์ฝ 1.7์ด)๋ง๋ค ํ ๋ฒ ์์ธกํฉ๋๋ค. ๊ทธ ํ๋ ์๋ง depth ๊ณ์ฐ ์๊ฐ(RTX A6000์์ ํ ์ฅ์ ์ฝ 31~46 ms)๋งํผ ๋ฆ์ด์ง๋๋ค. - ์์ ๋ฐฉ์(๋ฐฑ๊ทธ๋ผ์ด๋์์ ๊ณ์ ๊ณ์ฐ, 2~3ํ๋ ์ ๋ฆ์)์
--robot.depth_sync=false๋ก ์ธ ์ ์์ต๋๋ค.
- ACT๋
- ์คํ ์๊ฐ์ 60์ด๊ฐ ๊ธฐ๋ณธ์ ๋๋ค(์์ฐ ๊ธธ์ด 36~43์ด).
๊ณตํต ์ค์
- ํฌํธยท์นด๋ฉ๋ผ๋
inference.sh๋งจ ์ "ํ์ฅ ์ค์ "์ ๊ณ ์น๊ฑฐ๋ ํ๊ฒฝ๋ณ์๋ก ๋๊น๋๋ค.- ์:
ROBOT_PORT=/dev/ttyACM1 TOP_CAM=/dev/video4 WRIST_CAM=/dev/video6 ./infer.sh 16
- ์:
- GPU๋ฅผ ๋ฐ๊พธ๋ ค๋ฉด:
POLICY_DEVICE=cuda:0 DEPTH_DEVICE=cuda:0 ./infer.sh 16 - ํ์ต ๋์ ๊ฐ์์ผ ํ๋ ๊ฒ: fps(30), ์์ชฝยท์๋ชฉ ์นด๋ฉ๋ผ ์์นยท๊ฐ๋, ํํคยท์ ๋ฐ ๋ฐฐ์น
- depth ๋ฒ์(0.87~2.68 m)๋ ์นด๋ฉ๋ผ๊ฐ ๊ฐ์ ์๋ฆฌ์ ์๋ค๋ ์ ์ ์ ๋๋ค.
- ํ ์คํ
์ด๋๋์
--robot.max_relative_target=10์ผ๋ก ์ ํ๋ผ ์์ต๋๋ค. - ์คํ๋ง๋ค ์งง์ ํ๊ฐ ๊ธฐ๋ก์ด
outputs/eval/์๋์ ์ ์ฅ๋ฉ๋๋ค(Hub ์ ๋ก๋ ์ ํจ).
ํ์ผ
| ํ์ผ | ๋ด์ฉ |
|---|---|
infer.sh |
๋ฒํธ๋ก ๋ชจ๋ธ ๊ณจ๋ผ ์คํ |
inference.sh |
lerobot-record ์ต์ ์ ์ฒด(ํฌํธยท์นด๋ฉ๋ผ ์ค์ ) |
omx_run.py |
lerobot-record + ์๋ ๋ก๋ด ํ์ ๋ฑ๋ก |
omx_depth_robot.py |
omx_follower_grip_depth: ๊ทธ๋ฆฌํผ ์ ๋ฅ + MoGe depth ์นด๋ฉ๋ผ, ์์ธก ํ๋ ์์์๋ง ๊ณ์ฐ |
omx_grip_robot.py |
omx_follower_grip: state์ ๊ทธ๋ฆฌํผ ์ ๋ฅ ์ถ๊ฐ |
omx_box.py |
๋ฐ์ค ๋ฒํธ one-hot (์ด ์ ์ฅ์ ๋ชจ๋ธ์ ์ ์, omx_run.py๊ฐ BOX๊ฐ ์์ ๋๋ง import) |
act_ensemble.py |
(์ ํ) ACT k์คํ temporal ensembling |
training/ |
ํ์ต ๋ฐ์ดํฐ ๋ง๋ค๊ธฐยทํ์ตยทval loss ์คํฌ๋ฆฝํธ (training/README.md) |
weights/resnet18-f37072fd.pth |
ResNet18 ImageNet ๊ฐ์ค์น(์ธํฐ๋ท ์์ด ์คํํ ๋) |
models/*/omx_info.json |
๊ทธ๋ฆฌํผ ์ ๋ฅ ์ฌ์ฉ ์ฌ๋ถ(P0 false, P1 true) |
models/act_1119_P1_*/depth_info.json |
depth ๋ฒ์ยทMoGe ๋ชจ๋ธ ์ค์ |