himorishige commited on
Commit
960e281
·
verified ·
1 Parent(s): 53e0863

Upload README.md with huggingface_hub

Browse files
Files changed (1) hide show
  1. README.md +124 -0
README.md ADDED
@@ -0,0 +1,124 @@
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
1
+ ---
2
+ license: apache-2.0
3
+ library_name: lerobot
4
+ tags:
5
+ - robotics
6
+ - imitation-learning
7
+ - act
8
+ - so-arm101
9
+ - lerobot
10
+ datasets:
11
+ - himorishige/so101_candy_basket
12
+ pipeline_tag: robotics
13
+ ---
14
+
15
+ # ACT Policy: SO-ARM101 Candy Basket Delivery
16
+
17
+ ## モデル概要
18
+
19
+ SO-ARM101 ロボットアームが飴ちゃん入りカゴを掴んでユーザーの元へ運ぶ動作を、模倣学習で獲得したモデルです。エンジニアの疲労を検知する空間AIシステムの一部として、疲労度が閾値を超えた際に自動で飴ちゃんを配達します。
20
+
21
+ ## ベースモデル
22
+
23
+ - **アルゴリズム**: ACT (Action Chunking with Transformers)
24
+ - **Vision Backbone**: ResNet18 (ImageNet pretrained)
25
+ - **パラメータ数**: 52M (51,597,190)
26
+ - **フレームワーク**: [LeRobot](https://github.com/huggingface/lerobot) v0.4.4
27
+
28
+ ## 学習方法
29
+
30
+ - **手法**: 模倣学習(Imitation Learning)— テレオペレーションで収集した人間のデモンストレーションを教師データとして学習
31
+ - **ファインチューニング**: なし(スクラッチから学習)
32
+ - **VAE**: 有効(use_vae=True, kl_weight=10.0)
33
+
34
+ ### 学習パラメータ
35
+
36
+ | パラメータ | 値 |
37
+ |-----------|-----|
38
+ | ステップ数 | 100,000 |
39
+ | バッチサイズ | 16 |
40
+ | 学習率 | 1e-05 |
41
+ | オプティマイザ | AdamW (weight_decay=0.0001) |
42
+ | chunk_size | 100 |
43
+ | n_action_steps | 100 |
44
+ | latent_dim | 32 |
45
+ | dim_model | 512 |
46
+ | n_encoder_layers | 4 |
47
+ | n_decoder_layers | 1 |
48
+ | n_heads | 8 |
49
+ | vision_backbone | resnet18 |
50
+ | 最終 loss | 0.031 |
51
+
52
+ ## 使用データ
53
+
54
+ - **データセット**: [himorishige/so101_candy_basket](https://huggingface.co/datasets/himorishige/so101_candy_basket)
55
+ - **エピソード数**: 50
56
+ - **フレーム数**: 29,186
57
+ - **収集方法**: 人間によるテレオペレーション(リーダー・フォロワー構成)
58
+ - **カメラ**: 2台(俯瞰 + グリッパー)、640×480、30fps
59
+
60
+ ## 想定ユースケース
61
+
62
+ - SO-ARM101 ロボットアームによるオブジェクト運搬タスク
63
+ - 疲労検知システムと連携した飴ちゃん自動配達デモ
64
+ - 模倣学習(ACT)の実験・研究
65
+
66
+ ## 非推奨ユースケース
67
+
68
+ - 安全が求められる産業用途での直接利用(本モデルはハッカソンデモ用)
69
+ - SO-ARM101 以外のロボットハードウェアでの利用(キャリブレーションが異なる)
70
+
71
+ ## 性能・評価
72
+
73
+ | 指標 | 値 |
74
+ |------|-----|
75
+ | 最終 training loss | 0.031 |
76
+ | 推論FPS(CUDA) | 30Hz |
77
+
78
+ 推論FPSは学習時FPS(30Hz)と一致させることが成功率に直結します。
79
+
80
+ ## 推論方法
81
+
82
+ ### 必要環境
83
+
84
+ - Python >= 3.12
85
+ - CUDA 対応 GPU
86
+ - SO-ARM101 ロボットアーム(フォロワー)
87
+ - USB カメラ 2台(俯瞰 + グリッパー)
88
+
89
+ ### インストール
90
+
91
+ ```bash
92
+ pip install "lerobot[feetech]>=0.4.4"
93
+ ```
94
+
95
+ ### 実行
96
+
97
+ ```bash
98
+ lerobot-record \
99
+ --robot.type=so101_follower \
100
+ --robot.port=/dev/ttyACM0 \
101
+ --robot.cameras='{ "front": {"type": "opencv", "index_or_path": 2, "width": 640, "height": 480, "fps": 30}, "wrist": {"type": "opencv", "index_or_path": 0, "width": 640, "height": 480, "fps": 30} }' \
102
+ --policy.path=himorishige/act_so101_candy_basket \
103
+ --dataset.repo_id=himorishige/eval_so101_candy_basket \
104
+ --dataset.fps=30 \
105
+ --dataset.num_episodes=1 \
106
+ --dataset.push_to_hub=false \
107
+ --dataset.single_task="Pick up candy basket and deliver it"
108
+ ```
109
+
110
+ ## 制約・限界
111
+
112
+ - 学習データは特定の机配置・照明条件で収集されたため、大きく異なる環境では性能が低下する可能性があります
113
+ - カゴの形状・サイズが学習時と異なると掴み動作が失敗する可能性があります
114
+ - 推論FPSが学習時FPS(30Hz)を下回ると成功率が著しく低下します
115
+
116
+ ## ライセンス
117
+
118
+ Apache-2.0
119
+
120
+ ## 引用情報
121
+
122
+ 本モデルは関西電力KOI×VOLTMIND 生成AIハッカソン(2026年3月)にて Team NANIWA-Factory が開発しました。
123
+
124
+ - GitHub: https://github.com/SeiyaCM/kanden-ai-hackathon