| --- |
| license: apache-2.0 |
| tags: |
| - robotics |
| - lerobot |
| - diffusion-policy |
| - so101 |
| pipeline_tag: robotics |
| --- |
| |
| # diffusion_fusion |
| |
| Politique **diffusion** pour le bras SO-101, entrainee sur |
| [`Zouzouw/fusion`](https://huggingface.co/datasets/Zouzouw/fusion). |
| |
| Entrainement realise par **Corentin Friedrich**. Publie ici pour ne pas perdre le |
| modele, le depot d'origine n'etant plus accessible. |
| |
| | | | |
| |---|---| |
| | Dataset | `Zouzouw/fusion` | |
| | Learning rate | 1e-04 | |
| | Checkpoint | etape 150 000 | |
| | Politique | Diffusion Policy | |
| |
| ## Attention : trop lourd pour une petite carte |
| |
| Mesure sur une **GTX 1060 6 Go** : environ **285 ms par pas de debruitage**, soit |
| **28,5 s pour generer un seul bloc d'actions** avec la configuration d'origine |
| (100 pas DDPM, images 480x640 non recadrees). Le bras est quasi immobile — inutilisable |
| en demonstration. |
| |
| Reglages mesures pour le rendre jouable sur cette carte : |
| |
| | Configuration | Gel par bloc | Mouvement couvert | |
| |---|---|---| |
| | Origine — 100 pas DDPM, 30 fps | 28,5 s | 1,07 s | |
| | 10 pas DDIM, 15 fps, `n_action_steps=63` | 3,3 s | 4,2 s | |
| | **5 pas DDIM, 15 fps, `n_action_steps=63`** | **1,67 s** | **4,2 s** | |
| |
| Le goulot n'est ni les cameras ni le bus moteur : c'est le debruitage seul. |
| |
| > **La qualite des trajectoires a 5 pas DDIM n'a jamais ete evaluee visuellement.** |
| > A verifier avant toute demonstration, et remonter a 10 pas si les gestes partent a cote. |
| |
| Contrainte du modele : `n_action_steps <= horizon - n_obs_steps + 1`, soit **63** ici. |
| Sur un GPU plus recent, ces contournements ne sont pas necessaires. |
| |
