---
license: mit
title: AI Studio
sdk: docker
emoji: 🌍
colorFrom: red
colorTo: blue
---
# AI Studio

Studio d’entraînement IA multi-utilisateurs avec serveur principal Node.js déployable sur Hugging Face Space, interface web, workers GPU connectés via ngrok, token Hugging Face, recherche de modèles/datasets et suivi matériel en temps réel.

## Architecture

- **Serveur principal** : Node.js + Express + Socket.IO.
- **Base locale** : SQLite dans `data/ai-studio.sqlite`.
- **Interface** : HTML/CSS/JS dans `public/`.
- **Workers GPU** : Python dans `worker/`.
- **Connexion worker** : le worker expose un serveur HTTP local, ngrok le rend public, puis l’URL ngrok est enregistrée dans l’interface.
- **Header ngrok** : les requêtes du Space vers les workers incluent `ngrok-skip-browser-warning: true`.
- **Isolation** : chaque utilisateur possède ses machines, ses jobs, ses logs et son token HF. Les GPU ne sont pas partagés entre utilisateurs.

## Fonctionnalités

- Création de compte et connexion utilisateur.
- Génération de tokens utilisateur et worker.
- Ajout d’une machine GPU avec URL ngrok.
- Suivi matériel :
  - GPU,
  - VRAM utilisée/libre/totale,
  - RAM,
  - CPU,
  - disque,
  - température GPU si disponible.
- Recherche Hugging Face :
  - modèles,
  - datasets.
- Enregistrement du token HF dans l’interface.
- Lancement d’entraînement depuis l’interface.
- Paramètres :
  - modèle,
  - dataset,
  - tâche,
  - epochs,
  - batch size,
  - learning rate,
  - max sequence length,
  - LoRA rank/alpha,
  - gradient accumulation,
  - warmup ratio,
  - weight decay,
  - logging steps.
- Push du modèle entraîné vers Hugging Face.
- Logs en direct et arrêt de job.

## Installation du serveur

Sur ton Hugging Face Space Node.js ou en local :

```bash
npm install
npm start
```

Le serveur écoute par défaut sur le port `7860`, compatible Hugging Face Spaces.

Variables optionnelles :

```bash
PORT=7860
DB_PATH=./data/ai-studio.sqlite
```

## Utilisation de l’interface

1. Ouvre le Space.
2. Crée un compte ou connecte-toi.
3. Enregistre ton token Hugging Face dans la section **Token Hugging Face**.
4. Recherche un modèle ou un dataset Hugging Face.
5. Ajoute une machine GPU avec son URL ngrok.
6. Lance un worker sur la machine GPU avec le worker token généré.
7. Lance un job d’entraînement depuis l’interface.

## Worker GPU

Le worker tourne sur Google Colab, RunPod, Lambda Labs, une machine personnelle, etc.

### Installation Python

```bash
pip install -r worker/requirements.txt
```

Pour Google Colab, installe aussi ngrok :

```bash
pip install pyngrok
```

### Exemple Google Colab

```python
!pip install -q pyngrok psutil pynvml torch transformers datasets peft accelerate evaluate scikit-learn numpy

from pyngrok import ngrok

public_url = ngrok.connect(8765).public_url
print(public_url)
```

Copie l’URL affichée dans l’interface AI Studio, puis lance le worker :

```bash
python worker.py \
  --server-url https://ton-space.hf.space \
  --worker-token TON_WORKER_TOKEN \
  --ngrok-url https://xxxx-xxxx.ngrok-free.app \
  --port 8765
```

Le serveur Space appellera cette URL ngrok avec :

```http
ngrok-skip-browser-warning: true
```

## Entraînement supporté

Le worker supporte un fine-tuning LoRA/PEFT avec Hugging Face pour :

- `text-generation`
- `instruction-tuning`
- `text-classification`

Exemples de modèles :

```text
HuggingFaceTB/SmolLM2-135M-Instruct
Qwen/Qwen2.5-0.5B-Instruct
```

Exemples de datasets :

```text
mao-hq/Mao-K12-Chat
tatsu-lab/alpaca
stanfordnlp/imdb
```

## Sécurité

- Les mots de passe sont hashés avec PBKDF2.
- Les tokens utilisateur et worker sont hashés dans SQLite.
- Le token HF est stocké côté serveur et envoyé uniquement au worker lors d’un job.
- Un worker ne peut écrire que dans les jobs de son propriétaire.
- Un utilisateur ne voit que ses machines, ses jobs et ses logs.
- Une machine GPU exécute un seul job à la fois.

## Structure

```text
.
├── package.json
├── server.js
├── public
│   ├── index.html
│   ├── style.css
│   └── app.js
├── worker
│   ├── worker.py
│   ├── train_hf.py
│   └── requirements.txt
├── Notebook
│   ├── Colab_AI_Studio_Worker.ipynb
│   └── README.md
└── README.md
```

## Notebook Google Colab

Le notebook `Notebook/Colab_AI_Studio_Worker.ipynb` permet de lancer rapidement un worker GPU sur Google Colab :

1. ouvrir le notebook dans Colab,
2. remplacer `SERVER_URL` et `WORKER_TOKEN`,
3. exécuter les cellules dans l’ordre,
4. copier l’URL ngrok si nécessaire,
5. vérifier dans l’interface AI Studio que la machine est `online`.

## Notes importantes

- Le token HF doit avoir les droits nécessaires pour lire les modèles/datasets gated et pousser vers le repository cible.
- Si tu actives **Pousser le modèle vers Hugging Face**, renseigne un repository de sortie valide, par exemple `ton-user/mon-modele-finetune`.
- ngrok peut changer d’URL à chaque redémarrage sauf si tu utilises un domaine/statique ngrok. Mets à jour l’URL dans l’interface si elle change.
- Ce projet est une base fonctionnelle. Pour une utilisation publique, ajoute HTTPS, rate limiting, permissions avancées, sauvegardes DB et monitoring.