| --- |
| license: gemma |
| library_name: mlx |
| base_model: google/gemma-4-E4B-it-assistant |
| tags: |
| - mlx |
| - safetensors |
| - gemma4 |
| - apple-silicon |
| - draft-model |
| - speculative-decoding |
| - mtp |
| --- |
| |
| # gemma-4-e4b-it-assistant-mlx |
|
|
| Drafter **Multi-Token Prediction (MTP)** Gemma 4 au format MLX (bf16), pour le |
| **décodage spéculatif** du modèle cible. Converti depuis |
| `google/gemma-4-E4B-it-assistant` (architecture `gemma4_assistant`, 4 couches), via la conversion |
| MLX de mlx-community. |
|
|
| Ce petit modèle ne s'utilise **pas seul** : il propose des tokens candidats que |
| le modèle cible vérifie, pour accélérer la génération au prix d'un peu de RAM |
| supplémentaire. |
|
|
| ## Résumé |
|
|
| - Rôle : draft model (décodage spéculatif MTP) |
| - Base model : `google/gemma-4-E4B-it-assistant` |
| - Repo id conseillé : `NeoRoth/gemma-4-e4b-it-assistant-mlx` |
| - Précision : bfloat16 |
| - Taille des poids : 0.16 GB |
|
|
| ## Modèle cible associé |
|
|
| Ce drafter accompagne les variantes Oriloq du même palier, quelle que soit leur |
| quantification (il est neutre vis-à-vis de la quant du modèle cible) : |
|
|
| - QAT Q4_0 : `NeoRoth/gemma-4-e4b-it-qat-q4_0-mlx` |
| - MXFP4 : `NeoRoth/gemma-4-e4b-it-mxfp4-mlx` |
|
|
| ## Téléchargement |
|
|
| ```python |
| from huggingface_hub import snapshot_download |
| local_path = snapshot_download("NeoRoth/gemma-4-e4b-it-assistant-mlx") |
| print(local_path) |
| ``` |
|
|
| ## Licence et conditions d'utilisation |
|
|
| Ce checkpoint est un dérivé de Gemma (modèle de base `google/gemma-4-E4B-it-assistant`) et reste |
| soumis aux **Gemma Terms of Use**. Il n'est **pas** sous licence Apache 2.0. |
|
|
| > Gemma is provided under and subject to the Gemma Terms of Use found at |
| > ai.google.dev/gemma/terms |
|
|
| - Conditions complètes : https://ai.google.dev/gemma/terms |
| - Politique d'usage interdit (Prohibited Use Policy) : https://ai.google.dev/gemma/prohibited_use_policy |
| - **Usage commercial autorisé** dans le strict respect de ces conditions. |
| - En téléchargeant ou en utilisant ce checkpoint, vous acceptez les Gemma Terms |
| of Use et la Prohibited Use Policy, qui se propagent à tout usage en aval. |
|
|
| Le fichier `LICENSE` de ce dépôt rappelle l'avis Gemma à transmettre aux |
| utilisateurs downstream. |
|
|
|
|
