--- license: gemma library_name: mlx base_model: google/gemma-4-E4B-it-assistant tags: - mlx - safetensors - gemma4 - apple-silicon - draft-model - speculative-decoding - mtp --- # gemma-4-e4b-it-assistant-mlx Drafter **Multi-Token Prediction (MTP)** Gemma 4 au format MLX (bf16), pour le **décodage spéculatif** du modèle cible. Converti depuis `google/gemma-4-E4B-it-assistant` (architecture `gemma4_assistant`, 4 couches), via la conversion MLX de mlx-community. Ce petit modèle ne s'utilise **pas seul** : il propose des tokens candidats que le modèle cible vérifie, pour accélérer la génération au prix d'un peu de RAM supplémentaire. ## Résumé - Rôle : draft model (décodage spéculatif MTP) - Base model : `google/gemma-4-E4B-it-assistant` - Repo id conseillé : `NeoRoth/gemma-4-e4b-it-assistant-mlx` - Précision : bfloat16 - Taille des poids : 0.16 GB ## Modèle cible associé Ce drafter accompagne les variantes Oriloq du même palier, quelle que soit leur quantification (il est neutre vis-à-vis de la quant du modèle cible) : - QAT Q4_0 : `NeoRoth/gemma-4-e4b-it-qat-q4_0-mlx` - MXFP4 : `NeoRoth/gemma-4-e4b-it-mxfp4-mlx` ## Téléchargement ```python from huggingface_hub import snapshot_download local_path = snapshot_download("NeoRoth/gemma-4-e4b-it-assistant-mlx") print(local_path) ``` ## Licence et conditions d'utilisation Ce checkpoint est un dérivé de Gemma (modèle de base `google/gemma-4-E4B-it-assistant`) et reste soumis aux **Gemma Terms of Use**. Il n'est **pas** sous licence Apache 2.0. > Gemma is provided under and subject to the Gemma Terms of Use found at > ai.google.dev/gemma/terms - Conditions complètes : https://ai.google.dev/gemma/terms - Politique d'usage interdit (Prohibited Use Policy) : https://ai.google.dev/gemma/prohibited_use_policy - **Usage commercial autorisé** dans le strict respect de ces conditions. - En téléchargeant ou en utilisant ce checkpoint, vous acceptez les Gemma Terms of Use et la Prohibited Use Policy, qui se propagent à tout usage en aval. Le fichier `LICENSE` de ce dépôt rappelle l'avis Gemma à transmettre aux utilisateurs downstream.