add README.md

0487d8a verified about 1 month ago

2.16 kB

license: gemma
library_name: mlx
base_model: google/gemma-4-E4B-it-assistant
tags:
  - mlx
  - safetensors
  - gemma4
  - apple-silicon
  - draft-model
  - speculative-decoding
  - mtp

gemma-4-e4b-it-assistant-mlx

Drafter Multi-Token Prediction (MTP) Gemma 4 au format MLX (bf16), pour le décodage spéculatif du modèle cible. Converti depuis google/gemma-4-E4B-it-assistant (architecture gemma4_assistant, 4 couches), via la conversion MLX de mlx-community.

Ce petit modèle ne s'utilise pas seul : il propose des tokens candidats que le modèle cible vérifie, pour accélérer la génération au prix d'un peu de RAM supplémentaire.

Résumé

Rôle : draft model (décodage spéculatif MTP)
Base model : google/gemma-4-E4B-it-assistant
Repo id conseillé : NeoRoth/gemma-4-e4b-it-assistant-mlx
Précision : bfloat16
Taille des poids : 0.16 GB

Modèle cible associé

Ce drafter accompagne les variantes Oriloq du même palier, quelle que soit leur quantification (il est neutre vis-à-vis de la quant du modèle cible) :

QAT Q4_0 : NeoRoth/gemma-4-e4b-it-qat-q4_0-mlx
MXFP4 : NeoRoth/gemma-4-e4b-it-mxfp4-mlx

Téléchargement

from huggingface_hub import snapshot_download
local_path = snapshot_download("NeoRoth/gemma-4-e4b-it-assistant-mlx")
print(local_path)

Licence et conditions d'utilisation

Ce checkpoint est un dérivé de Gemma (modèle de base google/gemma-4-E4B-it-assistant) et reste soumis aux Gemma Terms of Use. Il n'est pas sous licence Apache 2.0.

Gemma is provided under and subject to the Gemma Terms of Use found at ai.google.dev/gemma/terms

Conditions complètes : https://ai.google.dev/gemma/terms
Politique d'usage interdit (Prohibited Use Policy) : https://ai.google.dev/gemma/prohibited_use_policy
Usage commercial autorisé dans le strict respect de ces conditions.
En téléchargeant ou en utilisant ce checkpoint, vous acceptez les Gemma Terms of Use et la Prohibited Use Policy, qui se propagent à tout usage en aval.

Le fichier LICENSE de ce dépôt rappelle l'avis Gemma à transmettre aux utilisateurs downstream.