gemma-4-e2b-it-mxfp4-mlx

Checkpoint MLX quantifie pour Apple Silicon, derive de google/gemma-4-E2B-it.

Ce depot publie une variante locale preparee pour Oriloq MLX. L'objectif n'est pas de reproduire a l'identique une quantification communautaire standard, mais de diffuser un checkpoint telechargeable tel quel par identifiant de repo Hugging Face.

Resume

• Famille : Gemma 4 E2B
• Base model : google/gemma-4-E2B-it
• Repo id conseille : NeoRoth/gemma-4-e2b-it-mxfp4-mlx
• Modalites : text, image, audio
• Architecture : dense
• Couches texte : 35
• Profil public de quantification : MXFP4 4-bit
• Quantification par defaut : mxfp4 4-bit, group_size=32
• Overrides par couche : 0
• Taille totale des poids : 3.21 GB
• Plus gros shard : 3.21 GB

Ce qui differe des quantifications habituelles

• Pas d'override par couche dans config.json : cette variante est plus proche d'un export MXFP4 uniforme.
• Les composants sensibles restent en haute precision quand c'est necessaire : tours vision/audio, projecteurs multimodaux, normes et router MoE ne sont pas traites comme de simples poids MXFP4 uniformes.
• Les embeddings token suivent la politique locale du checkpoint. Sur les variantes standard publiees ici, ils ne sont pas presentes comme une quantification HF canonique quelconque : il s'agit d'un export MLX prepare pour ce projet.
• Cette variante n'expose pas d'overrides par couche dans config.json : elle est plus proche d'une quantification MXFP4 uniforme que les autres variantes publiees ici.

Fichiers de poids

• model.safetensors

Format et compatibilite

• Format de repo : safetensors + config.json + tokenizer/chat template.
• Ce depot est pense pour les chargeurs MLX capables de lire la section quantization de config.json, y compris les overrides par couche.
• Le repo est publie en tant que checkpoint MLX complet. Il ne s'agit pas d'un simple alias vers le modele Google original.

Telechargement

Python

from huggingface_hub import snapshot_download

local_path = snapshot_download("NeoRoth/gemma-4-e2b-it-mxfp4-mlx")
print(local_path)

CLI Hugging Face

hf download NeoRoth/gemma-4-e2b-it-mxfp4-mlx --local-dir ./models/gemma-4-e2b-it-mxfp4-mlx

Notes de publication

• Licence du checkpoint derivee du modele de base : Apache 2.0.
• Attribution recommandee : mentionner google/gemma-4-E2B-it comme modele source.
• Les differences de quantification sont documentees ici pour eviter de faire passer ce checkpoint pour une quantification MXFP4 "standard" ou "officielle".