Instructions to use assassindesign/gemma-4-e4b-bf16-fixed with libraries, inference providers, notebooks, and local apps. Follow these links to get started.
- Libraries
- MLX
How to use assassindesign/gemma-4-e4b-bf16-fixed with MLX:
# Download the model from the Hub pip install huggingface_hub[hf_xet] huggingface-cli download --local-dir gemma-4-e4b-bf16-fixed assassindesign/gemma-4-e4b-bf16-fixed
- Notebooks
- Google Colab
- Kaggle
- Local Apps Settings
- LM Studio
| library_name: mlx | |
| tags: | |
| - mlx | |
| - audio | |
| - vision | |
| - gemma-4 | |
| - bf16 | |
| # Gemma-4-E4B-it bf16 MLX (Audio Supported / Fixed) | |
| 本模型是将官方原版 [google/gemma-4-e4b-it](https://huggingface.co/google/gemma-4-e4b-it) 转换为 Apple Silicon (Mac) 专用的 MLX 格式的 **bf16 版本**(非量化,保持原始精度)。 | |
| 该模型由 **mlx-vlm 版本 0.5.0** 转换生成,使用 bfloat16 存储权重。有关模型的架构、训练数据和预设能力的更多详细信息,请参阅[原始模型卡](https://huggingface.co/google/gemma-4-e4b-it)。 | |
| This model is a **bf16 (non-quantized)** MLX version of the original [google/gemma-4-e4b-it](https://huggingface.co/google/gemma-4-e4b-it), optimized for Apple Silicon Macs. It was converted using **mlx-vlm version 0.5.0** and weights are stored in bfloat16 format. For more details about the model architecture and training data, please refer to the original model card. | |
| ## 🌟 此版本的特别说明 (Important Fixes) | |
| 早期的 `mlx-vlm` 版本(如 0.4.x)在转换 Gemma 4 时,存在破坏音频塔(Audio Tower)权重以及丢失 `feature_extractor` 的 Bug,导致模型在处理音频时出现“失聪”或无限输出网址乱码(如 `123456...`)的问题。 | |
| **本仓库的权重使用了最新的 mlx-vlm v0.5.0 重新转换为 bf16 格式,完美跳过了音频塔的损坏,保留了无损的音频特征提取能力!** 现在你可以直接在 Mac 上以 bf16 精度极速运行 Gemma 4 的原生语音识别(ASR)和音频对话功能。 | |
| ## 💻 安装与依赖 (Requirements) | |
| 请确保你安装了最新版的 `mlx-vlm`(需要包含音频修复补丁): | |
| ```bash | |
| pip install -U "mlx-vlm>=0.5.0" transformers |