Instructions to use assassindesign/gemma-4-e4b-8bit-fixed with libraries, inference providers, notebooks, and local apps. Follow these links to get started.
- Libraries
- MLX
How to use assassindesign/gemma-4-e4b-8bit-fixed with MLX:
# Download the model from the Hub pip install huggingface_hub[hf_xet] huggingface-cli download --local-dir gemma-4-e4b-8bit-fixed assassindesign/gemma-4-e4b-8bit-fixed
- Notebooks
- Google Colab
- Kaggle
- Local Apps
- LM Studio
| library_name: mlx | |
| tags: | |
| - mlx | |
| - audio | |
| - vision | |
| - gemma-4 | |
| - quantized | |
| # Gemma-4-E4B-it 8-bit MLX (Audio Supported / Fixed) | |
| 本模型是将官方原版 [google/gemma-4-e4b-it](https://huggingface.co/google/gemma-4-e4b-it) 转换为 Apple Silicon (Mac) 专用的 MLX 格式的 **8-bit 量化版本**。 | |
| 该模型由 **mlx-vlm 版本 0.5.0** 转换生成。有关模型的架构、训练数据和预设能力的更多详细信息,请参阅[原始模型卡](https://huggingface.co/google/gemma-4-e4b-it)。 | |
| This model is an **8-bit quantized** MLX version of the original [google/gemma-4-e4b-it](https://huggingface.co/google/gemma-4-e4b-it), optimized for Apple Silicon Macs. It was converted using **mlx-vlm version 0.5.0**. For more details about the model architecture and training data, please refer to the original model card. | |
| ## 🌟 此版本的特别说明 (Important Fixes) | |
| 早期的 `mlx-vlm` 版本(如 0.4.x)在转换和量化 Gemma 4 时,存在破坏音频塔(Audio Tower)权重以及丢失 `feature_extractor` 的 Bug,导致模型在处理音频时出现“失聪”或无限输出网址乱码(如 `123456...`)的问题。 | |
| **本仓库的权重使用了最新的 mlx-vlm v0.5.0 重新转换,完美跳过了音频塔的损坏,保留了无损的音频特征提取能力!** 现在你可以直接在 Mac 上极速运行 Gemma 4 的原生语音识别(ASR)和音频对话功能。 | |
| ## 💻 安装与依赖 (Requirements) | |
| 请确保你安装了最新版的 `mlx-vlm`(需要包含音频修复补丁): | |
| ```bash | |
| pip install -U "mlx-vlm>=0.5.0" transformers |