assassindesign/gemma-4-e4b-8bit-fixed

Gemma-4-E4B-it 8-bit MLX (Audio Supported / Fixed)

本模型是将官方原版 google/gemma-4-e4b-it 转换为 Apple Silicon (Mac) 专用的 MLX 格式的 8-bit 量化版本。

该模型由 mlx-vlm 版本 0.5.0 转换生成。有关模型的架构、训练数据和预设能力的更多详细信息，请参阅原始模型卡。

This model is an 8-bit quantized MLX version of the original google/gemma-4-e4b-it, optimized for Apple Silicon Macs. It was converted using mlx-vlm version 0.5.0. For more details about the model architecture and training data, please refer to the original model card.

🌟 此版本的特别说明 (Important Fixes)

早期的 mlx-vlm 版本（如 0.4.x）在转换和量化 Gemma 4 时，存在破坏音频塔（Audio Tower）权重以及丢失 feature_extractor 的 Bug，导致模型在处理音频时出现“失聪”或无限输出网址乱码（如 123456...）的问题。

本仓库的权重使用了最新的 mlx-vlm v0.5.0 重新转换，完美跳过了音频塔的损坏，保留了无损的音频特征提取能力！ 现在你可以直接在 Mac 上极速运行 Gemma 4 的原生语音识别（ASR）和音频对话功能。

💻 安装与依赖 (Requirements)

请确保你安装了最新版的 mlx-vlm（需要包含音频修复补丁）：

pip install -U "mlx-vlm>=0.5.0" transformers