fivetech/MiMo-V2.5-colibri-peng-int4

MiMo-V2.5 — colibrì/peng int4 container

✅ Validado (2026-07-11): el motor peng ejecuta este contenedor y responde correctamente (The capital of France is → Paris., greedy). La subida de los 16 shards puede tardar en completarse — comprueba que el shard que descargas existe. Nota: los qkv_proj de este contenedor ya están des-entrelazados del layout por rangos TP del checkpoint FP8 oficial y re-dequantizados con la malla de escalas correcta (ver findings del repo peng — el modeling HF oficial no puede leer el checkpoint FP8 fuente tal cual).

Contenedor cuantizado de MiMo-V2.5 (311B MoE, 15B activos) para peng, el port de la tecnología de streaming de experts de colibrì a la arquitectura mimo_v2. Permite ejecutar el modelo en una máquina de consumo (~32 GB de RAM) leyendo los experts bajo demanda desde NVMe.

Formato

• Experts enrutados (47 capas × 256): int4 empaquetado, escalas f32 por fila (.qs)
• Densa residente (atención qkv fusionada, o_proj, MLP capa 0): int8
• Embeddings y lm_head: f32
• Normas, router y sink bias: f32
• Origen: checkpoint FP8 oficial (bloques 128×128), o_proj bf16, dequant exacto
• Tamaño total ≈ 160 GB (16 shards out-*.safetensors)

Uso

git clone https://github.com/FiveTechSoft/peng-mimo && cd peng-mimo/c
make mimo
SNAP=/ruta/a/este/repo ./mimo 64 4 8        # validación
# chat interactivo: ver README del repo peng

Motor: C puro, cero dependencias en runtime, AVX2. Validado token-exacto contra transformers en oráculo tiny (TF 32/32) y fixture 396M (TF 20/20); el contenedor se verifica idéntico a la cuantización en runtime.

Rendimiento medido (Xeon W-2140B 8c/16t, 32 GB RAM, NVMe 2.75 GB/s, WSL2)

• Carga: 20 s · densa residente 9.2 GB · RSS pico ~13.7 GB
• Decode frío: 0.31 tok/s (hit-rate expert 44%, ~4.7 GB de disco/token)
• Mejora con uso: cache LRU + learning cache de colibrì fijan los experts calientes

Créditos y licencias

• Motor peng/colibrì: Apache 2.0 — colibrì es obra de JustVugg; peng es un derivado comunitario
• Pesos MiMo-V2.5: © Xiaomi, según la licencia del repo original XiaomiMiMo/MiMo-V2.5
• Conversión FP8→int4: tools/convert_fp8_to_int4.py --arch mimo del repo peng