Performance Lab phase 2: JSON, CSV, methodology, hardware reference, reproducible scripts and 7 PNG charts
2f54e3e verified | # Metodología cuantitativa — Nova Mini 1.0 | |
| ## 1. Alcance | |
| Todos los valores de throughput son **ESTIMADOS** o **NO VALIDADOS** salvo la única medición publicada en la sección correspondiente. Los gráficos NO representan benchmarks ejecutados. | |
| ## 2. Variables | |
| - Convenio de unidades: 1 GiB = 1024³. | |
| - Payload activo Q4: `params activos x 0.5 GiB/B x 1.10` (el 10 % adicional descarta parseo y metadata). | |
| - Ancho de banda de memoria (GiB/s) tomado de la tabla institucional. | |
| - SSD efectivo: 2.0 GiB/s, hipótesis de trabajo únicamente. | |
| - KV cache: `tokens, capas, heads KV, dimension de head` bytes/tokens por capa, ancho por head y precision KV. | |
| ## 3. Fórmulas | |
| - Límite convencional de memoria (tok/s) = `memoria disponible (bytes/s) / payload activo (bytes/token)`. | |
| - Escenario MNE (tok/s) = `SSD efectivo (bytes/s) / [payload activo x (1 − cache hit rate)]`. | |
| - Memoria ram convencional = pesos totales + KV + overhead fijo. | |
| - Memoria MNE = working set + KV + caché de expertos (capada) + overhead fijo. | |
| - KV memory = `contexto x layers x kv_heads x head_dim x 2 (K y V) x 2 bytes (FP16)`. | |
| ## 4. Supuestos documentados | |
| - Los anchos de banda declarados son valores institucionales, no pruebas de laboratorio. | |
| - El disco de MNE opera a 2.0 GiB/s con latencia no medida. | |
| - La tasa de aciertos(cache hit rate) es hipotética entre 90 % y 99.9 %. | |
| - Para MoE, el ahorro de MNE depende de cache y prefetch; no se asume automáticamente. | |
| - API local de caché, predicción, tiempo de cold start y interferencia del OS no se modelan. | |
| - head_dim o layers para modelos sin config auditable se marcan como estimación/extrapolación. | |
| - Pesos parciales o tokens de contexto por encima de `max_position` se clasifican `NO VALIDADO`. | |
| ## 5. Convención de estados | |
| - `MEDIDO`: física reproducible con configuración exacta. | |
| - `ESTIMADO`: proyección matemática con supuestos. | |
| - `NO VALIDADO`: datos insuficientes. | |
| - Ningún número fuera de la sección MEDIDO puede presentarse como benchmark. | |
| ## 6. Resultado | |
| - Repo: ModernoTech/Nova-Mini | |
| - Archivo binario disponible: Nova-Mini-1.0-Q4_K_M.gguf | |
| - Bytes verificados HvF: 484220288 | |
| - MNE cache miss list: 10 %, 5 %, 1 %, 0.5 %, 0.1 %. | |
| - Coincidencia esperada con remote charts: los PNGs se decodifican localmente antes de subirlos. | |