performance/methodology.md

Metodología cuantitativa — Nova Flow

1. Alcance

Todos los valores de throughput son ESTIMADOS o NO VALIDADOS salvo la única medición publicada en la sección correspondiente. Los gráficos NO representan benchmarks ejecutados.

2. Variables

• Convenio de unidades: 1 GiB = 1024³.
• Payload activo Q4: params activos x 0.5 GiB/B x 1.10 (el 10 % adicional descarta parseo y metadata).
• Ancho de banda de memoria (GiB/s) tomado de la tabla institucional.
• SSD efectivo: 2.0 GiB/s, hipótesis de trabajo únicamente.
• KV cache: tokens, capas, heads KV, dimension de head bytes/tokens por capa, ancho por head y precision KV.

3. Fórmulas

• Límite convencional de memoria (tok/s) = memoria disponible (bytes/s) / payload activo (bytes/token).
• Escenario MNE (tok/s) = SSD efectivo (bytes/s) / [payload activo x (1 − cache hit rate)].
• Memoria ram convencional = pesos totales + KV + overhead fijo.
• Memoria MNE = working set + KV + caché de expertos (capada) + overhead fijo.
• KV memory = contexto x layers x kv_heads x head_dim x 2 (K y V) x 2 bytes (FP16).

4. Supuestos documentados

• Los anchos de banda declarados son valores institucionales, no pruebas de laboratorio.
• El disco de MNE opera a 2.0 GiB/s con latencia no medida.
• La tasa de aciertos(cache hit rate) es hipotética entre 90 % y 99.9 %.
• Para MoE, el ahorro de MNE depende de cache y prefetch; no se asume automáticamente.
• API local de caché, predicción, tiempo de cold start y interferencia del OS no se modelan.
• head_dim o layers para modelos sin config auditable se marcan como estimación/extrapolación.
• Pesos parciales o tokens de contexto por encima de max_position se clasifican NO VALIDADO.

5. Convención de estados

• MEDIDO: física reproducible con configuración exacta.
• ESTIMADO: proyección matemática con supuestos.
• NO VALIDADO: datos insuficientes.
• Ningún número fuera de la sección MEDIDO puede presentarse como benchmark.

6. Resultado

• Repo: ModernoTech/Nova-Flow
• Archivo binario disponible: model.safetensors
• Bytes verificados HvF: 16936006912
• MNE cache miss list: 10 %, 5 %, 1 %, 0.5 %, 0.1 %.
• Coincidencia esperada con remote charts: los PNGs se decodifican localmente antes de subirlos.