ModernoTech commited on
Commit
d2587d7
·
verified ·
1 Parent(s): 1b406f6

Nova Core 2.0 method: remove misleading representative perf claims; owner result classified separately

Browse files
Files changed (1) hide show
  1. performance/methodology.md +19 -32
performance/methodology.md CHANGED
@@ -1,40 +1,27 @@
1
  # Metodología cuantitativa — Nova Core 2.0
2
 
3
  ## 1. Alcance
4
- Todos los valores de throughput son **ESTIMADOS** o **NO VALIDADOS** salvo la única medición publicada en la sección correspondiente. Los gráficos NO representan benchmarks ejecutados.
5
 
6
- ## 2. Variables
7
- - Convenio de unidades: 1 GiB = 1024³.
8
- - Payload activo Q4: `params activos x 0.5 GiB/B x 1.10` (el 10 % adicional descarta parseo y metadata).
9
- - Ancho de banda de memoria (GiB/s) tomado de la tabla institucional.
10
- - SSD efectivo: 2.0 GiB/s, hipótesis de trabajo únicamente.
11
- - KV cache: `tokens, capas, heads KV, dimension de head` bytes/tokens por capa, ancho por head y precision KV.
12
 
13
- ## 3. Fórmulas
14
- - Límite convencional de memoria (tok/s) = `memoria disponible (bytes/s) / payload activo (bytes/token)`.
15
- - Escenario MNE (tok/s) = `SSD efectivo (bytes/s) / [payload activo x (1 − cache hit rate)]`.
16
- - Memoria ram convencional = pesos totales + KV + overhead fijo.
17
  - Memoria MNE = working set + KV + caché de expertos (capada) + overhead fijo.
18
- - KV memory = `contexto x layers x kv_heads x head_dim x 2 (K y V) x 2 bytes (FP16)`.
19
 
20
- ## 4. Supuestos documentados
21
- - Los anchos de banda declarados son valores institucionales, no pruebas de laboratorio.
22
- - El disco de MNE opera a 2.0 GiB/s con latencia no medida.
23
- - La tasa de aciertos(cache hit rate) es hipotética entre 90 % y 99.9 %.
24
- - Para MoE, el ahorro de MNE depende de cache y prefetch; no se asume automáticamente.
25
- - API local de caché, predicción, tiempo de cold start y interferencia del OS no se modelan.
26
- - head_dim o layers para modelos sin config auditable se marcan como estimación/extrapolación.
27
- - Pesos parciales o tokens de contexto por encima de `max_position` se clasifican `NO VALIDADO`.
28
 
29
- ## 5. Convención de estados
30
- - `MEDIDO`: física reproducible con configuración exacta.
31
- - `ESTIMADO`: proyección matemática con supuestos.
32
- - `NO VALIDADO`: datos insuficientes.
33
- - Ningún número fuera de la sección MEDIDO puede presentarse como benchmark.
34
-
35
- ## 6. Resultado
36
- - Repo: ModernoTech/Nova-Core
37
- - Archivo binario disponible: Nova-Core-1.0-Gemma4-E2B-Q4_K_M.gguf
38
- - Bytes verificados HvF: 3009448896
39
- - MNE cache miss list: 10 %, 5 %, 1 %, 0.5 %, 0.1 %.
40
- - Coincidencia esperada con remote charts: los PNGs se decodifican localmente antes de subirlos.
 
1
  # Metodología cuantitativa — Nova Core 2.0
2
 
3
  ## 1. Alcance
4
+ Los valores de la fase 2 son **ESTIMADOS** o **NO VALIDADOS**. Ningún throughput de prefill/decode medido se expone como máximo comercial del producto.
5
 
6
+ El resultado de 225 tok/s para la configuración de 16 GB de memoria unificada está clasificado como `OWNER_REPORTED_RESULT`; no se publica como benchmark independiente porque su entorno, runtime, contexto, batch y método de medición no están documentados de forma auditable.
 
 
 
 
 
7
 
8
+ ## 2. Variables y fórmulas
9
+ - Límite convencional = ancho de banda disponible / payload activo.
10
+ - Escenario MNE = ancho de banda efectivo de SSD / (payload activo × porcentaje de miss).
11
+ - Memoria = pesos totales + KV + overhead fijo en la ruta convencional.
12
  - Memoria MNE = working set + KV + caché de expertos (capada) + overhead fijo.
13
+ - KV = contexto × capas × cabezas KV × dimensión de head × 2 × 2 bytes (FP16).
14
 
15
+ ## 3. Supuestos y límites
16
+ - Los anchos de banda de RAM son valores institucionales, no mediciones de laboratorio.
17
+ - SSD asumido: 2.0 GiB/s, sin latencia medida.
18
+ - Tasas de cache: 90 % a 99.9 %, hipótesis de trabajo.
19
+ - Contextos superiores al máximo documentado se marcan `NO VALIDADO`.
20
+ - La degradación 11–13 tok/s en contextos cercanos a 147K es un escenario informado, no una medición universal.
21
+ - Las referencias de entorno publicadas son de stacks distintos y no se atribuyen a Nova Core como ocho benchmarks independientes.
 
22
 
23
+ ## 4. Actualización del artefacto
24
+ - Artefacto: `Nova-Core-2.0-Q4_K_M.gguf`
25
+ - Tamaño: 3.009.448.896 bytes
26
+ - SHA-256: `c9213a33b16d513482790bb7092243f783a450e35f7deca584a41e0470afdb97`
27
+ - La operación de renombrado se hizo server-side con LFS, conservando el contenido binario.