docs: add benchmark methodology and measurement policy
Browse files
README.md
CHANGED
|
@@ -50,4 +50,38 @@ No se inventan ni afirman capacidades no verificadas.
|
|
| 50 |
MODERNO TECH
|
| 51 |
Nova AI
|
| 52 |
Innovation. Engineering. Intelligence.
|
| 53 |
-
Sitio oficial: https://www.moderno.com.ar
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
| 50 |
MODERNO TECH
|
| 51 |
Nova AI
|
| 52 |
Innovation. Engineering. Intelligence.
|
| 53 |
+
Sitio oficial: https://www.moderno.com.ar
|
| 54 |
+
|
| 55 |
+
## Metodología de rendimiento
|
| 56 |
+
|
| 57 |
+
Esta sección describe cómo evaluar el modelo sin mezclar hipótesis con mediciones reales.
|
| 58 |
+
|
| 59 |
+
### Tipos de datos
|
| 60 |
+
|
| 61 |
+
- MEDIDO: resultado obtenido por ejecución real en hardware identificado.
|
| 62 |
+
- ESTIMADO: cálculo basado en tamaño de artifacto, cuantización y arquitectura.
|
| 63 |
+
- NO VALIDADO: todavía no se cuenta con evidencia suficiente.
|
| 64 |
+
|
| 65 |
+
### Hardware de referencia
|
| 66 |
+
|
| 67 |
+
| Equipo | Estado |
|
| 68 |
+
|---|---|
|
| 69 |
+
| MacBook Air 2014 | 4 GB LPDDR3; ancho de banda no publicado por Apple; 25,6 GB/s solo como estimación teórica de referencia |
|
| 70 |
+
| Lenovo Yoga 720 | i7 de 7.ª generación con 8 GB DDR4; identificar modelo exacto antes de estimar |
|
| 71 |
+
| MacBook Neo | Apple A18 Pro, 8 GB de memoria unificada, 60 GB/s |
|
| 72 |
+
| MacBook Air M4 | Apple M4, 16 GB de memoria unificada, 120 GB/s; equipo de prueba actual |
|
| 73 |
+
|
| 74 |
+
### Escenarios a evaluar
|
| 75 |
+
|
| 76 |
+
| Métrica | Escenario |
|
| 77 |
+
|---|---|
|
| 78 |
+
| TTFT | primer prompt |
|
| 79 |
+
| Tokens/s | generación de tokens en secuencia |
|
| 80 |
+
| Memoria | RAM/Memoria de trabaja y caché |
|
| 81 |
+
| Contexto | 4K / 8K / 32K / 64K / 128K cuando sea viable |
|
| 82 |
+
|
| 83 |
+
### Arquitectura
|
| 84 |
+
|
| 85 |
+
- Este repositorio corresponde a una variante de documentación o preparación.
|
| 86 |
+
- No declarar métricas absolutas sin que el artefacto esté publicado y probado.
|
| 87 |
+
- El rendimiento eventual debe distinguir RAM, SSD y caché antes de hacer afirmaciones sobre ventaja de MNE.
|