Update Model Card per Nova AI positioning instructions
Browse files
README.md
CHANGED
|
@@ -1,167 +1,170 @@
|
|
| 1 |
-
|
| 2 |
-
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
| 3 |
|
| 4 |
<div align="center">
|
| 5 |
<img alt="Moderno Tech" src="images/moderno-tech-logo.png" width="84"/>
|
| 6 |
-
|
| 7 |
-
|
| 8 |
-
# Nova Flow — Moderno Tech
|
| 9 |
</div>
|
| 10 |
|
|
|
|
| 11 |
|
| 12 |
-
|
| 13 |
-
|
| 14 |
-
**Moderno Tech — Nova**
|
| 15 |
-
|
| 16 |
-
Producto de la familia Nova de Moderno Tech.
|
| 17 |
-
|
| 18 |
-
## Estado
|
| 19 |
-
|
| 20 |
-
- Estado: En desarrollo
|
| 21 |
-
- Este repositorio contiene una identidad documental y de marca. No afirma ser un modelo fully trained hasta disponer de sus pesos correspondientes.
|
| 22 |
-
- Si el artefacto aún no está publicado, los pesos no se incluyen.
|
| 23 |
-
- Base propuesta/candidata: LFM2.5-8B-A1B
|
| 24 |
-
- Procedencia documental: pendiente de auditoría
|
| 25 |
-
|
| 26 |
-
## Identidad comercial
|
| 27 |
|
| 28 |
-
|
| 29 |
-
- Familia: Nova
|
| 30 |
-
- Producto: Nova Flow
|
| 31 |
-
- Sitio oficial: https://www.moderno.com.ar
|
| 32 |
-
- Organización: https://huggingface.co/ModernoTech
|
| 33 |
|
| 34 |
-
|
| 35 |
|
| 36 |
-
|
| 37 |
-
- Weights trained by Moderno Tech: not yet published
|
| 38 |
-
- Fine-tuning documented: pending verification
|
| 39 |
-
- Distillation documented: pending verification
|
| 40 |
-
- Metrics: pending
|
| 41 |
|
| 42 |
-
|
| 43 |
|
| 44 |
-
La
|
| 45 |
-
La procedencia y licencia aplicables se documentan por separado.
|
| 46 |
-
No se inventan ni afirman capacidades no verificadas.
|
| 47 |
|
| 48 |
-
|
| 49 |
|
| 50 |
-
|
| 51 |
-
Nova AI
|
| 52 |
-
Innovation. Engineering. Intelligence.
|
| 53 |
-
Sitio oficial: https://www.moderno.com.ar
|
| 54 |
|
|
|
|
| 55 |
|
|
|
|
| 56 |
|
| 57 |
-
|
| 58 |
|
| 59 |
-
|
| 60 |
-
- `MODERNO-TECH-LICENSE.md`
|
| 61 |
-
- `MODERNO-TECH-TERMS.md`
|
| 62 |
-
- `MODERNO-TECH-DISCLAIMER.md`
|
| 63 |
-
- `THIRD_PARTY_NOTICES/README.md`
|
| 64 |
|
| 65 |
-
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
| 66 |
|
| 67 |
-
##
|
| 68 |
|
| 69 |
-
|
|
|
|
|
|
|
|
|
|
| 70 |
|
| 71 |
-
|
| 72 |
|
| 73 |
-
|
| 74 |
-
-
|
| 75 |
-
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
| 76 |
|
| 77 |
-
##
|
| 78 |
|
| 79 |
-
|
| 80 |
-
|---|---:|---:|---:|---:|
|
| 81 |
-
| MacBook Air 2014 | 4 | 25.6 | 31.0 | 242.4 |
|
| 82 |
-
| Lenovo Yoga 720 | 8 | 34.1 | 41.3 | 242.4 |
|
| 83 |
-
| MacBook Neo A18 Pro | 8 | 60.0 | 72.7 | 242.4 |
|
| 84 |
-
| MacBook Air M4 | 16 | 120.0 | 145.5 | 242.4 |
|
| 85 |
|
|
|
|
| 86 |
|
| 87 |
-
|
| 88 |
|
| 89 |
-
|
| 90 |
-
|---|---:|---:|
|
| 91 |
-
| 90.0 % | 10.0 % | 24.2 |
|
| 92 |
-
| 95.0 % | 5.0 % | 48.5 |
|
| 93 |
-
| 99.0 % | 1.0 % | 242.4 |
|
| 94 |
-
| 99.5 % | 0.5 % | 484.8 |
|
| 95 |
-
| 99.9 % | 0.1 % | 2424.2 |
|
| 96 |
|
| 97 |
-
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
| 98 |
|
| 99 |
-
|
| 100 |
-
- KV se estima por `contexto × layers × kv_heads × head_dim × 2 (K+V) × 2 bytes`.
|
| 101 |
-
- Para contextos superiores al nativo se marca `NO VALIDADO` en los CSV/JSON.
|
| 102 |
|
| 103 |
-
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
| 104 |
|
| 105 |
-
|
| 106 |
|
| 107 |
-
|
|
|
|
|
|
|
|
|
|
| 108 |
|
| 109 |
-
|
| 110 |
|
| 111 |
-
|
| 112 |
|
| 113 |
-
|
| 114 |
|
| 115 |
-
|
|
|
|
|
|
|
|
|
|
| 116 |
|
| 117 |
-
|
| 118 |
|
| 119 |
-
|
| 120 |
|
| 121 |
-
|
| 122 |
-
- `performance/simulation-results.csv`
|
| 123 |
-
- `performance/methodology.md`
|
| 124 |
-
- `performance/hardware-reference.md`
|
| 125 |
-
- `performance/generate_charts.py`
|
| 126 |
-
- `performance/generate_animation.py`
|
| 127 |
-
- Ver `performance/` para los 7 PNG de esta fase.
|
| 128 |
|
| 129 |
-
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
| 130 |
|
| 131 |
-
|
| 132 |
|
| 133 |
-
##
|
| 134 |
|
| 135 |
-
-
|
| 136 |
-
-
|
| 137 |
-
-
|
|
|
|
| 138 |
|
| 139 |
-
##
|
| 140 |
|
| 141 |
-
|
| 142 |
-
|
| 143 |
-
|
| 144 |
-
|
| 145 |
-
|
| 146 |
-
| MacBook Air M4 | Apple M4, 16 GB de memoria unificada, 120 GB/s; equipo de prueba actual |
|
| 147 |
|
| 148 |
-
##
|
| 149 |
|
| 150 |
-
|
| 151 |
-
|---|---|
|
| 152 |
-
| TTFT | primer prompt |
|
| 153 |
-
| Tokens/s | generación de tokens en secuencia |
|
| 154 |
-
| Memoria | RAM/Memoria de trabaja y caché |
|
| 155 |
-
| Contexto | 4K / 8K / 32K / 64K / 128K cuando sea viable |
|
| 156 |
-
|
| 157 |
-
### Arquitectura
|
| 158 |
|
| 159 |
-
|
| 160 |
-
- No declarar métricas absolutas sin que el artefacto esté publicado y probado.
|
| 161 |
-
- El rendimiento eventual debe distinguir RAM, SSD y caché antes de hacer afirmaciones sobre ventaja de MNE.
|
| 162 |
|
| 163 |
-
|
| 164 |
|
| 165 |
-
|
| 166 |
|
| 167 |
-
|
|
|
|
| 1 |
+
---
|
| 2 |
+
language:
|
| 3 |
+
- es
|
| 4 |
+
- en
|
| 5 |
+
pretty_name: Nova Flow — Arquitectura Mixture of Experts para capacidad y activación selectiva
|
| 6 |
+
model_name: Nova Flow
|
| 7 |
+
model_creator: Moderno Tech
|
| 8 |
+
tags:
|
| 9 |
+
- moderno-tech
|
| 10 |
+
- nova
|
| 11 |
+
- nova-flow
|
| 12 |
+
- safetensors
|
| 13 |
+
- moe
|
| 14 |
+
- conversational
|
| 15 |
+
license: other
|
| 16 |
+
inference: false
|
| 17 |
+
---
|
| 18 |
+
|
| 19 |
+

|
| 20 |
|
| 21 |
<div align="center">
|
| 22 |
<img alt="Moderno Tech" src="images/moderno-tech-logo.png" width="84"/>
|
|
|
|
|
|
|
|
|
|
| 23 |
</div>
|
| 24 |
|
| 25 |
+
# NOVA FLOW
|
| 26 |
|
| 27 |
+
**Moderno Tech — Nova AI**
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
| 28 |
|
| 29 |
+
## Arquitectura Mixture of Experts para combinar capacidad total y eficiencia de activación
|
|
|
|
|
|
|
|
|
|
|
|
|
| 30 |
|
| 31 |
+
Nova Flow representa una aproximación arquitectónica diferente dentro de Nova AI.
|
| 32 |
|
| 33 |
+
Mientras que los modelos Dense utilizan sus parámetros correspondientes en cada paso de inferencia, Nova Flow utiliza una arquitectura Mixture of Experts (MoE), que permite seleccionar determinados expertos para procesar cada token.
|
|
|
|
|
|
|
|
|
|
|
|
|
| 34 |
|
| 35 |
+
Su configuración corresponde a aproximadamente 8.000 millones de parámetros totales y aproximadamente 1.000 a 1.500 millones de parámetros activos por token.
|
| 36 |
|
| 37 |
+
La característica central es la activación selectiva de expertos: disponer de una capacidad representada por un conjunto de parámetros mucho mayor que el presupuesto de parámetros que participa activamente en cada token.
|
|
|
|
|
|
|
| 38 |
|
| 39 |
+
Sitio oficial: https://moderno.com.ar
|
| 40 |
|
| 41 |
+
## Descripción corta
|
|
|
|
|
|
|
|
|
|
| 42 |
|
| 43 |
+
Modelo conversacional con arquitectura Mixture of Experts (MoE), publicado en formato Safetensors BF16, orientado a interacción conversacional con activación reducida por token.
|
| 44 |
|
| 45 |
+
## Propuesta de valor
|
| 46 |
|
| 47 |
+
Nova Flow busca aprovechar las ventajas de las arquitecturas MoE para ofrecer una capacidad total elevada con activación selectiva de expertos. Su diferenciación está en la arquitectura y en la relación entre parámetros totales y activos, no en afirmar que requiere la memoria de un modelo Dense de 1B.
|
| 48 |
|
| 49 |
+
## Público objetivo
|
|
|
|
|
|
|
|
|
|
|
|
|
| 50 |
|
| 51 |
+
- Desarrolladores avanzados.
|
| 52 |
+
- Usuarios de inteligencia artificial local.
|
| 53 |
+
- Aplicaciones que necesitan mayor capacidad de modelo.
|
| 54 |
+
- Entornos de experimentación con arquitecturas MoE.
|
| 55 |
+
- Usuarios que desean aprovechar modelos de mayor capacidad sin utilizar una arquitectura Dense equivalente.
|
| 56 |
+
- Estaciones de trabajo y sistemas que pueden almacenar y ejecutar los pesos necesarios.
|
| 57 |
|
| 58 |
+
## Objetivos de diseño
|
| 59 |
|
| 60 |
+
- Aprovechar las ventajas de las arquitecturas MoE.
|
| 61 |
+
- Ofrecer capacidad total elevada con activación selectiva de expertos.
|
| 62 |
+
- Permitir experimentación con arquitecturas de enrutamiento de expertos.
|
| 63 |
+
- Mantener la diferencia clara entre capacidad total y cómputo activo.
|
| 64 |
|
| 65 |
+
## Características técnicas
|
| 66 |
|
| 67 |
+
| Campo | Información verificada |
|
| 68 |
+
|---|---|
|
| 69 |
+
| Producto | Nova Flow |
|
| 70 |
+
| Marca | Moderno Tech |
|
| 71 |
+
| Familia | Nova AI |
|
| 72 |
+
| Archivo | `model.safetensors` |
|
| 73 |
+
| Formato | Safetensors BF16 |
|
| 74 |
+
| Tamaño | 16,936,006,912 bytes |
|
| 75 |
+
| Parámetros totales | Aproximadamente 8,3B |
|
| 76 |
+
| Parámetros activos por token | Aproximadamente 1,5B |
|
| 77 |
+
| Arquitectura | Lfm2MoeForCausalLM (MoE) |
|
| 78 |
+
| Capas | 24 |
|
| 79 |
+
| Expertos | 32 (4 enrutados por token + 2 densos/compartidos) |
|
| 80 |
+
| Atención | 32 cabezas Q, 8 cabezas KV |
|
| 81 |
+
| Dimensión oculta | 2048 |
|
| 82 |
+
| Contexto máximo documentado | Hasta 128,000 tokens |
|
| 83 |
+
| Licencia original | LFM Open License v1.0 |
|
| 84 |
|
| 85 |
+
## Arquitectura
|
| 86 |
|
| 87 |
+
Un modelo Dense de 8B utiliza los parámetros correspondientes de su arquitectura durante cada paso de inferencia.
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
| 88 |
|
| 89 |
+
Un modelo MoE de 8B con aproximadamente 1,5B de parámetros activos selecciona solo determinados expertos para procesar cada token.
|
| 90 |
|
| 91 |
+
Esto no significa que el modelo necesite almacenar solamente 1,5B de parámetros. Los pesos de los expertos y los demás componentes deben estar disponibles durante la ejecución. Por lo tanto, los requisitos de memoria y almacenamiento no deben confundirse con la cantidad de parámetros activos.
|
| 92 |
|
| 93 |
+
## Qué lo diferencia
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
| 94 |
|
| 95 |
+
- 8B de parámetros totales.
|
| 96 |
+
- Aproximadamente 1,5B de parámetros activos por token.
|
| 97 |
+
- Arquitectura MoE.
|
| 98 |
+
- Enrutamiento selectivo de expertos.
|
| 99 |
+
- Diferencia entre capacidad total y cómputo activo.
|
| 100 |
+
- Posibilidad de utilizar una arquitectura de mayor tamaño con activación parcial de parámetros.
|
| 101 |
|
| 102 |
+
## Comparativa dentro de Nova AI
|
|
|
|
|
|
|
| 103 |
|
| 104 |
+
| Modelo | Parámetros | Arquitectura | Posicionamiento |
|
| 105 |
+
|---|---:|---|---|
|
| 106 |
+
| Nova Nano | 350M | Según checkpoint | Ultraeficiencia |
|
| 107 |
+
| Nova Mini | 0,6B | Dense | Equilibrio |
|
| 108 |
+
| Nova Spark | 0,8B | Según checkpoint | Capacidad compacta |
|
| 109 |
+
| **Nova Flow** | ~8B / ~1,5B activos | MoE | Capacidad y activación selectiva |
|
| 110 |
|
| 111 |
+
## ¿Qué Nova elegir?
|
| 112 |
|
| 113 |
+
- Elegir Nano cuando la prioridad sea minimizar el tamaño del modelo y los recursos necesarios.
|
| 114 |
+
- Elegir Mini cuando se busque un equilibrio entre tamaño y capacidad.
|
| 115 |
+
- Elegir Spark cuando se necesite un modelo compacto de propósito general.
|
| 116 |
+
- Elegir Flow cuando se busque una arquitectura MoE con mayor cantidad de parámetros totales y activación selectiva.
|
| 117 |
|
| 118 |
+
## Comparativa frente a alternativas
|
| 119 |
|
| 120 |
+
Nova Flow se posiciona por su arquitectura MoE y la relación entre parámetros totales y activos. Las ventajas comunicables se desprenden de las características verificadas. No se afirma superioridad de rendimiento ni inteligencia sin resultados comparables verificables.
|
| 121 |
|
| 122 |
+
## Casos de uso
|
| 123 |
|
| 124 |
+
- Interacción conversacional fluida con activación reducida por token.
|
| 125 |
+
- Aplicaciones que necesitan mayor capacidad de modelo.
|
| 126 |
+
- Entornos de experimentación con arquitecturas MoE.
|
| 127 |
+
- Desarrollo y pruebas de modelos de mayor tamaño con ejecución selectiva.
|
| 128 |
|
| 129 |
+
## Cómo elegir este modelo
|
| 130 |
|
| 131 |
+
Elegir Nova Flow cuando se busque una arquitectura MoE con mayor cantidad de parámetros totales y activación selectiva de expertos, y se disponga del almacenamiento y la memoria necesarios para los pesos completos.
|
| 132 |
|
| 133 |
+
## Instalación y utilización
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
| 134 |
|
| 135 |
+
```bash
|
| 136 |
+
python -c "
|
| 137 |
+
from transformers import AutoModelForCausalLM, AutoTokenizer
|
| 138 |
+
model = AutoModelForCausalLM.from_pretrained('ModernoTech/Nova-Flow', trust_remote_code=True)
|
| 139 |
+
tokenizer = AutoTokenizer.from_pretrained('ModernoTech/Nova-Flow', trust_remote_code=True)
|
| 140 |
+
"
|
| 141 |
+
```
|
| 142 |
|
| 143 |
+
La compatibilidad exacta depende de la versión de Transformers y del hardware disponible. La configuración, `generation_config`, tokenizer y chat template se encuentran en el mismo repositorio.
|
| 144 |
|
| 145 |
+
## Limitaciones
|
| 146 |
|
| 147 |
+
- Capacidad y rendimiento deben validarse con el runtime y hardware disponibles.
|
| 148 |
+
- Los pesos completos deben estar disponibles durante la ejecución; la activación selectiva no reduce el almacenamiento requerido.
|
| 149 |
+
- No se publican benchmarks propios verificables; cualquier comparación debe realizarse con pruebas equivalentes.
|
| 150 |
+
- No se garantiza compatibilidad universal sin prueba.
|
| 151 |
|
| 152 |
+
## Procedencia y licencia
|
| 153 |
|
| 154 |
+
- Base documentada: `LFM2.5-8B-A1B`.
|
| 155 |
+
- Licencia de origen: LFM Open License v1.0.
|
| 156 |
+
- Los pesos y la configuración heredada se conservan para compatibilidad.
|
| 157 |
+
- Moderno Tech presenta comercialmente el producto bajo la marca Nova sin afirmar que creó el modelo base desde cero.
|
| 158 |
+
- Los avisos, atribuciones y condiciones de licencia del origen se conservan.
|
|
|
|
| 159 |
|
| 160 |
+
## Información de Moderno Tech
|
| 161 |
|
| 162 |
+
**NOVA AI**
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
| 163 |
|
| 164 |
+
Desarrollado y distribuido bajo la identidad de:
|
|
|
|
|
|
|
| 165 |
|
| 166 |
+
**MODERNO TECH**
|
| 167 |
|
| 168 |
+
Sitio oficial: https://moderno.com.ar
|
| 169 |
|
| 170 |
+
*Inteligencia que evoluciona. Tecnología que transforma.*
|