ModernoTech commited on
Commit
79c929b
·
verified ·
1 Parent(s): ce299d6

Update Model Card per Nova AI positioning instructions

Browse files
Files changed (1) hide show
  1. README.md +119 -116
README.md CHANGED
@@ -1,167 +1,170 @@
1
-
2
- ![Banner de Nova-Flow](images/nova-flow-banner.jpg)
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
3
 
4
  <div align="center">
5
  <img alt="Moderno Tech" src="images/moderno-tech-logo.png" width="84"/>
6
-
7
-
8
- # Nova Flow — Moderno Tech
9
  </div>
10
 
 
11
 
12
- # Nova Flow
13
-
14
- **Moderno Tech — Nova**
15
-
16
- Producto de la familia Nova de Moderno Tech.
17
-
18
- ## Estado
19
-
20
- - Estado: En desarrollo
21
- - Este repositorio contiene una identidad documental y de marca. No afirma ser un modelo fully trained hasta disponer de sus pesos correspondientes.
22
- - Si el artefacto aún no está publicado, los pesos no se incluyen.
23
- - Base propuesta/candidata: LFM2.5-8B-A1B
24
- - Procedencia documental: pendiente de auditoría
25
-
26
- ## Identidad comercial
27
 
28
- - Marca: Moderno Tech
29
- - Familia: Nova
30
- - Producto: Nova Flow
31
- - Sitio oficial: https://www.moderno.com.ar
32
- - Organización: https://huggingface.co/ModernoTech
33
 
34
- ## Training and Distillation
35
 
36
- - Current status: documentation / preparation
37
- - Weights trained by Moderno Tech: not yet published
38
- - Fine-tuning documented: pending verification
39
- - Distillation documented: pending verification
40
- - Metrics: pending
41
 
42
- ## Important
43
 
44
- La identidad comercial pertenece a Moderno Tech.
45
- La procedencia y licencia aplicables se documentan por separado.
46
- No se inventan ni afirman capacidades no verificadas.
47
 
48
- ## Institutional footer
49
 
50
- MODERNO TECH
51
- Nova AI
52
- Innovation. Engineering. Intelligence.
53
- Sitio oficial: https://www.moderno.com.ar
54
 
 
55
 
 
56
 
57
- ## Documentación legal
58
 
59
- - `MODEL-CARD.md`
60
- - `MODERNO-TECH-LICENSE.md`
61
- - `MODERNO-TECH-TERMS.md`
62
- - `MODERNO-TECH-DISCLAIMER.md`
63
- - `THIRD_PARTY_NOTICES/README.md`
64
 
65
- Sitio oficial: https://moderno.com.ar
 
 
 
 
 
66
 
67
- ## Rendimiento cuantitativo
68
 
69
- > Todos los valores de throughput son **ESTIMADOS** (techo de ancho de banda) o **NO VALIDADOS**. Ver `performance/performance.json` y `performance/simulation-results.csv`.
 
 
 
70
 
71
- No hay throughput de prefill/decode medido para este repositorio.
72
 
73
- - Artefacto: binario verificado de 16,936,006,912 bytes
74
- - Contextos analizados: 125K, 4K, 64K, 8K.
75
- - MNE: proyección SSD a 2.0 GiB/s, cache 90 %–99.9 %, KV a FP16, payload Q4 activo.
 
 
 
 
 
 
 
 
 
 
 
 
 
 
76
 
77
- ### Memoria y throughput por hardware (contexto 4K, estimado)
78
 
79
- | Hardware | RAM disponible (GB) | Ancho banda (GiB/s) | Límite RAM tok/s | MNE tok/s a 99% hit |
80
- |---|---:|---:|---:|---:|
81
- | MacBook Air 2014 | 4 | 25.6 | 31.0 | 242.4 |
82
- | Lenovo Yoga 720 | 8 | 34.1 | 41.3 | 242.4 |
83
- | MacBook Neo A18 Pro | 8 | 60.0 | 72.7 | 242.4 |
84
- | MacBook Air M4 | 16 | 120.0 | 145.5 | 242.4 |
85
 
 
86
 
87
- ### Escenarios MNE de cache
88
 
89
- | Cache hit | Miss leído desde SSD | Techo tok/s (modelo/representante) |
90
- |---|---:|---:|
91
- | 90.0 % | 10.0 % | 24.2 |
92
- | 95.0 % | 5.0 % | 48.5 |
93
- | 99.0 % | 1.0 % | 242.4 |
94
- | 99.5 % | 0.5 % | 484.8 |
95
- | 99.9 % | 0.1 % | 2424.2 |
96
 
97
- ### Contexto nativo y KV
 
 
 
 
 
98
 
99
- - Máximo posición documentado: 128,000 tokens.
100
- - KV se estima por `contexto × layers × kv_heads × head_dim × 2 (K+V) × 2 bytes`.
101
- - Para contextos superiores al nativo se marca `NO VALIDADO` en los CSV/JSON.
102
 
103
- ### Gráficos
 
 
 
 
 
104
 
105
- ![Tokens por segundo (límite teórico RAM)](performance/tokens-per-second.png)
106
 
107
- ![RAM vs MNE (proyección)](performance/ram-vs-mne.png)
 
 
 
108
 
109
- ![Contexto vs memoria KV (estimado)](performance/context-performance.png)
110
 
111
- ![Distribución de memoria (estimado)](performance/memory-breakdown.png)
112
 
113
- ![Tamaño vs RAM disponible](performance/model-size-vs-ram.png)
114
 
115
- ![Sensibilidad del cache MNE](performance/cache-hit-analysis.png)
 
 
 
116
 
117
- ![Prefill vs decode](performance/prefill-vs-decode.png)
118
 
119
- ### Archivos publicados
120
 
121
- - `performance/performance.json`
122
- - `performance/simulation-results.csv`
123
- - `performance/methodology.md`
124
- - `performance/hardware-reference.md`
125
- - `performance/generate_charts.py`
126
- - `performance/generate_animation.py`
127
- - Ver `performance/` para los 7 PNG de esta fase.
128
 
129
- ## Metodología de rendimiento
 
 
 
 
 
 
130
 
131
- Esta sección describe cómo evaluar el modelo sin mezclar hipótesis con mediciones reales.
132
 
133
- ### Tipos de datos
134
 
135
- - MEDIDO: resultado obtenido por ejecución real en hardware identificado.
136
- - ESTIMADO: cálculo basado en tamaño de artifacto, cuantización y arquitectura.
137
- - NO VALIDADO: todavía no se cuenta con evidencia suficiente.
 
138
 
139
- ### Hardware de referencia
140
 
141
- | Equipo | Estado |
142
- |---|---|
143
- | MacBook Air 2014 | 4 GB LPDDR3; ancho de banda no publicado por Apple; 25,6 GB/s solo como estimación teórica de referencia |
144
- | Lenovo Yoga 720 | i7 de 7.ª generación con 8 GB DDR4; identificar modelo exacto antes de estimar |
145
- | MacBook Neo | Apple A18 Pro, 8 GB de memoria unificada, 60 GB/s |
146
- | MacBook Air M4 | Apple M4, 16 GB de memoria unificada, 120 GB/s; equipo de prueba actual |
147
 
148
- ### Escenarios a evaluar
149
 
150
- | Métrica | Escenario |
151
- |---|---|
152
- | TTFT | primer prompt |
153
- | Tokens/s | generación de tokens en secuencia |
154
- | Memoria | RAM/Memoria de trabaja y caché |
155
- | Contexto | 4K / 8K / 32K / 64K / 128K cuando sea viable |
156
-
157
- ### Arquitectura
158
 
159
- - Este repositorio corresponde a una variante de documentación o preparación.
160
- - No declarar métricas absolutas sin que el artefacto esté publicado y probado.
161
- - El rendimiento eventual debe distinguir RAM, SSD y caché antes de hacer afirmaciones sobre ventaja de MNE.
162
 
163
- ## Demostración visual de inferencia
164
 
165
- ![Animación de inferencia](images/nova-flow-inference-process.gif)
166
 
167
- ![Animación de inferencia](images/nova-flow-inference-process.gif)
 
1
+ ---
2
+ language:
3
+ - es
4
+ - en
5
+ pretty_name: Nova Flow — Arquitectura Mixture of Experts para capacidad y activación selectiva
6
+ model_name: Nova Flow
7
+ model_creator: Moderno Tech
8
+ tags:
9
+ - moderno-tech
10
+ - nova
11
+ - nova-flow
12
+ - safetensors
13
+ - moe
14
+ - conversational
15
+ license: other
16
+ inference: false
17
+ ---
18
+
19
+ ![Banner de Nova Flow](images/nova-flow-banner.jpg)
20
 
21
  <div align="center">
22
  <img alt="Moderno Tech" src="images/moderno-tech-logo.png" width="84"/>
 
 
 
23
  </div>
24
 
25
+ # NOVA FLOW
26
 
27
+ **Moderno Tech — Nova AI**
 
 
 
 
 
 
 
 
 
 
 
 
 
 
28
 
29
+ ## Arquitectura Mixture of Experts para combinar capacidad total y eficiencia de activación
 
 
 
 
30
 
31
+ Nova Flow representa una aproximación arquitectónica diferente dentro de Nova AI.
32
 
33
+ Mientras que los modelos Dense utilizan sus parámetros correspondientes en cada paso de inferencia, Nova Flow utiliza una arquitectura Mixture of Experts (MoE), que permite seleccionar determinados expertos para procesar cada token.
 
 
 
 
34
 
35
+ Su configuración corresponde a aproximadamente 8.000 millones de parámetros totales y aproximadamente 1.000 a 1.500 millones de parámetros activos por token.
36
 
37
+ La característica central es la activación selectiva de expertos: disponer de una capacidad representada por un conjunto de parámetros mucho mayor que el presupuesto de parámetros que participa activamente en cada token.
 
 
38
 
39
+ Sitio oficial: https://moderno.com.ar
40
 
41
+ ## Descripción corta
 
 
 
42
 
43
+ Modelo conversacional con arquitectura Mixture of Experts (MoE), publicado en formato Safetensors BF16, orientado a interacción conversacional con activación reducida por token.
44
 
45
+ ## Propuesta de valor
46
 
47
+ Nova Flow busca aprovechar las ventajas de las arquitecturas MoE para ofrecer una capacidad total elevada con activación selectiva de expertos. Su diferenciación está en la arquitectura y en la relación entre parámetros totales y activos, no en afirmar que requiere la memoria de un modelo Dense de 1B.
48
 
49
+ ## Público objetivo
 
 
 
 
50
 
51
+ - Desarrolladores avanzados.
52
+ - Usuarios de inteligencia artificial local.
53
+ - Aplicaciones que necesitan mayor capacidad de modelo.
54
+ - Entornos de experimentación con arquitecturas MoE.
55
+ - Usuarios que desean aprovechar modelos de mayor capacidad sin utilizar una arquitectura Dense equivalente.
56
+ - Estaciones de trabajo y sistemas que pueden almacenar y ejecutar los pesos necesarios.
57
 
58
+ ## Objetivos de diseño
59
 
60
+ - Aprovechar las ventajas de las arquitecturas MoE.
61
+ - Ofrecer capacidad total elevada con activación selectiva de expertos.
62
+ - Permitir experimentación con arquitecturas de enrutamiento de expertos.
63
+ - Mantener la diferencia clara entre capacidad total y cómputo activo.
64
 
65
+ ## Características técnicas
66
 
67
+ | Campo | Información verificada |
68
+ |---|---|
69
+ | Producto | Nova Flow |
70
+ | Marca | Moderno Tech |
71
+ | Familia | Nova AI |
72
+ | Archivo | `model.safetensors` |
73
+ | Formato | Safetensors BF16 |
74
+ | Tamaño | 16,936,006,912 bytes |
75
+ | Parámetros totales | Aproximadamente 8,3B |
76
+ | Parámetros activos por token | Aproximadamente 1,5B |
77
+ | Arquitectura | Lfm2MoeForCausalLM (MoE) |
78
+ | Capas | 24 |
79
+ | Expertos | 32 (4 enrutados por token + 2 densos/compartidos) |
80
+ | Atención | 32 cabezas Q, 8 cabezas KV |
81
+ | Dimensión oculta | 2048 |
82
+ | Contexto máximo documentado | Hasta 128,000 tokens |
83
+ | Licencia original | LFM Open License v1.0 |
84
 
85
+ ## Arquitectura
86
 
87
+ Un modelo Dense de 8B utiliza los parámetros correspondientes de su arquitectura durante cada paso de inferencia.
 
 
 
 
 
88
 
89
+ Un modelo MoE de 8B con aproximadamente 1,5B de parámetros activos selecciona solo determinados expertos para procesar cada token.
90
 
91
+ Esto no significa que el modelo necesite almacenar solamente 1,5B de parámetros. Los pesos de los expertos y los demás componentes deben estar disponibles durante la ejecución. Por lo tanto, los requisitos de memoria y almacenamiento no deben confundirse con la cantidad de parámetros activos.
92
 
93
+ ## Qué lo diferencia
 
 
 
 
 
 
94
 
95
+ - 8B de parámetros totales.
96
+ - Aproximadamente 1,5B de parámetros activos por token.
97
+ - Arquitectura MoE.
98
+ - Enrutamiento selectivo de expertos.
99
+ - Diferencia entre capacidad total y cómputo activo.
100
+ - Posibilidad de utilizar una arquitectura de mayor tamaño con activación parcial de parámetros.
101
 
102
+ ## Comparativa dentro de Nova AI
 
 
103
 
104
+ | Modelo | Parámetros | Arquitectura | Posicionamiento |
105
+ |---|---:|---|---|
106
+ | Nova Nano | 350M | Según checkpoint | Ultraeficiencia |
107
+ | Nova Mini | 0,6B | Dense | Equilibrio |
108
+ | Nova Spark | 0,8B | Según checkpoint | Capacidad compacta |
109
+ | **Nova Flow** | ~8B / ~1,5B activos | MoE | Capacidad y activación selectiva |
110
 
111
+ ## ¿Qué Nova elegir?
112
 
113
+ - Elegir Nano cuando la prioridad sea minimizar el tamaño del modelo y los recursos necesarios.
114
+ - Elegir Mini cuando se busque un equilibrio entre tamaño y capacidad.
115
+ - Elegir Spark cuando se necesite un modelo compacto de propósito general.
116
+ - Elegir Flow cuando se busque una arquitectura MoE con mayor cantidad de parámetros totales y activación selectiva.
117
 
118
+ ## Comparativa frente a alternativas
119
 
120
+ Nova Flow se posiciona por su arquitectura MoE y la relación entre parámetros totales y activos. Las ventajas comunicables se desprenden de las características verificadas. No se afirma superioridad de rendimiento ni inteligencia sin resultados comparables verificables.
121
 
122
+ ## Casos de uso
123
 
124
+ - Interacción conversacional fluida con activación reducida por token.
125
+ - Aplicaciones que necesitan mayor capacidad de modelo.
126
+ - Entornos de experimentación con arquitecturas MoE.
127
+ - Desarrollo y pruebas de modelos de mayor tamaño con ejecución selectiva.
128
 
129
+ ## Cómo elegir este modelo
130
 
131
+ Elegir Nova Flow cuando se busque una arquitectura MoE con mayor cantidad de parámetros totales y activación selectiva de expertos, y se disponga del almacenamiento y la memoria necesarios para los pesos completos.
132
 
133
+ ## Instalación y utilización
 
 
 
 
 
 
134
 
135
+ ```bash
136
+ python -c "
137
+ from transformers import AutoModelForCausalLM, AutoTokenizer
138
+ model = AutoModelForCausalLM.from_pretrained('ModernoTech/Nova-Flow', trust_remote_code=True)
139
+ tokenizer = AutoTokenizer.from_pretrained('ModernoTech/Nova-Flow', trust_remote_code=True)
140
+ "
141
+ ```
142
 
143
+ La compatibilidad exacta depende de la versión de Transformers y del hardware disponible. La configuración, `generation_config`, tokenizer y chat template se encuentran en el mismo repositorio.
144
 
145
+ ## Limitaciones
146
 
147
+ - Capacidad y rendimiento deben validarse con el runtime y hardware disponibles.
148
+ - Los pesos completos deben estar disponibles durante la ejecución; la activación selectiva no reduce el almacenamiento requerido.
149
+ - No se publican benchmarks propios verificables; cualquier comparación debe realizarse con pruebas equivalentes.
150
+ - No se garantiza compatibilidad universal sin prueba.
151
 
152
+ ## Procedencia y licencia
153
 
154
+ - Base documentada: `LFM2.5-8B-A1B`.
155
+ - Licencia de origen: LFM Open License v1.0.
156
+ - Los pesos y la configuración heredada se conservan para compatibilidad.
157
+ - Moderno Tech presenta comercialmente el producto bajo la marca Nova sin afirmar que creó el modelo base desde cero.
158
+ - Los avisos, atribuciones y condiciones de licencia del origen se conservan.
 
159
 
160
+ ## Información de Moderno Tech
161
 
162
+ **NOVA AI**
 
 
 
 
 
 
 
163
 
164
+ Desarrollado y distribuido bajo la identidad de:
 
 
165
 
166
+ **MODERNO TECH**
167
 
168
+ Sitio oficial: https://moderno.com.ar
169
 
170
+ *Inteligencia que evoluciona. Tecnología que transforma.*