ModernoTech commited on
Commit
4c03d6c
·
verified ·
1 Parent(s): 79c929b

Update Model Card: Nova AI exclusive identity, no external model references

Browse files
Files changed (1) hide show
  1. README.md +60 -56
README.md CHANGED
@@ -2,7 +2,7 @@
2
  language:
3
  - es
4
  - en
5
- pretty_name: Nova Flow — Arquitectura Mixture of Experts para capacidad y activación selectiva
6
  model_name: Nova Flow
7
  model_creator: Moderno Tech
8
  tags:
@@ -26,15 +26,11 @@ inference: false
26
 
27
  **Moderno Tech — Nova AI**
28
 
29
- ## Arquitectura Mixture of Experts para combinar capacidad total y eficiencia de activación
30
 
31
- Nova Flow representa una aproximación arquitectónica diferente dentro de Nova AI.
32
 
33
- Mientras que los modelos Dense utilizan sus parámetros correspondientes en cada paso de inferencia, Nova Flow utiliza una arquitectura Mixture of Experts (MoE), que permite seleccionar determinados expertos para procesar cada token.
34
-
35
- Su configuración corresponde a aproximadamente 8.000 millones de parámetros totales y aproximadamente 1.000 a 1.500 millones de parámetros activos por token.
36
-
37
- La característica central es la activación selectiva de expertos: disponer de una capacidad representada por un conjunto de parámetros mucho mayor que el presupuesto de parámetros que participa activamente en cada token.
38
 
39
  Sitio oficial: https://moderno.com.ar
40
 
@@ -42,9 +38,16 @@ Sitio oficial: https://moderno.com.ar
42
 
43
  Modelo conversacional con arquitectura Mixture of Experts (MoE), publicado en formato Safetensors BF16, orientado a interacción conversacional con activación reducida por token.
44
 
45
- ## Propuesta de valor
 
 
 
 
46
 
47
- Nova Flow busca aprovechar las ventajas de las arquitecturas MoE para ofrecer una capacidad total elevada con activación selectiva de expertos. Su diferenciación está en la arquitectura y en la relación entre parámetros totales y activos, no en afirmar que requiere la memoria de un modelo Dense de 1B.
 
 
 
48
 
49
  ## Público objetivo
50
 
@@ -52,17 +55,39 @@ Nova Flow busca aprovechar las ventajas de las arquitecturas MoE para ofrecer un
52
  - Usuarios de inteligencia artificial local.
53
  - Aplicaciones que necesitan mayor capacidad de modelo.
54
  - Entornos de experimentación con arquitecturas MoE.
55
- - Usuarios que desean aprovechar modelos de mayor capacidad sin utilizar una arquitectura Dense equivalente.
56
  - Estaciones de trabajo y sistemas que pueden almacenar y ejecutar los pesos necesarios.
57
 
58
- ## Objetivos de diseño
59
 
60
- - Aprovechar las ventajas de las arquitecturas MoE.
61
- - Ofrecer capacidad total elevada con activación selectiva de expertos.
62
- - Permitir experimentación con arquitecturas de enrutamiento de expertos.
63
- - Mantener la diferencia clara entre capacidad total y cómputo activo.
 
 
 
 
 
 
64
 
65
- ## Características técnicas
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
66
 
67
  | Campo | Información verificada |
68
  |---|---|
@@ -74,23 +99,10 @@ Nova Flow busca aprovechar las ventajas de las arquitecturas MoE para ofrecer un
74
  | Tamaño | 16,936,006,912 bytes |
75
  | Parámetros totales | Aproximadamente 8,3B |
76
  | Parámetros activos por token | Aproximadamente 1,5B |
77
- | Arquitectura | Lfm2MoeForCausalLM (MoE) |
78
- | Capas | 24 |
79
- | Expertos | 32 (4 enrutados por token + 2 densos/compartidos) |
80
- | Atención | 32 cabezas Q, 8 cabezas KV |
81
- | Dimensión oculta | 2048 |
82
  | Contexto máximo documentado | Hasta 128,000 tokens |
83
  | Licencia original | LFM Open License v1.0 |
84
 
85
- ## Arquitectura
86
-
87
- Un modelo Dense de 8B utiliza los parámetros correspondientes de su arquitectura durante cada paso de inferencia.
88
-
89
- Un modelo MoE de 8B con aproximadamente 1,5B de parámetros activos selecciona solo determinados expertos para procesar cada token.
90
-
91
- Esto no significa que el modelo necesite almacenar solamente 1,5B de parámetros. Los pesos de los expertos y los demás componentes deben estar disponibles durante la ejecución. Por lo tanto, los requisitos de memoria y almacenamiento no deben confundirse con la cantidad de parámetros activos.
92
-
93
- ## Qué lo diferencia
94
 
95
  - 8B de parámetros totales.
96
  - Aproximadamente 1,5B de parámetros activos por token.
@@ -99,25 +111,21 @@ Esto no significa que el modelo necesite almacenar solamente 1,5B de parámetros
99
  - Diferencia entre capacidad total y cómputo activo.
100
  - Posibilidad de utilizar una arquitectura de mayor tamaño con activación parcial de parámetros.
101
 
102
- ## Comparativa dentro de Nova AI
103
 
104
- | Modelo | Parámetros | Arquitectura | Posicionamiento |
105
  |---|---:|---|---|
106
- | Nova Nano | 350M | Según checkpoint | Ultraeficiencia |
107
- | Nova Mini | 0,6B | Dense | Equilibrio |
108
- | Nova Spark | 0,8B | Según checkpoint | Capacidad compacta |
109
- | **Nova Flow** | ~8B / ~1,5B activos | MoE | Capacidad y activación selectiva |
110
 
111
  ## ¿Qué Nova elegir?
112
 
113
- - Elegir Nano cuando la prioridad sea minimizar el tamaño del modelo y los recursos necesarios.
114
- - Elegir Mini cuando se busque un equilibrio entre tamaño y capacidad.
115
- - Elegir Spark cuando se necesite un modelo compacto de propósito general.
116
- - Elegir Flow cuando se busque una arquitectura MoE con mayor cantidad de parámetros totales y activación selectiva.
117
-
118
- ## Comparativa frente a alternativas
119
-
120
- Nova Flow se posiciona por su arquitectura MoE y la relación entre parámetros totales y activos. Las ventajas comunicables se desprenden de las características verificadas. No se afirma superioridad de rendimiento ni inteligencia sin resultados comparables verificables.
121
 
122
  ## Casos de uso
123
 
@@ -126,10 +134,6 @@ Nova Flow se posiciona por su arquitectura MoE y la relación entre parámetros
126
  - Entornos de experimentación con arquitecturas MoE.
127
  - Desarrollo y pruebas de modelos de mayor tamaño con ejecución selectiva.
128
 
129
- ## Cómo elegir este modelo
130
-
131
- Elegir Nova Flow cuando se busque una arquitectura MoE con mayor cantidad de parámetros totales y activación selectiva de expertos, y se disponga del almacenamiento y la memoria necesarios para los pesos completos.
132
-
133
  ## Instalación y utilización
134
 
135
  ```bash
@@ -142,6 +146,10 @@ tokenizer = AutoTokenizer.from_pretrained('ModernoTech/Nova-Flow', trust_remote_
142
 
143
  La compatibilidad exacta depende de la versión de Transformers y del hardware disponible. La configuración, `generation_config`, tokenizer y chat template se encuentran en el mismo repositorio.
144
 
 
 
 
 
145
  ## Limitaciones
146
 
147
  - Capacidad y rendimiento deben validarse con el runtime y hardware disponibles.
@@ -149,15 +157,11 @@ La compatibilidad exacta depende de la versión de Transformers y del hardware d
149
  - No se publican benchmarks propios verificables; cualquier comparación debe realizarse con pruebas equivalentes.
150
  - No se garantiza compatibilidad universal sin prueba.
151
 
152
- ## Procedencia y licencia
153
 
154
- - Base documentada: `LFM2.5-8B-A1B`.
155
- - Licencia de origen: LFM Open License v1.0.
156
- - Los pesos y la configuración heredada se conservan para compatibilidad.
157
- - Moderno Tech presenta comercialmente el producto bajo la marca Nova sin afirmar que creó el modelo base desde cero.
158
- - Los avisos, atribuciones y condiciones de licencia del origen se conservan.
159
 
160
- ## Información de Moderno Tech
161
 
162
  **NOVA AI**
163
 
 
2
  language:
3
  - es
4
  - en
5
+ pretty_name: Nova Flow — Inteligencia eficiente mediante Mixture of Experts
6
  model_name: Nova Flow
7
  model_creator: Moderno Tech
8
  tags:
 
26
 
27
  **Moderno Tech — Nova AI**
28
 
29
+ ## Inteligencia eficiente mediante Mixture of Experts
30
 
31
+ Nova Flow utiliza una arquitectura Mixture of Experts (MoE) para distribuir el procesamiento entre distintos expertos y activar selectivamente los componentes correspondientes durante la generación de cada token.
32
 
33
+ Su propósito es aprovechar una capacidad total de parámetros elevada sin activar todos los expertos en cada paso de inferencia.
 
 
 
 
34
 
35
  Sitio oficial: https://moderno.com.ar
36
 
 
38
 
39
  Modelo conversacional con arquitectura Mixture of Experts (MoE), publicado en formato Safetensors BF16, orientado a interacción conversacional con activación reducida por token.
40
 
41
+ ## Filosofía y objetivo de diseño
42
+
43
+ Nova Flow busca aprovechar las ventajas de las arquitecturas MoE para ofrecer una capacidad total elevada con activación selectiva de expertos. La filosofía de Nova AI es desarrollar inteligencia artificial eficiente: máxima capacidad útil con menos recursos.
44
+
45
+ Objetivos de diseño:
46
 
47
+ - Aprovechar las ventajas de las arquitecturas MoE.
48
+ - Ofrecer capacidad total elevada con activación selectiva de expertos.
49
+ - Permitir experimentación con arquitecturas de enrutamiento de expertos.
50
+ - Mantener la diferencia clara entre capacidad total y cómputo activo.
51
 
52
  ## Público objetivo
53
 
 
55
  - Usuarios de inteligencia artificial local.
56
  - Aplicaciones que necesitan mayor capacidad de modelo.
57
  - Entornos de experimentación con arquitecturas MoE.
58
+ - Usuarios que desean aprovechar modelos de mayor capacidad sin utilizar una arquitectura densa equivalente.
59
  - Estaciones de trabajo y sistemas que pueden almacenar y ejecutar los pesos necesarios.
60
 
61
+ ## Características principales
62
 
63
+ - Aproximadamente 8.000 millones de parámetros totales.
64
+ - Aproximadamente 1.000 a 1.500 millones de parámetros activos por token.
65
+ - Arquitectura Mixture of Experts.
66
+ - Enrutamiento selectivo de expertos.
67
+ - Diferencia entre parámetros totales y parámetros activos.
68
+ - Eficiencia de cómputo por activación selectiva.
69
+
70
+ ## Arquitectura del modelo
71
+
72
+ Arquitectura Mixture of Experts: el procesamiento se distribuye entre expertos especializados y se activan selectivamente los correspondientes a cada token.
73
 
74
+ Explicación técnica: los parámetros activos representan los componentes que participan en el procesamiento de cada token, no el tamaño total del modelo. Los pesos de los expertos y los restantes componentes deben estar disponibles durante la ejecución. Por eso, los requisitos de memoria y almacenamiento no equivalen a los de un modelo denso de 1B.
75
+
76
+ | Campo | Valor verificado |
77
+ |---|---|
78
+ | Bloques (capas) | 24 |
79
+ | Dimensión oculta | 2048 |
80
+ | Cabezas de atención | 32 |
81
+ | Cabezas KV | 8 |
82
+ | Expertos totales | 32 |
83
+ | Expertos enrutados por token | 4 |
84
+ | Capas densas/compartidas | 2 |
85
+ | Dimensión intermedia MoE | 1,792 |
86
+ | Dimensión intermedia base | 7,168 |
87
+ | Longitud de contexto | 128,000 tokens |
88
+ | Vocabulario | 128,000 tokens |
89
+
90
+ ## Parámetros y configuración
91
 
92
  | Campo | Información verificada |
93
  |---|---|
 
99
  | Tamaño | 16,936,006,912 bytes |
100
  | Parámetros totales | Aproximadamente 8,3B |
101
  | Parámetros activos por token | Aproximadamente 1,5B |
 
 
 
 
 
102
  | Contexto máximo documentado | Hasta 128,000 tokens |
103
  | Licencia original | LFM Open License v1.0 |
104
 
105
+ ## Qué lo caracteriza dentro de Nova AI
 
 
 
 
 
 
 
 
106
 
107
  - 8B de parámetros totales.
108
  - Aproximadamente 1,5B de parámetros activos por token.
 
111
  - Diferencia entre capacidad total y cómputo activo.
112
  - Posibilidad de utilizar una arquitectura de mayor tamaño con activación parcial de parámetros.
113
 
114
+ ## Comparativa interna de la familia Nova
115
 
116
+ | Modelo | Parámetros | Arquitectura | Objetivo |
117
  |---|---:|---|---|
118
+ | Nova Nano | 350M | Arquitectura híbrida (conv + atención) | Ultraeficiencia |
119
+ | Nova Mini | 0,6B | Transformer denso | Equilibrio |
120
+ | Nova Spark | 0,8B | Arquitectura híbrida (atención + SSM) | Capacidad compacta |
121
+ | **Nova Flow** | ~8B / ~1,5B activos | Mixture of Experts | Capacidad con activación selectiva |
122
 
123
  ## ¿Qué Nova elegir?
124
 
125
+ - Nano: cuando la prioridad sea el tamaño mínimo y la utilización de pocos recursos.
126
+ - Mini: cuando se busque equilibrio entre capacidad y eficiencia.
127
+ - Spark: cuando se necesite un modelo compacto de propósito general.
128
+ - Flow: cuando se busque una arquitectura MoE con mayor capacidad total y activación selectiva.
 
 
 
 
129
 
130
  ## Casos de uso
131
 
 
134
  - Entornos de experimentación con arquitecturas MoE.
135
  - Desarrollo y pruebas de modelos de mayor tamaño con ejecución selectiva.
136
 
 
 
 
 
137
  ## Instalación y utilización
138
 
139
  ```bash
 
146
 
147
  La compatibilidad exacta depende de la versión de Transformers y del hardware disponible. La configuración, `generation_config`, tokenizer y chat template se encuentran en el mismo repositorio.
148
 
149
+ ## Requisitos de ejecución
150
+
151
+ El consumo real depende del runtime, el contexto y la configuración. Evaluar RAM y almacenamiento disponible antes de la ejecución. Los pesos completos deben estar disponibles durante la ejecución.
152
+
153
  ## Limitaciones
154
 
155
  - Capacidad y rendimiento deben validarse con el runtime y hardware disponibles.
 
157
  - No se publican benchmarks propios verificables; cualquier comparación debe realizarse con pruebas equivalentes.
158
  - No se garantiza compatibilidad universal sin prueba.
159
 
160
+ ## Licencia y avisos correspondientes
161
 
162
+ La licencia original (LFM Open License v1.0) y las atribuciones obligatorias se conservan en los archivos de licencia y en `THIRD_PARTY_NOTICES/` del repositorio. Moderno Tech mantiene la identidad comercial Nova sin atribuirse la creación del modelo base.
 
 
 
 
163
 
164
+ ## Moderno Tech
165
 
166
  **NOVA AI**
167