JESUSDAVID23/abia-3b

Abia 3B — Model Soup · 14 cuentas mergeadas

Neuralabs Solutions · Jesus Cantillo

Modelo de lenguaje causal de 3.03B parámetros. Arquitectura 100% propia — Sin LLaMA — Sin dependencias de Meta.

Último merge

• Cuentas incluidas: [6, 7, 8, 11, 12, 13, 14, 15, 16, 17, 18, 19, 20, 21]
• Modelos promediados: 14
• Total tokens procesados: 317,644,800
• Total rondas acumuladas: 352
• Wikipedia ES hasta: artículo 317,000
• Wikipedia EN hasta: artículo 317,000
• CC100 ES hasta: posición 317,000

Arquitectura

• Parámetros: 3.03B propios
• Capas: 26 transformer decoder layers
• Atención: GQA (32 Q-heads / 8 KV-heads) con SDPA/FlashAttention
• FFN: SwiGLU
• Posicional: RoPE
• Normalización: RMSNorm