Ventarys 3 Pro
Modelo de lenguaje ligero fine-tuneado basado en Gemma 2B Instruct, optimizado con Unsloth y cuantizado a 4-bit.
Ventarys 3 Pro es un modelo de lenguaje pequeño (SLM) desarrollado por Juanoto2012, basado en el modelo Gemma 2B Instruct de Google (lanzado en octubre de 2024). Está optimizado con herramientas de Unsloth para entrenamiento e inferencia acelerada, y cuantizado a 4-bit con bitsandbytes para reducir el consumo de recursos al mínimo.
Está diseñado para ejecutarse en equipos con recursos limitados (desde 4 GB de VRAM) y destaca en tareas de generación de texto, seguimiento de instrucciones y razonamiento básico, con mejoras específicas en rendimiento para español respecto al modelo base.
Distribuido bajo licencia MIT, permite uso comercial, modificación y distribución sin restricciones adicionales (siempre cumpliendo con los términos de uso de Gemma de Google).
✨ Características principales
| Característica | Detalle |
|---|---|
| Modelo base | Google Gemma 2B Instruct (octubre 2024) |
| Optimización | Unsloth para fine-tuning e inferencia acelerada, cuantización 4-bit NF4 con bitsandbytes |
| Ventana de contexto | 8,192 tokens (nativa de Gemma 2B) |
| Idiomas soportados | Español (mejorado), inglés, soporte básico para +10 idiomas |
| Consumo de recursos | 4-6 GB de VRAM en inferencia, 2-3 GB en fine-tuning con LoRA |
| Formatos disponibles | Pesos en 4-bit para Hugging Face/Transformers, GGUF (q4_k_m, q5_k_m) para Ollama/llama.cpp |
| Licencia | MIT (compatible con términos de uso de Gemma) |
🚀 Instalación y requisitos
Requisitos mínimos
- Python 3.9 o superior
- PyTorch 2.0 o superior
- 4 GB de VRAM (para inferencia) / 6 GB de VRAM (para fine-tuning)
- (Opcional) bitsandbytes para soporte de cuantización 4-bit
- (Opcional) Unsloth para fine-tuning acelerado
Instalar dependencias
# Para uso estándar con Transformers
pip install torch transformers bitsandbytes accelerate
# Para fine-tuning con Unsloth
pip install unsloth