Update model card with massive code datasets and improved description

README.md

@@ -7,22 +7,42 @@ tags:
 - programming
 - industries-kor
 - baro
+- text-generation-inference
+datasets:
+- bigcode/the-stack-v2
+- codeparrot/github-code
+- codeparrot/codeparrot-clean
+- bigcode/starcoderdata
+- m-a-p/CodeFeedback-Filtered-Instruction
+- sahil2801/CodeAlpaca-20k
+- MBPP
+- openai_humaneval
 model_name: Baro
 developer: Industrias Kor
 ---
 
-# Baro: Inteligencia Artificial para Programación
+# 🤖 Baro: Inteligencia Artificial para Programación de Próxima Generación
 
-**Baro** es un modelo de lenguaje a gran escala desarrollado desde cero por **Industrias Kor**. Su objetivo principal es asistir en tareas de programación, generación de código y resolución de problemas técnicos en diversos lenguajes.
+**Baro** es un modelo de lenguaje a gran escala (LLM) desarrollado por **Industrias Kor**, diseñado específicamente para la excelencia en el desarrollo de software. A diferencia de los modelos generalistas, Baro ha sido entrenado en un corpus masivo de código fuente para comprender la lógica profunda, la sintaxis y los patrones arquitectónicos de múltiples lenguajes de programación.
 
-## Descripción del Modelo
+## 🚀 Características Principales
 
-Baro utiliza una arquitectura **Transformer decodificador-únicamente**, optimizada para la predicción secuencial de código. A diferencia de otros modelos generales, Baro ha sido diseñado con un enfoque exclusivo en la sintaxis y semántica de los lenguajes de programación.
+- **Arquitectura Optimizada:** Basado en un Transformer Decoder-only de 12 capas con mecanismos de atención mejorados.
+- **Multilingüe:** Soporte nativo para más de 30 lenguajes, incluyendo Python, JavaScript, C++, Rust, Go, Java y SQL.
+- **Enfoque en Código:** Minimiza las alucinaciones en lógica de programación gracias a su pre-entrenamiento especializado.
+- **Eficiencia:** Diseñado para ejecutarse de manera fluida incluso en hardware con recursos limitados.
 
-- **Desarrollado por:** Industrias Kor
-- **Tipo de Modelo:** Transformer Decoder-only
-- **Tarea Principal:** Generación de Código (Code Generation)
-- **Lenguajes Soportados:** Multilingüe (Python, JavaScript, C++, Java, etc.)
+## 📊 Datasets Utilizados (Pre-entrenamiento y Fine-tuning)
+
+Baro se beneficia de la integración de millones de archivos de código y datos de instrucción:
+
+| Dataset | Descripción |
+|---------|-------------|
+| **The Stack v2** | Más de 3 mil millones de archivos de código en 600+ lenguajes. |
+| **GitHub Code** | 115 millones de archivos reales de repositorios de GitHub. |
+| **CodeParrot Clean** | Corpus de Python curado y deduplicado. |
+| **CodeFeedback** | Datos de instrucción filtrados para mejorar la interacción. |
+| **CodeAlpaca** | Instrucciones de programación para fine-tuning. |
 
 ## Arquitectura
 
@@ -36,22 +56,32 @@ La arquitectura de Baro se basa en los siguientes parámetros técnicos:
 | Ventana de Contexto | 2048 tokens |
 | Vocabulario | 50,257 tokens |
 
-## Uso
+## 🛠️ Uso Técnico
 
-Puedes cargar el modelo Baro utilizando la biblioteca `transformers` de Hugging Face:
+Puedes cargar Baro directamente con la librería `transformers`:
 
 ```python
 from transformers import AutoModelForCausalLM, AutoTokenizer
+import torch
 
 model_name = "Darveht/Baro"
 tokenizer = AutoTokenizer.from_pretrained(model_name)
 model = AutoModelForCausalLM.from_pretrained(model_name)
 
-# Ejemplo de generación de código
-prompt = "def calculate_factorial(n):"
+# Ejemplo de generación de una función compleja
+prompt = "def fast_fourier_transform(signal):"
 inputs = tokenizer(prompt, return_tensors="pt")
-outputs = model.generate(**inputs, max_length=50)
-print(tokenizer.decode(outputs[0]))
+
+with torch.no_grad():
+    outputs = model.generate(
+        **inputs, 
+        max_new_tokens=150,
+        temperature=0.2,
+        top_p=0.95,
+        do_sample=True
+    )
+
+print(tokenizer.decode(outputs[0], skip_special_tokens=True))
 ```
 
 ## Entrenamiento
@@ -63,4 +93,4 @@ Baro ha sido pre-entrenado en un corpus masivo de código fuente, enfocado en la
 Este modelo se distribuye bajo la licencia **MIT**.
 
 ---
-Desarrollado con orgullo por **Industrias Kor**.
+Desarrollado con ❤️ por **Industrias Kor**. Baro es un paso hacia la democratización de la asistencia en programación mediante IA.