README.md

---
language:
- code
license: mit
tags:
- code-generation
- programming
- industries-kor
- baro
- text-generation-inference
datasets:
- bigcode/the-stack-v2
- codeparrot/github-code
- codeparrot/codeparrot-clean
- bigcode/starcoderdata
- m-a-p/CodeFeedback-Filtered-Instruction
- sahil2801/CodeAlpaca-20k
- MBPP
- openai_humaneval
model_name: Baro
developer: Industrias Kor
---

# 🤖 Baro: Inteligencia Artificial para Programación de Próxima Generación

**Baro** es un modelo de lenguaje a gran escala (LLM) desarrollado por **Industrias Kor**, diseñado específicamente para la excelencia en el desarrollo de software. A diferencia de los modelos generalistas, Baro ha sido entrenado en un corpus masivo de código fuente para comprender la lógica profunda, la sintaxis y los patrones arquitectónicos de múltiples lenguajes de programación.

## 🚀 Características Principales

- **Arquitectura Optimizada:** Basado en un Transformer Decoder-only de 12 capas con mecanismos de atención mejorados.
- **Multilingüe:** Soporte nativo para más de 30 lenguajes, incluyendo Python, JavaScript, C++, Rust, Go, Java y SQL.
- **Enfoque en Código:** Minimiza las alucinaciones en lógica de programación gracias a su pre-entrenamiento especializado.
- **Eficiencia:** Diseñado para ejecutarse de manera fluida incluso en hardware con recursos limitados.

## 📊 Datasets Utilizados (Pre-entrenamiento y Fine-tuning)

Baro se beneficia de la integración de millones de archivos de código y datos de instrucción:

| Dataset | Descripción |
|---------|-------------|
| **The Stack v2** | Más de 3 mil millones de archivos de código en 600+ lenguajes. |
| **GitHub Code** | 115 millones de archivos reales de repositorios de GitHub. |
| **CodeParrot Clean** | Corpus de Python curado y deduplicado. |
| **CodeFeedback** | Datos de instrucción filtrados para mejorar la interacción. |
| **CodeAlpaca** | Instrucciones de programación para fine-tuning. |

## Arquitectura

La arquitectura de Baro se basa en los siguientes parámetros técnicos:

| Parámetro | Valor |
|-----------|-------|
| Capas | 12 |
| Cabezas de Atención | 12 |
| Dimensión de Embedding | 768 |
| Ventana de Contexto | 2048 tokens |
| Vocabulario | 50,257 tokens |

## 🛠️ Uso Técnico

Puedes cargar Baro directamente con la librería `transformers`:

```python
from transformers import AutoModelForCausalLM, AutoTokenizer
import torch

model_name = "Darveht/Baro"
tokenizer = AutoTokenizer.from_pretrained(model_name)
model = AutoModelForCausalLM.from_pretrained(model_name)

# Ejemplo de generación de una función compleja
prompt = "def fast_fourier_transform(signal):"
inputs = tokenizer(prompt, return_tensors="pt")

with torch.no_grad():
    outputs = model.generate(
        **inputs, 
        max_new_tokens=150,
        temperature=0.2,
        top_p=0.95,
        do_sample=True
    )

print(tokenizer.decode(outputs[0], skip_special_tokens=True))
```

## Entrenamiento

Baro ha sido pre-entrenado en un corpus masivo de código fuente, enfocado en la precisión sintáctica y la eficiencia algorítmica. El proceso de entrenamiento utiliza técnicas avanzadas de modelado de lenguaje causal (CLM).

## Licencia

Este modelo se distribuye bajo la licencia **MIT**.

---
Desarrollado con ❤️ por **Industrias Kor**. Baro es un paso hacia la democratización de la asistencia en programación mediante IA.