Update README.md

README.md

@@ -1,3 +1,107 @@
----
-license: mit
----
+---
+license: mit
+datasets:
+- sahil2801/CodeAlpaca-20k
+- code_instructions_122k 
+base_model:
+- mistralai/Mistral-7B-Instruct-v0.3
+tags:
+- code
+---
+# Code Specialist 7B  
+
+[![Hugging Face](https://img.shields.io/badge/🤗-Model%20Card-yellow.svg)](https://huggingface.co/)  [![Python](https://img.shields.io/badge/Python-3.10+-blue.svg)](https://www.python.org/)  [![Transformers](https://img.shields.io/badge/Transformers-4.56.0+-purple.svg)](https://huggingface.co/docs/transformers)  
+
+## Descripción  
+
+**Code Specialist 7B** es un modelo de lenguaje basado en **Mistral-7B-Instruct-v0.3**, adaptado mediante **SFT (Supervised Fine-Tuning)** con datasets especializados en **Python y SQL**.  
+El entrenamiento fue realizado por **Ricardo Urdaneta**, con el objetivo de mejorar la capacidad del modelo en **resolución de problemas de programación, data science y desarrollo de software**.  
+
+Este modelo mantiene la arquitectura original de **7B parámetros**, pero incorpora un ajuste fino orientado a código, lo que lo hace más robusto en generación de funciones, queries SQL y respuestas técnicas.  
+
+---
+
+## Modelo base  
+
+- [Mistral-7B-Instruct-v0.3](https://huggingface.co/mistralai/Mistral-7B-Instruct-v0.3)  
+- Arquitectura: Transformer Decoder-only  
+- Parámetros: ~7B  
+
+---
+
+## Dataset utilizado para SFT  
+
+- [CodeAlpaca-20k](https://huggingface.co/datasets/sahil2801/CodeAlpaca-20k)  
+- [code_instructions_122k (alpaca-style)](https://huggingface.co/datasets/TokenBender/code_instructions_122k_alpaca_style)  
+
+Ambos datasets fueron **filtrados a ejemplos de Python y SQL**, con formato de prompts estilo **Alpaca/Mistral**.  
+
+Ejemplo de formato aplicado:  
+
+```
+[INST] Escribe una función en Python que sume dos números. [/INST]  
+def add(a, b):  
+    return a + b  
+```
+
+---
+
+## Entrenamiento  
+
+- **Método:** LoRA + QLoRA → Merge final de pesos (merge_and_unload)  
+- **Frameworks:** transformers, trl, peft, bitsandbytes  
+- **Hardware:** GPU 12GB VRAM (cuantización en 4-bit para entrenamiento)  
+- **Hiperparámetros principales:**  
+  - per_device_train_batch_size=2  
+  - gradient_accumulation_steps=4  
+  - learning_rate=2e-4  
+  - num_train_epochs=1  
+  - max_seq_length=1024  
+
+---
+
+## Uso  
+
+```python
+from transformers import AutoTokenizer, AutoModelForCausalLM  
+
+model_id = "Ricardouchub/Code-Specialist-7B"  
+tok = AutoTokenizer.from_pretrained(model_id)  
+mdl = AutoModelForCausalLM.from_pretrained(model_id, device_map="auto")  
+
+prompt = "[INST] Escribe una función en Python que calcule la media de una lista. [/INST]"  
+inputs = tok(prompt, return_tensors="pt").to(mdl.device)  
+
+out = mdl.generate(**inputs, max_new_tokens=256)  
+print(tok.decode(out[0], skip_special_tokens=True))  
+```
+
+---
+
+## Benchmarks iniciales  
+
+- **Eval simple (Python tasks):** mejora en tareas básicas de programación comparado con el modelo base.  
+- Diseñado para uso en **data analysis, SQL queries y snippets Python**.  
+- Se recomienda evaluar en HumanEval / MBPP para métricas reproducibles.  
+
+---
+
+## Autor  
+
+**Ricardo Urdaneta**  
+- [LinkedIn](https://www.linkedin.com/in/ricardourdanetacastro/)  
+- [GitHub](https://github.com/Ricardouchub)  
+
+---
+
+## Limitaciones  
+
+- El modelo **no garantiza exactitud 100%** en código complejo.  
+- Puede generar respuestas incoherentes en prompts ambiguos.  
+- No ha sido entrenado para seguridad/ciberseguridad.
+
+---
+
+## Licencia  
+
+El modelo se publica con la misma licencia que **Mistral-7B-Instruct-v0.3**: **MIT**