Upload README.md with huggingface_hub
Browse files
README.md
CHANGED
|
@@ -1,3 +1,41 @@
|
|
| 1 |
-
---
|
| 2 |
-
|
| 3 |
-
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
| 1 |
+
# ⚖️ BitNet-SCJN-3.2B: Asistente Legal Mexicano (1.58-bit GGUF)
|
| 2 |
+
|
| 3 |
+
Este modelo es un asistente legal especializado en la **Jurisprudencia de la Suprema Corte de Justicia de la Nación (SCJN)** de México. Utiliza la arquitectura revolucionaria **BitNet b1.58 (ternaria)** para lograr una eficiencia extrema sin sacrificar la precisión en el razonamiento jurídico.
|
| 4 |
+
|
| 5 |
+
## 🚀 Innovaciones Técnicas
|
| 6 |
+
|
| 7 |
+
- **Arquitectura:** BitNet b1.58-bit (Pesos ternarios: {-1, 0, 1}).
|
| 8 |
+
- **Compresión:** Reducción del tamaño del modelo de ~14GB (FP16) a solo **1.4 GiB**.
|
| 9 |
+
- **Inferencia Optimizada:** Totalmente compatible con **TurboQuant** (KV Cache Quantization) y **Flash Attention**, permitiendo procesar contextos legales extensos en hardware de consumo.
|
| 10 |
+
- **Formato:** GGUF (optimizado para `llama.cpp` y `bitnet.cpp`).
|
| 11 |
+
|
| 12 |
+
## 📊 Datos de Entrenamiento
|
| 13 |
+
|
| 14 |
+
El modelo ha sido fine-tuneado mediante una época completa sobre un dataset curado de:
|
| 15 |
+
- **51,272 registros** oficiales de la SCJN.
|
| 16 |
+
- Tesis aisladas y jurisprudenciales de la Época actual.
|
| 17 |
+
- Estructura de datos optimizada para RAG (Retrieval-Augmented Generation).
|
| 18 |
+
|
| 19 |
+
## 🛠️ Cómo usar (Inferencia con llama.cpp)
|
| 20 |
+
|
| 21 |
+
Para obtener el máximo rendimiento y utilizar las optimizaciones de **TurboQuant**, se recomienda el siguiente comando:
|
| 22 |
+
|
| 23 |
+
```bash
|
| 24 |
+
./llama-cli -m asistente_legal_bitnet.gguf \
|
| 25 |
+
-p "### Sistema: Eres un Abogado Senior experto en la Jurisprudencia de la SCJN.\n### Consulta: ¿Cuál es el derecho a la privacidad?\n### Dictamen Legal:" \
|
| 26 |
+
-n 1024 \
|
| 27 |
+
-fa \
|
| 28 |
+
-ctk q4_0 -ctv q4_0 \
|
| 29 |
+
--temp 0.2 \
|
| 30 |
+
--repeat-penalty 1.15
|
| 31 |
+
```
|
| 32 |
+
|
| 33 |
+
### Parámetros Clave:
|
| 34 |
+
- `-fa`: Habilita Flash Attention.
|
| 35 |
+
- `-ctk q4_0 -ctv q4_0`: Activa la cuantización de caché KV (TurboQuant) para manejar contextos largos de jurisprudencia con un 50% menos de RAM.
|
| 36 |
+
|
| 37 |
+
## ⚖️ Disclaimer Legal
|
| 38 |
+
Este modelo es una herramienta de asistencia y apoyo para profesionales del derecho. Las respuestas generadas deben ser validadas por un abogado titulado y no constituyen asesoría legal vinculante.
|
| 39 |
+
|
| 40 |
+
---
|
| 41 |
+
**Desarrollado con ❤️ por la comunidad de IA Legal Mexicana.**
|