File size: 2,105 Bytes
3daa71a | 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27 28 29 30 31 32 33 34 35 36 37 38 39 40 41 42 | # ⚖️ BitNet-SCJN-3.2B: Asistente Legal Mexicano (1.58-bit GGUF)
Este modelo es un asistente legal especializado en la **Jurisprudencia de la Suprema Corte de Justicia de la Nación (SCJN)** de México. Utiliza la arquitectura revolucionaria **BitNet b1.58 (ternaria)** para lograr una eficiencia extrema sin sacrificar la precisión en el razonamiento jurídico.
## 🚀 Innovaciones Técnicas
- **Arquitectura:** BitNet b1.58-bit (Pesos ternarios: {-1, 0, 1}).
- **Compresión:** Reducción del tamaño del modelo de ~14GB (FP16) a solo **1.4 GiB**.
- **Inferencia Optimizada:** Totalmente compatible con **TurboQuant** (KV Cache Quantization) y **Flash Attention**, permitiendo procesar contextos legales extensos en hardware de consumo.
- **Formato:** GGUF (optimizado para `llama.cpp` y `bitnet.cpp`).
## 📊 Datos de Entrenamiento
El modelo ha sido fine-tuneado mediante una época completa sobre un dataset curado de:
- **51,272 registros** oficiales de la SCJN.
- Tesis aisladas y jurisprudenciales de la Época actual.
- Estructura de datos optimizada para RAG (Retrieval-Augmented Generation).
## 🛠️ Cómo usar (Inferencia con llama.cpp)
Para obtener el máximo rendimiento y utilizar las optimizaciones de **TurboQuant**, se recomienda el siguiente comando:
```bash
./llama-cli -m asistente_legal_bitnet.gguf \
-p "### Sistema: Eres un Abogado Senior experto en la Jurisprudencia de la SCJN.\n### Consulta: ¿Cuál es el derecho a la privacidad?\n### Dictamen Legal:" \
-n 1024 \
-fa \
-ctk q4_0 -ctv q4_0 \
--temp 0.2 \
--repeat-penalty 1.15
```
### Parámetros Clave:
- `-fa`: Habilita Flash Attention.
- `-ctk q4_0 -ctv q4_0`: Activa la cuantización de caché KV (TurboQuant) para manejar contextos largos de jurisprudencia con un 50% menos de RAM.
## ⚖️ Disclaimer Legal
Este modelo es una herramienta de asistencia y apoyo para profesionales del derecho. Las respuestas generadas deben ser validadas por un abogado titulado y no constituyen asesoría legal vinculante.
---
**Desarrollado con ❤️ por la comunidad de IA Legal Mexicana.**
|