| # ⚖️ BitNet-SCJN-3.2B: Asistente Legal Mexicano (1.58-bit GGUF) |
|
|
| Este modelo es un asistente legal especializado en la **Jurisprudencia de la Suprema Corte de Justicia de la Nación (SCJN)** de México. Utiliza la arquitectura revolucionaria **BitNet b1.58 (ternaria)** para lograr una eficiencia extrema sin sacrificar la precisión en el razonamiento jurídico. |
|
|
| ## 🚀 Innovaciones Técnicas |
|
|
| - **Arquitectura:** BitNet b1.58-bit (Pesos ternarios: {-1, 0, 1}). |
| - **Compresión:** Reducción del tamaño del modelo de ~14GB (FP16) a solo **1.4 GiB**. |
| - **Inferencia Optimizada:** Totalmente compatible con **TurboQuant** (KV Cache Quantization) y **Flash Attention**, permitiendo procesar contextos legales extensos en hardware de consumo. |
| - **Formato:** GGUF (optimizado para `llama.cpp` y `bitnet.cpp`). |
|
|
| ## 📊 Datos de Entrenamiento |
|
|
| El modelo ha sido fine-tuneado mediante una época completa sobre un dataset curado de: |
| - **51,272 registros** oficiales de la SCJN. |
| - Tesis aisladas y jurisprudenciales de la Época actual. |
| - Estructura de datos optimizada para RAG (Retrieval-Augmented Generation). |
|
|
| ## 🛠️ Cómo usar (Inferencia con llama.cpp) |
|
|
| Para obtener el máximo rendimiento y utilizar las optimizaciones de **TurboQuant**, se recomienda el siguiente comando: |
|
|
| ```bash |
| ./llama-cli -m asistente_legal_bitnet.gguf \ |
| -p "### Sistema: Eres un Abogado Senior experto en la Jurisprudencia de la SCJN.\n### Consulta: ¿Cuál es el derecho a la privacidad?\n### Dictamen Legal:" \ |
| -n 1024 \ |
| -fa \ |
| -ctk q4_0 -ctv q4_0 \ |
| --temp 0.2 \ |
| --repeat-penalty 1.15 |
| ``` |
|
|
| ### Parámetros Clave: |
| - `-fa`: Habilita Flash Attention. |
| - `-ctk q4_0 -ctv q4_0`: Activa la cuantización de caché KV (TurboQuant) para manejar contextos largos de jurisprudencia con un 50% menos de RAM. |
|
|
| ## ⚖️ Disclaimer Legal |
| Este modelo es una herramienta de asistencia y apoyo para profesionales del derecho. Las respuestas generadas deben ser validadas por un abogado titulado y no constituyen asesoría legal vinculante. |
|
|
| --- |
| **Desarrollado con ❤️ por la comunidad de IA Legal Mexicana.** |
|
|
