YAML Metadata Warning:empty or missing yaml metadata in repo card

Check out the documentation for more information.

⚖️ BitNet-SCJN-3.2B: Asistente Legal Mexicano (1.58-bit GGUF)

Este modelo es un asistente legal especializado en la Jurisprudencia de la Suprema Corte de Justicia de la Nación (SCJN) de México. Utiliza la arquitectura revolucionaria BitNet b1.58 (ternaria) para lograr una eficiencia extrema sin sacrificar la precisión en el razonamiento jurídico.

🚀 Innovaciones Técnicas

  • Arquitectura: BitNet b1.58-bit (Pesos ternarios: {-1, 0, 1}).
  • Compresión: Reducción del tamaño del modelo de ~14GB (FP16) a solo 1.4 GiB.
  • Inferencia Optimizada: Totalmente compatible con TurboQuant (KV Cache Quantization) y Flash Attention, permitiendo procesar contextos legales extensos en hardware de consumo.
  • Formato: GGUF (optimizado para llama.cpp y bitnet.cpp).

📊 Datos de Entrenamiento

El modelo ha sido fine-tuneado mediante una época completa sobre un dataset curado de:

  • 51,272 registros oficiales de la SCJN.
  • Tesis aisladas y jurisprudenciales de la Época actual.
  • Estructura de datos optimizada para RAG (Retrieval-Augmented Generation).

🛠️ Cómo usar (Inferencia con llama.cpp)

Para obtener el máximo rendimiento y utilizar las optimizaciones de TurboQuant, se recomienda el siguiente comando:

./llama-cli -m asistente_legal_bitnet.gguf \
    -p "### Sistema: Eres un Abogado Senior experto en la Jurisprudencia de la SCJN.\n### Consulta: ¿Cuál es el derecho a la privacidad?\n### Dictamen Legal:" \
    -n 1024 \
    -fa \
    -ctk q4_0 -ctv q4_0 \
    --temp 0.2 \
    --repeat-penalty 1.15

Parámetros Clave:

  • -fa: Habilita Flash Attention.
  • -ctk q4_0 -ctv q4_0: Activa la cuantización de caché KV (TurboQuant) para manejar contextos largos de jurisprudencia con un 50% menos de RAM.

⚖️ Disclaimer Legal

Este modelo es una herramienta de asistencia y apoyo para profesionales del derecho. Las respuestas generadas deben ser validadas por un abogado titulado y no constituyen asesoría legal vinculante.


Desarrollado con ❤️ por la comunidad de IA Legal Mexicana.

Downloads last month
19
GGUF
Model size
3B params
Architecture
llama
Hardware compatibility
Log In to add your hardware

We're not able to determine the quantization variants.

Inference Providers NEW
This model isn't deployed by any Inference Provider. 🙋 Ask for provider support