JMasr/balidea-safeguard-mental-bert

Balidea Safeguard Mental-BERT (ES/GL Multilingüe)

Modelo de clasificación binaria para detectar contenido de crisis de salud mental (riesgo alto) frente a contenido no crítico, basado en Mental-BERT y ajustado con LoRA.

El modelo está fusionado (merged) y listo para inferencia directa con AutoModelForSequenceClassification.

Capacidades multilingües

• Soporte explícito para Español (ES) y Gallego (GL).
• Entrenamiento multilingüe con mezcla balanceada ES+GL.
• Evaluación reportada en:
  • conjunto combinado,
  • slice ES,
  • slice GL,
  • versión con ruido (test_noisy).

Etiquetas

Según config.json del modelo:

Label ID	Label	Significado
0	safe	Contenido no crítico / informacional
1	crisis	Contenido de crisis de salud mental

Entrenamiento y robustez

PEFT

• LoRA rank: 32
• LoRA alpha: 64
• LoRA dropout: 0.1
• Target modules: query, key, value
• Parámetros entrenables: 1,798,658 / 111,254,788 (~1.62%)

Robustez ante errores de tipado (data sintética)

Se añadió augmentación de ruido textual sintético para mejorar robustez en inputs reales:

• Aplicación: solo train
• Estrategia: duplicación con ratio ~30%
• Operaciones: abreviaciones, sustitución, swap, borrado, repetición
• Evaluación adicional en test_noisy

Métricas nuevas (modelo multilingüe actual)

Fuente: training_report.json del artefacto publicado.

Test combinado (ES+GL)

Métrica	Clean	Noisy
F1	0.9605	0.9653
Recall positiva (crisis)	0.9771	0.9771
Precision positiva (crisis)	0.9744	0.9799
ROC-AUC	0.9950	0.9944
Accuracy	0.9664	0.9704

Slices por idioma (clean)

Slice	F1	Recall+	Precision+	ROC-AUC
ES	0.9444	0.9657	0.9657	0.9953
GL	0.9767	0.9886	0.9830	0.9945

Slices por idioma (noisy)

Slice	F1	Recall+	Precision+	ROC-AUC
ES noisy	0.9629	0.9771	0.9771	0.9945
GL noisy	0.9677	0.9771	0.9828	0.9944

Uso rápido

from transformers import pipeline

clf = pipeline("text-classification", model="JMasr/balidea-safeguard-mental-bert")

print(clf("No puedo más, quiero desaparecer."))
# Esperado: label crisis

print(clf("¿Cuáles son los efectos secundarios del ibuprofeno?"))
# Esperado: label safe

Limitaciones

• Es un clasificador de apoyo y no sustituye evaluación clínica profesional.
• Debe integrarse en una estrategia de seguridad en capas, con derivación y protocolos operativos.

Base del modelo

• Base: mental/mental-bert-base-uncased
• Adaptación: LoRA/PEFT + fusión final para despliegue estándar en Transformers.