mbart-neutralization

This model is a fine-tuned version of facebook/mbart-large-50 on an unknown dataset. It achieves the following results on the evaluation set:

• Loss: 0.0092
• Bleu: 98.7913
• Gen Len: 18.5

Model description

mbart-neutralization es una versión fine-tuned de facebook/mbart-large-50, un modelo multilingüe de secuencia a secuencia preentrenado sobre 50 idiomas. Este modelo ha sido adaptado para la tarea de neutralización de texto (text neutralization), cuyo objetivo es transformar oraciones con carga subjetiva, sesgada o polarizada en versiones más neutras, objetivas o formales, preservando el significado original. El modelo es especialmente útil en contextos donde se requiere reducir el sesgo lingüístico, normalizar el tono de textos o estandarizar contenido generado por usuarios.

Intended uses & limitations

Usos previstos:

• Neutralización o desambiguación de texto con carga emocional, política o subjetiva
• Preprocesamiento de textos para sistemas de información neutral
• Normalización de lenguaje en pipelines de NLP
• Investigación en detección y reducción de sesgos en texto

Limitaciones:

• El modelo fue entrenado sobre un dataset específico no documentado públicamente, por lo que su generalización a otros dominios o idiomas puede ser limitada
• Dado que el modelo base (mbart-large-50) es multilingüe, el rendimiento puede variar significativamente entre idiomas según la representación en los datos de entrenamiento
• Un BLEU de ~98.49 sobre el conjunto de evaluación sugiere alta similitud con las referencias, pero puede indicar sobreajuste o bajo nivel de transformación real si el dataset tiene pares muy similares entre entrada y salida
• No recomendado para uso en producción sin validación humana adicional

Training and evaluation data

El modelo fue entrenado sobre un dataset de pares de oraciones compuesto por texto original (con sesgo o subjetividad) y su versión neutralizada. Los detalles exactos del dataset no están disponibles públicamente. El conjunto fue dividido en particiones de entrenamiento y evaluación, con las métricas reportadas sobre el conjunto de validación.

Training procedure

El modelo fue fine-tuned utilizando la librería 🤗 Transformers con un enfoque de aprendizaje supervisado secuencia a secuencia (seq2seq). Se utilizó el tokenizador nativo de mbart-large-50 con los tokens de idioma correspondientes.

Training hyperparameters

The following hyperparameters were used during training:

• learning_rate: 5.6e-05
• train_batch_size: 8
• eval_batch_size: 8
• seed: 42
• optimizer: Use OptimizerNames.ADAMW_TORCH with betas=(0.9,0.999) and epsilon=1e-08 and optimizer_args=No additional optimizer arguments
• lr_scheduler_type: linear
• num_epochs: 2

Training results

Training Loss	Epoch	Step	Validation Loss	Bleu	Gen Len
No log	1.0	440	0.0150	98.593	18.5625
0.2218	2.0	880	0.0092	98.7913	18.5

Framework versions

• Transformers 4.51.2
• Pytorch 2.10.0+cu128
• Datasets 4.0.0
• Tokenizers 0.21.4