t5-neutralization

This model is a fine-tuned version of t5-small on an unknown dataset. It achieves the following results on the evaluation set:

• Loss: 0.0553
• Bleu: 91.0588
• Gen Len: 30.9792

Model description

t5-neutralization es una versión fine-tuned de t5-small, un modelo de texto a texto (text-to-text) de Google basado en la arquitectura Transformer. T5 (Text-To-Text Transfer Transformer) fue preentrenado sobre un corpus masivo en inglés (C4) y está diseñado para abordar múltiples tareas de NLP bajo un mismo marco de entrada-salida de texto. Este modelo ha sido adaptado para la tarea de neutralización de texto, que consiste en transformar oraciones con carga subjetiva, emocional, sesgada o polarizada en versiones más objetivas y neutras, manteniendo el significado semántico original. A diferencia de su contraparte mbart-neutralization, este modelo está orientado principalmente a texto en inglés, dado que t5-small fue preentrenado casi exclusivamente sobre ese idioma.

Intended uses & limitations

Usos previstos:

• Neutralización de texto subjetivo o con sesgo en inglés
• Detección y reducción de sesgo lingüístico en pipelines de NLP
• Normalización del tono en contenido generado por usuarios
• Investigación académica sobre imparcialidad y objetividad en lenguaje natural
• Preprocesamiento de texto para sistemas de recuperación de información o resumen neutral

Limitaciones:

• El modelo base t5-small es relativamente compacto (~60M parámetros), lo que puede limitar su capacidad para manejar oraciones complejas o de alta longitud en comparación con modelos más grandes de la familia T5
• El dataset de entrenamiento no está documentado públicamente, lo que dificulta la reproducibilidad y la evaluación de posibles sesgos en los datos
• El modelo está optimizado principalmente para inglés y no debe usarse para neutralización en otros idiomas sin fine-tuning adicional
• La longitud media de generación (31 tokens) es considerablemente mayor que la del modelo mbart-neutralization (18 tokens), lo que puede indicar que el modelo tiende a generar paráfrasis más extensas
• Un BLEU de ~93.34 es alto pero inferior al del modelo mbart equivalente, lo cual es esperable dado el menor tamaño del modelo base

Training and evaluation data

El modelo fue entrenado sobre un dataset de pares de oraciones compuesto por texto original (con sesgo, subjetividad o carga emocional) y su versión neutralizada en inglés. Los detalles exactos del dataset, incluyendo su fuente, tamaño y metodología de anotación, no están disponibles públicamente. El conjunto fue dividido en particiones de entrenamiento y evaluación, con las métricas reportadas sobre el conjunto de validación.

Training procedure

El modelo fue fine-tuned utilizando la librería Transformers con un enfoque supervisado de secuencia a secuencia. Se empleó mixed precision training (AMP nativo) para acelerar el entrenamiento y reducir el uso de memoria, lo que lo hace más eficiente en GPUs modernas. El prefijo de tarea utilizado con T5 sigue la convención de instrucción en texto plano típica del framework T5.

Training hyperparameters

The following hyperparameters were used during training:

• learning_rate: 0.0005
• train_batch_size: 16
• eval_batch_size: 16
• seed: 42
• optimizer: Use OptimizerNames.ADAMW_TORCH with betas=(0.9,0.999) and epsilon=1e-08 and optimizer_args=No additional optimizer arguments
• lr_scheduler_type: linear
• num_epochs: 3
• mixed_precision_training: Native AMP

Training results

Training Loss	Epoch	Step	Validation Loss	Bleu	Gen Len
No log	1.0	220	0.0712	87.7726	30.6875
No log	2.0	440	0.0627	87.9543	30.6354
0.0994	3.0	660	0.0553	91.0588	30.9792

Framework versions

• Transformers 4.51.2
• Pytorch 2.10.0+cu128
• Datasets 4.0.0
• Tokenizers 0.21.4