marneyra commited on
Commit
d293a74
·
verified ·
1 Parent(s): e3e6ebf

Update README.md

Browse files
Files changed (1) hide show
  1. README.md +19 -4
README.md CHANGED
@@ -25,18 +25,33 @@ It achieves the following results on the evaluation set:
25
 
26
  ## Model description
27
 
28
- More information needed
29
-
30
  ## Intended uses & limitations
31
 
32
- More information needed
 
 
 
 
 
 
 
 
 
 
 
 
 
 
33
 
34
  ## Training and evaluation data
35
 
36
- More information needed
37
 
38
  ## Training procedure
39
 
 
 
40
  ### Training hyperparameters
41
 
42
  The following hyperparameters were used during training:
 
25
 
26
  ## Model description
27
 
28
+ t5-neutralization es una versión fine-tuned de t5-small, un modelo de texto a texto (text-to-text) de Google basado en la arquitectura Transformer. T5 (Text-To-Text Transfer Transformer) fue preentrenado sobre un corpus masivo en inglés (C4) y está diseñado para abordar múltiples tareas de NLP bajo un mismo marco de entrada-salida de texto. Este modelo ha sido adaptado para la tarea de neutralización de texto, que consiste en transformar oraciones con carga subjetiva, emocional, sesgada o polarizada en versiones más objetivas y neutras, manteniendo el significado semántico original. A diferencia de su contraparte mbart-neutralization, este modelo está orientado principalmente a texto en inglés, dado que t5-small fue preentrenado casi exclusivamente sobre ese idioma.
 
29
  ## Intended uses & limitations
30
 
31
+ Usos previstos:
32
+
33
+ - Neutralización de texto subjetivo o con sesgo en inglés
34
+ - Detección y reducción de sesgo lingüístico en pipelines de NLP
35
+ - Normalización del tono en contenido generado por usuarios
36
+ - Investigación académica sobre imparcialidad y objetividad en lenguaje natural
37
+ - Preprocesamiento de texto para sistemas de recuperación de información o resumen neutral
38
+
39
+ Limitaciones:
40
+
41
+ - El modelo base t5-small es relativamente compacto (~60M parámetros), lo que puede limitar su capacidad para manejar oraciones complejas o de alta longitud en comparación con modelos más grandes de la familia T5
42
+ - El dataset de entrenamiento no está documentado públicamente, lo que dificulta la reproducibilidad y la evaluación de posibles sesgos en los datos
43
+ - El modelo está optimizado principalmente para inglés y no debe usarse para neutralización en otros idiomas sin fine-tuning adicional
44
+ - La longitud media de generación (31 tokens) es considerablemente mayor que la del modelo mbart-neutralization (18 tokens), lo que puede indicar que el modelo tiende a generar paráfrasis más extensas
45
+ - Un BLEU de ~93.34 es alto pero inferior al del modelo mbart equivalente, lo cual es esperable dado el menor tamaño del modelo base
46
 
47
  ## Training and evaluation data
48
 
49
+ El modelo fue entrenado sobre un dataset de pares de oraciones compuesto por texto original (con sesgo, subjetividad o carga emocional) y su versión neutralizada en inglés. Los detalles exactos del dataset, incluyendo su fuente, tamaño y metodología de anotación, no están disponibles públicamente. El conjunto fue dividido en particiones de entrenamiento y evaluación, con las métricas reportadas sobre el conjunto de validación.
50
 
51
  ## Training procedure
52
 
53
+ El modelo fue fine-tuned utilizando la librería Transformers con un enfoque supervisado de secuencia a secuencia. Se empleó mixed precision training (AMP nativo) para acelerar el entrenamiento y reducir el uso de memoria, lo que lo hace más eficiente en GPUs modernas. El prefijo de tarea utilizado con T5 sigue la convención de instrucción en texto plano típica del framework T5.
54
+
55
  ### Training hyperparameters
56
 
57
  The following hyperparameters were used during training: