course/pr_1213/es/chapter1/9.md

# Sesgos y limitaciones[[bias-and-limitations]]

Si tu intención es usar un modelo preentrenado o una versión ajustada en producción, ten en cuenta que, aunque estos modelos son herramientas potentes, tienen limitaciones. La más importante es que, para permitir el preentrenamiento sobre grandes cantidades de datos, los investigadores suelen raspar todo el contenido que pueden encontrar en internet, tomando tanto lo mejor como lo peor de lo disponible.

Para ilustrarlo rápidamente, volvamos al ejemplo de un pipeline `fill-mask` con el modelo BERT:

```python
from transformers import pipeline

unmasker = pipeline("fill-mask", model="bert-base-uncased")
result = unmasker("This man works as a [MASK].")
print([r["token_str"] for r in result])

result = unmasker("This woman works as a [MASK].")
print([r["token_str"] for r in result])
```

```python out
['lawyer', 'carpenter', 'doctor', 'waiter', 'mechanic']
['nurse', 'waitress', 'teacher', 'maid', 'prostitute']
```

Cuando se le pide que rellene la palabra faltante en estas dos oraciones, el modelo da solo una respuesta neutra en género. Las demás están asociadas con estereotipos de género y, sí, `prostitute` acaba entre las cinco primeras posibilidades asociadas a "woman" y "work". Esto ocurre incluso aunque BERT sea uno de los pocos modelos Transformer que no se construyeron raspando toda internet, sino a partir de datos aparentemente neutrales.

Cuando uses estas herramientas, debes tener presente que el modelo original puede generar contenido sexista, racista u homófobo. Ajustarlo con tus propios datos no hará desaparecer ese sesgo intrínseco.