course/pr_1213/es/chapter2/1.md

Introducción[[introduction]]

Como viste en el Capítulo 1, los modelos Transformer suelen ser muy grandes. Con millones o decenas de miles de millones de parámetros, entrenar y desplegar estos modelos es una tarea complicada. Además, como salen modelos nuevos casi a diario y cada uno tiene su propia implementación, probarlos todos no es nada fácil.

La librería 🤗 Transformers se creó para resolver este problema. Su objetivo es ofrecer una sola API con la que se pueda cargar, entrenar y guardar cualquier modelo Transformer. Las principales características de la librería son:

• Facilidad de uso: Descargar, cargar y usar un modelo de PLN de última generación para inferencia puede hacerse en solo dos líneas de código.
• Flexibilidad: En esencia, todos los modelos son clases simples de PyTorch nn.Module y pueden manejarse como cualquier otro modelo en sus respectivos frameworks de machine learning (ML).
• Simplicidad: Apenas se hacen abstracciones en toda la librería. El concepto de "todo en un solo archivo" es fundamental: la pasada hacia delante de un modelo está definida por completo en un único archivo, así que el propio código es entendible y modificable.

Esta última característica hace que 🤗 Transformers sea bastante diferente de otras librerías de ML. Los modelos no se construyen sobre módulos compartidos entre archivos; en cambio, cada modelo tiene sus propias capas. Además de hacer que los modelos sean más accesibles y fáciles de entender, esto te permite experimentar con un modelo sin afectar a los demás.

Este capítulo empieza con un ejemplo de principio a fin donde usamos un modelo y un tokenizador juntos para reproducir la función pipeline() presentada en el Capítulo 1. Después hablaremos de la API de modelos: veremos en detalle las clases de modelo y configuración, y te mostraremos cómo cargar un modelo y cómo procesa entradas numéricas para generar predicciones.

Luego veremos la API del tokenizador, que es el otro componente principal de la función pipeline(). Los tokenizadores se encargan del primer y último paso del procesamiento: convierten el texto en entradas numéricas para la red neuronal y vuelven a convertirlo en texto cuando hace falta. Por último, te mostraremos cómo enviar varias frases a través de un modelo en un lote preparado y cerraremos con una mirada más de cerca a la función de alto nivel tokenizer().

⚠️ Para aprovechar todas las funciones disponibles en el Model Hub y en 🤗 Transformers, te recomendamos crear una cuenta.