Buckets:
| # Introducción[[introduction]] | |
| Como viste en el [Capítulo 1](/course/chapter1), los modelos Transformer suelen ser muy grandes. Con millones o decenas de *miles de millones* de parámetros, entrenar y desplegar estos modelos es una tarea complicada. Además, como salen modelos nuevos casi a diario y cada uno tiene su propia implementación, probarlos todos no es nada fácil. | |
| La librería 🤗 Transformers se creó para resolver este problema. Su objetivo es ofrecer una sola API con la que se pueda cargar, entrenar y guardar cualquier modelo Transformer. Las principales características de la librería son: | |
| - **Facilidad de uso**: Descargar, cargar y usar un modelo de PLN de última generación para inferencia puede hacerse en solo dos líneas de código. | |
| - **Flexibilidad**: En esencia, todos los modelos son clases simples de PyTorch `nn.Module` y pueden manejarse como cualquier otro modelo en sus respectivos frameworks de machine learning (ML). | |
| - **Simplicidad**: Apenas se hacen abstracciones en toda la librería. El concepto de "todo en un solo archivo" es fundamental: la pasada hacia delante de un modelo está definida por completo en un único archivo, así que el propio código es entendible y modificable. | |
| Esta última característica hace que 🤗 Transformers sea bastante diferente de otras librerías de ML. Los modelos no se construyen sobre módulos compartidos entre archivos; en cambio, cada modelo tiene sus propias capas. Además de hacer que los modelos sean más accesibles y fáciles de entender, esto te permite experimentar con un modelo sin afectar a los demás. | |
| Este capítulo empieza con un ejemplo de principio a fin donde usamos un modelo y un tokenizador juntos para reproducir la función `pipeline()` presentada en el [Capítulo 1](/course/chapter1). Después hablaremos de la API de modelos: veremos en detalle las clases de modelo y configuración, y te mostraremos cómo cargar un modelo y cómo procesa entradas numéricas para generar predicciones. | |
| Luego veremos la API del tokenizador, que es el otro componente principal de la función `pipeline()`. Los tokenizadores se encargan del primer y último paso del procesamiento: convierten el texto en entradas numéricas para la red neuronal y vuelven a convertirlo en texto cuando hace falta. Por último, te mostraremos cómo enviar varias frases a través de un modelo en un lote preparado y cerraremos con una mirada más de cerca a la función de alto nivel `tokenizer()`. | |
| > [!TIP] | |
| > ⚠️ Para aprovechar todas las funciones disponibles en el Model Hub y en 🤗 Transformers, te recomendamos crear una cuenta. | |
Xet Storage Details
- Size:
- 2.63 kB
- Xet hash:
- b31524dd3b68215b762ecb0c6621a7ea347821cb4f001e81bb799a6ae749d10f
·
Xet efficiently stores files, intelligently splitting them into unique chunks and accelerating uploads and downloads. More info.