Buckets:

rtrm's picture
|
download
raw
2.63 kB
# Introducción[[introduction]]
Como viste en el [Capítulo 1](/course/chapter1), los modelos Transformer suelen ser muy grandes. Con millones o decenas de *miles de millones* de parámetros, entrenar y desplegar estos modelos es una tarea complicada. Además, como salen modelos nuevos casi a diario y cada uno tiene su propia implementación, probarlos todos no es nada fácil.
La librería 🤗 Transformers se creó para resolver este problema. Su objetivo es ofrecer una sola API con la que se pueda cargar, entrenar y guardar cualquier modelo Transformer. Las principales características de la librería son:
- **Facilidad de uso**: Descargar, cargar y usar un modelo de PLN de última generación para inferencia puede hacerse en solo dos líneas de código.
- **Flexibilidad**: En esencia, todos los modelos son clases simples de PyTorch `nn.Module` y pueden manejarse como cualquier otro modelo en sus respectivos frameworks de machine learning (ML).
- **Simplicidad**: Apenas se hacen abstracciones en toda la librería. El concepto de "todo en un solo archivo" es fundamental: la pasada hacia delante de un modelo está definida por completo en un único archivo, así que el propio código es entendible y modificable.
Esta última característica hace que 🤗 Transformers sea bastante diferente de otras librerías de ML. Los modelos no se construyen sobre módulos compartidos entre archivos; en cambio, cada modelo tiene sus propias capas. Además de hacer que los modelos sean más accesibles y fáciles de entender, esto te permite experimentar con un modelo sin afectar a los demás.
Este capítulo empieza con un ejemplo de principio a fin donde usamos un modelo y un tokenizador juntos para reproducir la función `pipeline()` presentada en el [Capítulo 1](/course/chapter1). Después hablaremos de la API de modelos: veremos en detalle las clases de modelo y configuración, y te mostraremos cómo cargar un modelo y cómo procesa entradas numéricas para generar predicciones.
Luego veremos la API del tokenizador, que es el otro componente principal de la función `pipeline()`. Los tokenizadores se encargan del primer y último paso del procesamiento: convierten el texto en entradas numéricas para la red neuronal y vuelven a convertirlo en texto cuando hace falta. Por último, te mostraremos cómo enviar varias frases a través de un modelo en un lote preparado y cerraremos con una mirada más de cerca a la función de alto nivel `tokenizer()`.
> [!TIP]
> ⚠️ Para aprovechar todas las funciones disponibles en el Model Hub y en 🤗 Transformers, te recomendamos crear una cuenta.

Xet Storage Details

Size:
2.63 kB
·
Xet hash:
b31524dd3b68215b762ecb0c6621a7ea347821cb4f001e81bb799a6ae749d10f

Xet efficiently stores files, intelligently splitting them into unique chunks and accelerating uploads and downloads. More info.