course/pr_1213/es/chapter1/10.md

Resumen[[summary]]

En este capítulo te introdujiste en los fundamentos de los modelos Transformer, los Large Language Models y su impacto sobre la IA y más allá.

Conceptos clave cubiertos

Procesamiento de lenguaje natural y LLMs

Exploramos qué es el PLN y cómo los Large Language Models han transformado el campo. Aprendiste que:

• el PLN abarca una amplia variedad de tareas, desde clasificación hasta generación.
• los LLMs son modelos potentes entrenados sobre cantidades masivas de texto.
• estos modelos pueden resolver muchas tareas con una única arquitectura.
• a pesar de sus capacidades, tienen limitaciones como alucinaciones y sesgos.

Capacidades de los Transformers

Viste cómo la función pipeline() de 🤗 Transformers facilita usar modelos preentrenados para varias tareas:

• clasificación de texto, clasificación de tokens y question answering.
• generación de texto y resumen.
• traducción y otras tareas sequence-to-sequence.
• reconocimiento de voz y clasificación de imágenes.

Arquitectura Transformer

También repasamos cómo funcionan a alto nivel los modelos Transformer:

• la importancia del mecanismo de atención.
• cómo el transfer learning permite adaptar modelos a tareas concretas.
• las tres variantes arquitectónicas principales: solo encoder, solo decoder y encoder-decoder.

Arquitecturas y aplicaciones

Modelo	Ejemplos	Tareas
Solo encoder	BERT, DistilBERT, ModernBERT	Clasificación de oraciones, NER, question answering extractivo
Solo decoder	GPT, LLaMA, Gemma, SmolLM	Generación de texto, IA conversacional, escritura creativa
Encoder-decoder	BART, T5, Marian, mBART	Resumen, traducción, question answering generativo

Desarrollos modernos en LLMs

También viste avances recientes del área:

• cómo los LLMs han crecido en tamaño y capacidad.
• el enfoque de dos fases de pretraining e instruction tuning.
• mecanismos de atención especializados para secuencias largas.
• conceptos básicos de inferencia y generación.

Aplicaciones prácticas

A lo largo del capítulo viste cómo aplicar estos modelos a problemas reales:

• usar el Hugging Face Hub para encontrar y reutilizar modelos.
• aprovechar la Inference API para probar modelos directamente desde el navegador.
• entender qué tipos de modelos encajan mejor con tareas concretas.

Mirando hacia adelante

Ahora que tienes una base sólida sobre qué son los modelos Transformer y cómo funcionan a alto nivel, ya puedes profundizar en su uso práctico. En los siguientes capítulos aprenderás a:

• cargar y ajustar modelos con la librería Transformers.
• procesar distintos tipos de datos para usarlos como entrada.
• adaptar modelos preentrenados a tareas concretas.
• desplegar modelos en aplicaciones prácticas.