course/pr_1213/es/chapter1/10.md

# Resumen[[summary]]

En este capítulo te introdujiste en los fundamentos de los modelos Transformer, los Large Language Models y su impacto sobre la IA y más allá.

## Conceptos clave cubiertos

### Procesamiento de lenguaje natural y LLMs

Exploramos qué es el PLN y cómo los Large Language Models han transformado el campo. Aprendiste que:
- el PLN abarca una amplia variedad de tareas, desde clasificación hasta generación.
- los LLMs son modelos potentes entrenados sobre cantidades masivas de texto.
- estos modelos pueden resolver muchas tareas con una única arquitectura.
- a pesar de sus capacidades, tienen limitaciones como alucinaciones y sesgos.

### Capacidades de los Transformers

Viste cómo la función `pipeline()` de 🤗 Transformers facilita usar modelos preentrenados para varias tareas:
- clasificación de texto, clasificación de tokens y question answering.
- generación de texto y resumen.
- traducción y otras tareas sequence-to-sequence.
- reconocimiento de voz y clasificación de imágenes.

### Arquitectura Transformer

También repasamos cómo funcionan a alto nivel los modelos Transformer:
- la importancia del mecanismo de atención.
- cómo el transfer learning permite adaptar modelos a tareas concretas.
- las tres variantes arquitectónicas principales: solo encoder, solo decoder y encoder-decoder.

### Arquitecturas y aplicaciones

| Modelo           | Ejemplos                                   | Tareas                                                                            |
|-----------------|--------------------------------------------|----------------------------------------------------------------------------------|
| Solo encoder    | BERT, DistilBERT, ModernBERT               | Clasificación de oraciones, NER, question answering extractivo |
| Solo decoder    | GPT, LLaMA, Gemma, SmolLM                  | Generación de texto, IA conversacional, escritura creativa |
| Encoder-decoder | BART, T5, Marian, mBART                    | Resumen, traducción, question answering generativo |

### Desarrollos modernos en LLMs

También viste avances recientes del área:
- cómo los LLMs han crecido en tamaño y capacidad.
- el enfoque de dos fases de pretraining e instruction tuning.
- mecanismos de atención especializados para secuencias largas.
- conceptos básicos de inferencia y generación.

### Aplicaciones prácticas

A lo largo del capítulo viste cómo aplicar estos modelos a problemas reales:
- usar el Hugging Face Hub para encontrar y reutilizar modelos.
- aprovechar la Inference API para probar modelos directamente desde el navegador.
- entender qué tipos de modelos encajan mejor con tareas concretas.

## Mirando hacia adelante

Ahora que tienes una base sólida sobre qué son los modelos Transformer y cómo funcionan a alto nivel, ya puedes profundizar en su uso práctico. En los siguientes capítulos aprenderás a:

- cargar y ajustar modelos con la librería Transformers.
- procesar distintos tipos de datos para usarlos como entrada.
- adaptar modelos preentrenados a tareas concretas.
- desplegar modelos en aplicaciones prácticas.