course/pr_1213/es/chapter1/4.md

# ¿Cómo funcionan los Transformers?[[how-do-transformers-work]]

En esta sección veremos la arquitectura de los modelos Transformer y profundizaremos en conceptos como la atención, la arquitectura codificador-decodificador y otros elementos clave.

> [!WARNING]
> 🚀 Aquí subimos el nivel. Esta sección es técnica y detallada, así que no te preocupes si no entiendes todo a la primera. Volveremos sobre estos conceptos más adelante en el curso.

## Un poco de historia de los Transformers[[a-bit-of-transformer-history]]

Aquí tienes algunos hitos de la historia de los modelos Transformer:

La [arquitectura Transformer](https://arxiv.org/abs/1706.03762) se introdujo en junio de 2017. Después llegaron varios modelos muy influyentes, entre ellos GPT, BERT, GPT-2, T5, GPT-3, InstructGPT, Llama, Mistral, Gemma 2 y SmolLM2.

En términos generales, pueden agruparse en tres categorías:

- Modelos tipo GPT, también llamados modelos Transformer _auto-regresivos_.
- Modelos tipo BERT, también llamados modelos Transformer _auto-codificadores_.
- Modelos tipo T5, también llamados modelos Transformer _sequence-to-sequence_.

## Los Transformers son modelos del lenguaje[[transformers-are-language-models]]

Todos los modelos Transformer mencionados antes han sido entrenados como *modelos del lenguaje*. Esto significa que se han entrenado sobre grandes cantidades de texto sin procesar de forma auto-supervisada.

Este tipo de modelo desarrolla una comprensión estadística del lenguaje, pero resulta menos útil para tareas prácticas concretas. Por eso, el modelo preentrenado general se somete después a un proceso llamado *transfer learning* o *fine-tuning*.

Otro ejemplo es *masked language modeling*, donde el modelo predice una palabra enmascarada dentro de la oración.

## Los Transformers son modelos grandes[[transformers-are-big-models]]

Salvo unas pocas excepciones, la estrategia general para lograr mejor rendimiento ha sido aumentar el tamaño de los modelos y la cantidad de datos usados en su preentrenamiento.

Por eso es tan importante compartir modelos del lenguaje: compartir los pesos ya entrenados y construir sobre ellos reduce el coste total de cómputo y la huella de carbono de la comunidad.

## Transfer Learning[[transfer-learning]]

*Pretraining* es el acto de entrenar un modelo desde cero. *Fine-tuning*, por el contrario, es el entrenamiento que se hace **después** de que un modelo haya sido preentrenado.

El ajuste reduce los costes de tiempo, datos, dinero e impacto ambiental. Además, permite iterar más rápido sobre distintas estrategias de entrenamiento.

## Arquitectura Transformer general[[general-transformer-architecture]]

El modelo está compuesto principalmente por dos bloques:

* **Encoder (izquierda)**: recibe una entrada y construye una representación de ella.
* **Decoder (derecha)**: usa la representación generada por el encoder junto con otras entradas para producir una secuencia objetivo.

## Capas de atención[[attention-layers]]

Una característica clave de los modelos Transformer es que están construidos con capas especiales llamadas *attention layers*. Estas capas hacen que el modelo preste atención a ciertas palabras de la oración y menos a otras cuando construye la representación de cada palabra.

## La arquitectura original[[the-original-architecture]]

La arquitectura Transformer se diseñó originalmente para traducción. Durante el entrenamiento, el encoder recibe oraciones en un idioma y el decoder recibe esas mismas oraciones en el idioma objetivo.

## Arquitecturas frente a checkpoints[[architecture-vs-checkpoints]]

* **Arquitectura**: es el esqueleto del modelo.
* **Checkpoint**: es el conjunto de pesos que se carga sobre una arquitectura dada.
* **Modelo**: es un término paraguas menos preciso, porque puede referirse tanto a la arquitectura como al checkpoint.