course/pr_1213/es/chapter1/4.md

¿Cómo funcionan los Transformers?[[how-do-transformers-work]]

En esta sección veremos la arquitectura de los modelos Transformer y profundizaremos en conceptos como la atención, la arquitectura codificador-decodificador y otros elementos clave.

🚀 Aquí subimos el nivel. Esta sección es técnica y detallada, así que no te preocupes si no entiendes todo a la primera. Volveremos sobre estos conceptos más adelante en el curso.

Un poco de historia de los Transformers[[a-bit-of-transformer-history]]

Aquí tienes algunos hitos de la historia de los modelos Transformer:

La arquitectura Transformer se introdujo en junio de 2017. Después llegaron varios modelos muy influyentes, entre ellos GPT, BERT, GPT-2, T5, GPT-3, InstructGPT, Llama, Mistral, Gemma 2 y SmolLM2.

En términos generales, pueden agruparse en tres categorías:

• Modelos tipo GPT, también llamados modelos Transformer auto-regresivos.
• Modelos tipo BERT, también llamados modelos Transformer auto-codificadores.
• Modelos tipo T5, también llamados modelos Transformer sequence-to-sequence.

Los Transformers son modelos del lenguaje[[transformers-are-language-models]]

Todos los modelos Transformer mencionados antes han sido entrenados como modelos del lenguaje. Esto significa que se han entrenado sobre grandes cantidades de texto sin procesar de forma auto-supervisada.

Este tipo de modelo desarrolla una comprensión estadística del lenguaje, pero resulta menos útil para tareas prácticas concretas. Por eso, el modelo preentrenado general se somete después a un proceso llamado transfer learning o fine-tuning.

Otro ejemplo es masked language modeling, donde el modelo predice una palabra enmascarada dentro de la oración.

Los Transformers son modelos grandes[[transformers-are-big-models]]

Salvo unas pocas excepciones, la estrategia general para lograr mejor rendimiento ha sido aumentar el tamaño de los modelos y la cantidad de datos usados en su preentrenamiento.

Por eso es tan importante compartir modelos del lenguaje: compartir los pesos ya entrenados y construir sobre ellos reduce el coste total de cómputo y la huella de carbono de la comunidad.

Transfer Learning[[transfer-learning]]

Pretraining es el acto de entrenar un modelo desde cero. Fine-tuning, por el contrario, es el entrenamiento que se hace después de que un modelo haya sido preentrenado.

El ajuste reduce los costes de tiempo, datos, dinero e impacto ambiental. Además, permite iterar más rápido sobre distintas estrategias de entrenamiento.

Arquitectura Transformer general[[general-transformer-architecture]]

El modelo está compuesto principalmente por dos bloques:

• Encoder (izquierda): recibe una entrada y construye una representación de ella.
• Decoder (derecha): usa la representación generada por el encoder junto con otras entradas para producir una secuencia objetivo.

Capas de atención[[attention-layers]]

Una característica clave de los modelos Transformer es que están construidos con capas especiales llamadas attention layers. Estas capas hacen que el modelo preste atención a ciertas palabras de la oración y menos a otras cuando construye la representación de cada palabra.

La arquitectura original[[the-original-architecture]]

La arquitectura Transformer se diseñó originalmente para traducción. Durante el entrenamiento, el encoder recibe oraciones en un idioma y el decoder recibe esas mismas oraciones en el idioma objetivo.

Arquitecturas frente a checkpoints[[architecture-vs-checkpoints]]

• Arquitectura: es el esqueleto del modelo.
• Checkpoint: es el conjunto de pesos que se carga sobre una arquitectura dada.
• Modelo: es un término paraguas menos preciso, porque puede referirse tanto a la arquitectura como al checkpoint.