course/pr_1213/es/chapter1/6.md

Arquitecturas Transformer[[transformer-architectures]]

En las secciones anteriores introdujimos la arquitectura general Transformer y vimos cómo estos modelos pueden resolver diversas tareas. Ahora veremos con más detalle las tres variantes arquitectónicas principales y cuándo conviene usar cada una.

Recuerda que la mayoría de modelos Transformer usan una de tres arquitecturas: solo encoder, solo decoder o encoder-decoder. Entender estas diferencias te ayudará a elegir el modelo adecuado para tu tarea.

Modelos encoder[[encoder-models]]

Los modelos encoder usan solo la parte encoder de la arquitectura Transformer. En cada etapa, las capas de atención pueden acceder a todas las palabras de la oración. Por eso suelen considerarse modelos con atención bidireccional y también se les llama auto-encoding models.

Su preentrenamiento suele consistir en corromper una oración, por ejemplo enmascarando palabras al azar, y pedirle al modelo que reconstruya la secuencia original.

Son especialmente adecuados para tareas que requieren entender la oración completa, como clasificación de oraciones, reconocimiento de entidades y question answering extractivo.

Representantes de esta familia:

• BERT
• DistilBERT
• ModernBERT

Modelos decoder[[decoder-models]]

Los modelos decoder usan solo la parte decoder. Para una palabra dada, las capas de atención solo pueden acceder a las palabras anteriores de la secuencia. Por eso también se llaman auto-regressive models.

Su preentrenamiento suele basarse en predecir la siguiente palabra de la oración. Son especialmente adecuados para tareas de generación de texto.

Representantes de esta familia:

• Hugging Face SmolLM Series
• Meta Llama Series
• Google Gemma Series
• DeepSeek V3

Modern Large Language Models (LLMs)

La mayoría de los Large Language Models modernos usan arquitectura solo decoder. Estos modelos han crecido muchísimo en tamaño y capacidades durante los últimos años.

Normalmente se entrenan en dos fases:

1. Pretraining: el modelo aprende a predecir el siguiente token sobre enormes cantidades de texto.
2. Instruction tuning: el modelo se ajusta para seguir instrucciones y generar respuestas útiles.

Capacidades clave de los LLMs modernos

Capacidad	Descripción	Ejemplo
Generación de texto	Crear texto coherente y relevante	Redactar ensayos, historias o correos
Resumen	Condensar documentos largos	Generar resúmenes ejecutivos
Traducción	Convertir texto entre idiomas	Traducir de inglés a español
Question answering	Responder preguntas factuales	"¿Cuál es la capital de Francia?"
Generación de código	Escribir o completar código	Crear una función a partir de una descripción
Razonamiento	Resolver problemas paso a paso	Problemas matemáticos o lógicos
Few-shot learning	Aprender a partir de unos pocos ejemplos	Clasificar texto tras ver 2 o 3 ejemplos

Puedes experimentar con LLMs de tipo decoder directamente en las páginas de modelos del Hub. Un ejemplo clásico es GPT-2.

Modelos sequence-to-sequence[[sequence-to-sequence-models]]

Los modelos encoder-decoder, también llamados sequence-to-sequence models, usan ambas partes de la arquitectura Transformer. Las capas de atención del encoder pueden acceder a toda la oración de entrada, mientras que las del decoder solo pueden ver las palabras anteriores de la secuencia objetivo.

Su preentrenamiento puede tomar varias formas, aunque suele implicar reconstruir una oración cuya entrada ha sido corrompida de alguna manera. El preentrenamiento de T5, por ejemplo, sustituye spans aleatorios de texto por un único token de máscara y la tarea consiste en predecir ese texto faltante.

Son especialmente adecuados para tareas que consisten en generar nuevas oraciones a partir de una entrada, como resumen, traducción o question answering generativo.

Aplicaciones prácticas

Aplicación	Descripción	Modelo de ejemplo
Traducción automática	Convertir texto entre idiomas	Marian, T5
Resumen automático	Crear resúmenes concisos	BART, T5
Data-to-text generation	Convertir datos estructurados en lenguaje natural	T5
Corrección gramatical	Corregir errores en texto	T5
Question answering	Generar respuestas basadas en contexto	BART, T5

Representantes de esta familia:

• BART
• mBART
• Marian
• T5

Elegir la arquitectura adecuada[[choosing-the-right-architecture]]

Tarea	Arquitectura sugerida	Ejemplos
Clasificación de texto	Encoder	BERT, RoBERTa
Generación de texto	Decoder	GPT, LLaMA
Traducción	Encoder-Decoder	T5, BART
Resumen	Encoder-Decoder	BART, T5
Named entity recognition	Encoder	BERT, RoBERTa
Question answering extractivo	Encoder	BERT, RoBERTa
Question answering generativo	Encoder-Decoder o Decoder	T5, GPT
IA conversacional	Decoder	GPT, LLaMA

La evolución de los LLMs

Los Large Language Models han evolucionado muy rápido en los últimos años y cada generación ha traído mejoras importantes en capacidades.

Mecanismos de atención[[attention-mechanisms]]

La mayoría de modelos Transformer usan atención completa, lo que significa que la matriz de atención es cuadrada. Esto puede convertirse en un cuello de botella computacional cuando las secuencias son largas. Modelos como Longformer y Reformer intentan ser más eficientes usando versiones dispersas de esa matriz.

LSH attention

Reformer usa LSH attention. La idea general es que, en vez de atender a todas las claves posibles, solo merece la pena considerar aquellas que estén cerca de cada consulta. Para decidir qué claves están cerca se emplean funciones hash.

Local attention

Longformer usa local attention. A menudo, el contexto local es suficiente para tomar una decisión sobre un token concreto. Además, algunos tokens reciben atención global para que toda la secuencia pueda conectarse mejor.

Axial positional encodings

Reformer también usa axial positional encodings. En lugar de mantener una gran matriz posicional, la factoriza en matrices más pequeñas para reducir el coste en memoria, lo que facilita trabajar con secuencias muy largas.

Conclusión[[conclusion]]

En esta sección exploramos las tres arquitecturas principales de Transformer y algunos mecanismos de atención especializados. Entender estas diferencias es clave para elegir el modelo adecuado para cada tarea.