course/pr_1213/es/chapter12/2.md

# Introducción al aprendizaje por refuerzo y su papel en los LLM

Bienvenido a la primera página.

Vamos a comenzar nuestro recorrido por el mundo del Reinforcement Learning (RL, aprendizaje por refuerzo) y veremos cómo está cambiando la forma en que entrenamos modelos de lenguaje como los que quizá uses a diario.

> [!TIP]
> En este capítulo nos centramos en el aprendizaje por refuerzo para modelos de lenguaje. Sin embargo, el aprendizaje por refuerzo es un campo amplio con muchas aplicaciones más allá de los modelos de lenguaje. Si te interesa profundizar, revisa el [curso de Deep Reinforcement Learning](https://huggingface.co/courses/deep-rl-course/en/unit1/introduction).

Esta página te dará una introducción clara y amigable a RL, incluso si nunca te lo has encontrado antes. Desglosaremos las ideas fundamentales y veremos por qué RL se está volviendo tan importante en el campo de los Large Language Models (LLM).

## ¿Qué es Reinforcement Learning (RL)?

Imagina que estás entrenando a un perro. Quieres enseñarle a sentarse. Podrías decir "¡Siéntate!" y, si el perro se sienta, le das un premio y lo felicitas. Si no se sienta, puedes guiarlo con suavidad o simplemente volver a intentarlo. Con el tiempo, el perro aprende a asociar sentarse con una recompensa positiva. En aprendizaje por refuerzo, a esta retroalimentación la llamamos **recompensa**.

Esa es, en pocas palabras, la idea básica detrás del Reinforcement Learning. En lugar de un perro, tenemos un **modelo de lenguaje** y, en aprendizaje por refuerzo, lo llamamos un **agente**. En lugar de ti, tenemos el **entorno**, que le da retroalimentación.

![Proceso de términos de RL](https://huggingface.co/reasoning-course/images/resolve/main/grpo/3.jpg)

Desglosemos las piezas clave de RL:

### Agente

Es quien aprende. En el ejemplo del perro, el perro es el agente. En el contexto de los LLM, el propio LLM se convierte en el agente que queremos entrenar. El agente toma decisiones y aprende del entorno y de las recompensas.

### Entorno

Es el mundo en el que vive e interactúa el agente. Para el perro, el entorno es tu casa y tú. Para un LLM, el entorno es más abstracto: pueden ser las personas usuarias con las que interactúa o un escenario simulado. El entorno proporciona retroalimentación al agente.

### Acción

Son las decisiones que el agente puede tomar en el entorno. Las acciones del perro son cosas como sentarse, ponerse de pie o ladrar. Para un LLM, las acciones pueden ser generar palabras en una frase, elegir qué respuesta dar o decidir cómo responder en una conversación.

### Recompensa

Es la retroalimentación que el entorno da al agente después de una acción. Las recompensas suelen expresarse como números.

Las **recompensas positivas** son como premios y elogios: le dicen al agente que hizo algo bien.

Las **recompensas negativas** o penalizaciones son como un "no" suave: le dicen al agente que esa acción no fue adecuada y que debería probar otra cosa. En el ejemplo del perro, el premio es la recompensa.

En un LLM, las recompensas se diseñan para reflejar lo bien que el modelo realiza una tarea concreta: por ejemplo, cuán útil, veraz o inocua es su respuesta.

### Política

Es la estrategia del agente para elegir acciones. Es como la comprensión del perro de lo que debe hacer cuando le dices "¡Siéntate!". En RL, la política es lo que realmente queremos aprender y mejorar. Es un conjunto de reglas o una función que le dice al agente qué acción tomar en distintas situaciones. Al principio puede ser aleatoria, pero con el tiempo mejora para elegir acciones que lleven a recompensas más altas.

## El proceso de RL: prueba y error

![Proceso de RL](https://huggingface.co/reasoning-course/images/resolve/main/grpo/1.jpg)

El aprendizaje por refuerzo ocurre mediante un proceso de prueba y error:

| Paso | Proceso | Descripción |
|------|---------|-------------|
| 1. Observación | El agente observa el entorno | El agente incorpora información sobre su estado actual y su entorno |
| 2. Acción | El agente realiza una acción según su política actual | Usando su estrategia aprendida, el agente decide qué hacer después |
| 3. Retroalimentación | El entorno le da una recompensa al agente | El agente recibe retroalimentación sobre si su acción fue buena o mala |
| 4. Aprendizaje | El agente actualiza su política según la recompensa | El agente ajusta su estrategia, reforzando acciones que llevaron a recompensas altas y evitando las que llevaron a recompensas bajas |
| 5. Iteración | Repetir el proceso | Este ciclo continúa y permite que el agente mejore continuamente |

Piensa en aprender a montar en bicicleta. Al principio puedes tambalearte y caerte. Pero cuando logras mantener el equilibrio y pedalear con suavidad, obtienes retroalimentación positiva. Vas ajustando tus acciones según esa retroalimentación hasta que aprendes a montar bien. RL es parecido: se trata de aprender mediante interacción y retroalimentación.

## El papel de RL en los Large Language Models (LLM)

Ahora bien, ¿por qué RL es tan importante para los Large Language Models?

Entrenar LLM realmente buenos es complicado. Podemos entrenarlos con grandes cantidades de texto de internet y se vuelven muy buenos prediciendo la siguiente palabra de una frase. Así aprenden a generar texto fluido y gramaticalmente correcto, como vimos en el [capítulo 2](/course/chapter2/1).

Pero ser fluido no basta. Queremos que nuestros LLM sean algo más que modelos que encadenan palabras. Queremos que sean:

* **Útiles:** que proporcionen información relevante y útil.
* **Inofensivos:** que eviten generar contenido tóxico, sesgado o dañino.
* **Alineados con las preferencias humanas:** que respondan de formas que las personas perciban como naturales, útiles e interesantes.

Los métodos de preentrenamiento de LLM, que dependen sobre todo de predecir la siguiente palabra, a veces se quedan cortos en estos aspectos.

Aunque el entrenamiento supervisado es excelente para producir salidas estructuradas, puede ser menos efectivo para producir respuestas útiles, inocuas y alineadas. Exploramos el entrenamiento supervisado en el [capítulo 11](/course/chapter11/1).

Los modelos ajustados pueden generar texto fluido y estructurado que siga siendo incorrecto en términos factuales, sesgado o poco útil para la pregunta real de la persona usuaria.

**Aquí entra en juego Reinforcement Learning.** RL nos da una manera de ajustar esos LLM preentrenados para acercarlos mejor a estas cualidades deseadas.

## Reinforcement Learning from Human Feedback (RLHF)

Una técnica muy popular para alinear modelos de lenguaje es **Reinforcement Learning from Human Feedback (RLHF)**. En RLHF, usamos retroalimentación humana como sustituto de la señal de recompensa. Funciona así:

1. **Obtener preferencias humanas:** podemos pedir a personas que comparen distintas respuestas generadas por el LLM para un mismo prompt y nos digan cuál prefieren.
2. **Entrenar un modelo de recompensa:** usamos esos datos para entrenar un modelo separado llamado **reward model**. Ese modelo aprende a puntuar respuestas según utilidad, inocuidad y alineación con preferencias humanas.
3. **Ajustar el LLM con RL:** después usamos el reward model como entorno para nuestro agente LLM. El modelo genera respuestas y el reward model las puntúa.

![Concepto básico de RL](https://huggingface.co/reasoning-course/images/resolve/main/grpo/2.jpg)

Desde una perspectiva general, estos son algunos beneficios de usar RL en LLM:

| Beneficio | Descripción |
|---------|-------------|
| Mayor control | RL permite tener más control sobre el tipo de texto que generan los LLM y guiarlos hacia objetivos concretos |
| Mejor alineación con valores humanos | RLHF ayuda a alinear los LLM con preferencias humanas complejas y subjetivas |
| Mitigación de comportamientos indeseables | RL puede usarse para reducir lenguaje tóxico, desinformación o sesgos |

Reinforcement Learning from Human Feedback se ha usado para entrenar muchos de los LLM más populares de hoy, como GPT-4, Gemini y R1 de DeepSeek. Hay muchas técnicas de RLHF con distintos grados de complejidad. En este capítulo nos centraremos en Group Relative Policy Optimization (GRPO), una técnica que ha demostrado ser efectiva para entrenar LLM útiles, inocuos y alineados con preferencias humanas.

## ¿Por qué deberíamos prestar atención a GRPO?

Hay muchas técnicas de RLHF, pero este curso se centra en GRPO porque representa un avance importante en aprendizaje por refuerzo para modelos de lenguaje.

Consideremos brevemente otras dos técnicas populares:

- Proximal Policy Optimization (PPO)
- Direct Preference Optimization (DPO)

Proximal Policy Optimization (PPO) fue una de las primeras técnicas muy efectivas para RLHF. Usa un método de gradiente de política para actualizar la política según la recompensa de un reward model separado.

Direct Preference Optimization (DPO) apareció después como una técnica más simple que elimina la necesidad de un reward model separado al usar directamente datos de preferencias. En esencia, formula el problema como una tarea de clasificación entre respuestas elegidas y rechazadas.

> [!TIP]
> DPO y PPO son algoritmos complejos de aprendizaje por refuerzo por derecho propio y no los cubriremos en este curso. Si quieres profundizar, revisa estos recursos:
>
> - [Proximal Policy Optimization](https://huggingface.co/docs/trl/main/en/ppo_trainer)
> - [Direct Preference Optimization](https://huggingface.co/docs/trl/main/en/dpo_trainer)

A diferencia de DPO y PPO, GRPO agrupa muestras similares y las compara como grupo. Este enfoque proporciona gradientes más estables y mejores propiedades de convergencia.

GRPO no usa datos de preferencias como DPO, sino que compara grupos de muestras similares usando una señal de recompensa proveniente de un modelo o de una función.

GRPO es flexible en cómo obtiene esas señales de recompensa: puede funcionar con un reward model, como PPO, pero no lo necesita estrictamente. Por ejemplo, podríamos usar una función de longitud para recompensar respuestas más cortas, un solucionador matemático para verificar una solución o una función factual para premiar respuestas correctas.

---

Has completado el Módulo 1. Ahora ya tienes una introducción sólida al aprendizaje por refuerzo y a su papel en el futuro de los LLM. Entiendes los conceptos básicos de RL, por qué se usa en LLM y ya conoces GRPO, un algoritmo clave en este espacio.

En el siguiente módulo entraremos en el paper de DeepSeek R1 para ver estos conceptos en acción.

## Quiz

### 1. ¿Cuáles son los componentes clave del Reinforcement Learning?

### 2. ¿Cuál es la principal ventaja de RLHF para entrenar modelos de lenguaje?

### 3. En el contexto de RL para LLM, ¿qué representa una acción?

### 4. ¿Cuál es el papel de la recompensa en el entrenamiento RL de modelos de lenguaje?

### 5. ¿Qué es una recompensa en el contexto de RL para LLM?