course/pr_1213/es/chapter12/1.md

Open R1 para estudiantes

Bienvenido a un recorrido por el mundo de la IA de código abierto con aprendizaje por refuerzo. Este capítulo está pensado para ayudarte a entender el aprendizaje por refuerzo y su papel en los LLM.

También exploraremos Open R1, un proyecto comunitario que busca hacer más accesible la IA avanzada. En concreto, este curso pretende ayudar a estudiantes y personas que están aprendiendo a usar y contribuir a Open R1.

Lo que aprenderás

En este capítulo desglosaremos conceptos complejos en partes manejables y veremos cómo puedes formar parte de este proyecto para conseguir que los LLM razonen sobre problemas complejos.

Los LLM han mostrado un rendimiento excelente en muchas tareas generativas. Sin embargo, hasta hace poco les costaba resolver problemas complejos que requieren razonamiento. Por ejemplo, tienen más dificultades con acertijos o problemas matemáticos que exigen varios pasos.

Open R1 es un proyecto que busca hacer que los LLM razonen sobre problemas complejos. Para ello usa aprendizaje por refuerzo y anima a los LLM a "pensar" y razonar.

En términos sencillos, el modelo se entrena para generar pensamientos además de respuestas, y para estructurar esos pensamientos y respuestas de forma que el usuario pueda manejarlos por separado.

Veamos un ejemplo. Si tuviéramos que resolver el siguiente problema, podríamos pensar así:

Problem: "I have 3 apples and 2 oranges. How many pieces of fruit do I have in total?"

Thought: "I need to add the number of apples and oranges to get the total number of pieces of fruit."

Answer: "5"

Luego podemos estructurar ese pensamiento y esa respuesta para que el usuario las gestione por separado. En tareas de razonamiento, se puede entrenar a los LLM para generar pensamientos y respuestas con el siguiente formato:

I need to add the number of apples and oranges to get the total number of pieces of fruit.
5

Como usuarios, después podemos extraer el pensamiento y la respuesta de la salida del modelo y usarlos para resolver el problema.

Por qué esto importa para estudiantes

Como estudiante, entender Open R1 y el papel del aprendizaje por refuerzo en los LLM es valioso porque:

• Muestra cómo se desarrolla la IA de vanguardia.
• Te da oportunidades prácticas para aprender y contribuir.
• Te ayuda a entender hacia dónde se dirige la tecnología de IA.
• Abre puertas a futuras oportunidades profesionales en IA.

Resumen del capítulo

Este capítulo se divide en cuatro secciones, cada una centrada en un aspecto distinto de Open R1:

1️⃣ Introducción al aprendizaje por refuerzo y su papel en los LLM

Exploraremos los conceptos básicos de Reinforcement Learning (RL, aprendizaje por refuerzo) y su papel en el entrenamiento de LLM.

• ¿Qué es RL?
• ¿Cómo se usa RL en los LLM?
• ¿Qué es DeepSeek R1?
• ¿Cuáles son las innovaciones clave de DeepSeek R1?

2️⃣ Entender el paper de DeepSeek R1

Desglosaremos el paper de investigación que inspiró a Open R1:

• Innovaciones y avances clave.
• El proceso de entrenamiento y la arquitectura.
• Los resultados y su importancia.

3️⃣ Implementar GRPO en TRL

Pasaremos a la práctica con ejemplos de código:

• Cómo usar la librería Transformer Reinforcement Learning (TRL).
• Configurar el entrenamiento con GRPO.

4️⃣ Caso práctico para alinear un modelo

Veremos un caso práctico para alinear un modelo usando Open R1.

• Cómo entrenar un modelo usando GRPO en TRL.
• Compartir tu modelo en el Hugging Face Hub.

Requisitos previos

Para aprovechar mejor este capítulo, ayuda tener:

• Buen dominio de programación en Python.
• Familiaridad con conceptos de machine learning.
• Interés por la IA y los modelos de lenguaje.

No te preocupes si no tienes todo eso todavía: explicaremos los conceptos clave a medida que avancemos.

Si no tienes todos los requisitos previos, revisa este curso desde las unidades 1 hasta la 11.

Cómo usar este capítulo

1. Lee en orden: Las secciones se apoyan unas en otras, así que conviene seguir la secuencia.
2. Toma notas: Anota conceptos clave y preguntas, y compártelos con la comunidad en Discord.
3. Prueba el código: Cuando lleguemos a los ejemplos prácticos, ejecútalos por tu cuenta.
4. Únete a la comunidad: Usa los recursos que proporcionamos para conectar con otras personas que están aprendiendo.

Empecemos a explorar Open R1 y a ver cómo puedes participar en hacer que la IA sea más accesible para todo el mundo.