Buckets:

hf-doc-build
/

doc-dev

Files
xet
hf-doc-build/doc-dev / course /pr_1355 /es /chapter12 /2.html
HuggingFaceDocBuilder
20 days ago
download
raw
50.1 kB
<meta charset="utf-8" /><meta name="hf:doc:metadata" content="{&quot;title&quot;:&quot;Introducción al aprendizaje por refuerzo y su papel en los LLMs&quot;,&quot;local&quot;:&quot;introduccion-al-aprendizaje-por-refuerzo-y-su-papel-en-los-llms&quot;,&quot;sections&quot;:[{&quot;title&quot;:&quot;¿Qué es el aprendizaje por refuerzo (RL)?&quot;,&quot;local&quot;:&quot;qué-es-el-aprendizaje-por-refuerzo-rl&quot;,&quot;sections&quot;:[{&quot;title&quot;:&quot;Agente ( Agent )&quot;,&quot;local&quot;:&quot;agente--agent-&quot;,&quot;sections&quot;:[],&quot;depth&quot;:3},{&quot;title&quot;:&quot;Entorno ( Environment )&quot;,&quot;local&quot;:&quot;entorno--environment-&quot;,&quot;sections&quot;:[],&quot;depth&quot;:3},{&quot;title&quot;:&quot;Acción ( Action )&quot;,&quot;local&quot;:&quot;acción--action-&quot;,&quot;sections&quot;:[],&quot;depth&quot;:3},{&quot;title&quot;:&quot;Recompensa ( Reward )&quot;,&quot;local&quot;:&quot;recompensa--reward-&quot;,&quot;sections&quot;:[],&quot;depth&quot;:3},{&quot;title&quot;:&quot;Política ( Policy )&quot;,&quot;local&quot;:&quot;política--policy-&quot;,&quot;sections&quot;:[],&quot;depth&quot;:3}],&quot;depth&quot;:2},{&quot;title&quot;:&quot;El proceso de RL: Ensayo y error&quot;,&quot;local&quot;:&quot;el-proceso-de-rl-ensayo-y-error&quot;,&quot;sections&quot;:[],&quot;depth&quot;:2},{&quot;title&quot;:&quot;El papel del RL en los Modelos Grandes de Lenguaje (LLMs)&quot;,&quot;local&quot;:&quot;el-papel-del-rl-en-los-modelos-grandes-de-lenguaje-llms&quot;,&quot;sections&quot;:[],&quot;depth&quot;:2},{&quot;title&quot;:&quot;Aprendizaje por refuerzo a partir de retroalimentación humana (RLHF)&quot;,&quot;local&quot;:&quot;aprendizaje-por-refuerzo-a-partir-de-retroalimentación-humana-rlhf&quot;,&quot;sections&quot;:[],&quot;depth&quot;:2},{&quot;title&quot;:&quot;¿Por qué debería importarnos GRPO ( Group Relative Policy Optimization )?&quot;,&quot;local&quot;:&quot;por-qué-debería-importarnos-grpo--group-relative-policy-optimization-&quot;,&quot;sections&quot;:[],&quot;depth&quot;:2},{&quot;title&quot;:&quot;Cuestionario&quot;,&quot;local&quot;:&quot;cuestionario&quot;,&quot;sections&quot;:[{&quot;title&quot;:&quot;1. ¿Cuáles son los componentes clave del Aprendizaje por Refuerzo?&quot;,&quot;local&quot;:&quot;1-cuáles-son-los-componentes-clave-del-aprendizaje-por-refuerzo&quot;,&quot;sections&quot;:[],&quot;depth&quot;:3},{&quot;title&quot;:&quot;2. ¿Cuál es la principal ventaja de RLHF para el entrenamiento de modelos de lenguaje?&quot;,&quot;local&quot;:&quot;2-cuál-es-la-principal-ventaja-de-rlhf-para-el-entrenamiento-de-modelos-de-lenguaje&quot;,&quot;sections&quot;:[],&quot;depth&quot;:3},{&quot;title&quot;:&quot;3. En el contexto de RL para LLMs, ¿qué representa una “acción”?&quot;,&quot;local&quot;:&quot;3-en-el-contexto-de-rl-para-llms-qué-representa-una-acción&quot;,&quot;sections&quot;:[],&quot;depth&quot;:3},{&quot;title&quot;:&quot;4. ¿Cuál es el papel de la recompensa en el entrenamiento con RL de modelos de lenguaje?&quot;,&quot;local&quot;:&quot;4-cuál-es-el-papel-de-la-recompensa-en-el-entrenamiento-con-rl-de-modelos-de-lenguaje&quot;,&quot;sections&quot;:[],&quot;depth&quot;:3},{&quot;title&quot;:&quot;5. ¿Qué es una recompensa en el contexto de RL para LLMs?&quot;,&quot;local&quot;:&quot;5-qué-es-una-recompensa-en-el-contexto-de-rl-para-llms&quot;,&quot;sections&quot;:[],&quot;depth&quot;:3}],&quot;depth&quot;:2}],&quot;depth&quot;:1}"/>
		<link href="/docs/course/pr_1355/es/_app/immutable/entry/start.T3MdRQ4G.js" rel="modulepreload">
		<link href="/docs/course/pr_1355/es/_app/immutable/chunks/CivBXi9B.js" rel="modulepreload">
		<link href="/docs/course/pr_1355/es/_app/immutable/chunks/aP6dK4KL.js" rel="modulepreload">
		<link href="/docs/course/pr_1355/es/_app/immutable/entry/app.SbMH_Gmo.js" rel="modulepreload">
		<link href="/docs/course/pr_1355/es/_app/immutable/chunks/BHbZrLhT.js" rel="modulepreload">
		<link href="/docs/course/pr_1355/es/_app/immutable/chunks/WRTwIY3l.js" rel="modulepreload">
		<link href="/docs/course/pr_1355/es/_app/immutable/chunks/BCjy32dI.js" rel="modulepreload">
		<link href="/docs/course/pr_1355/es/_app/immutable/chunks/DsnmJJEf.js" rel="modulepreload">
		<link href="/docs/course/pr_1355/es/_app/immutable/nodes/0.fyWjN1ae.js" rel="modulepreload">
		<link href="/docs/course/pr_1355/es/_app/immutable/chunks/DgfoQnTk.js" rel="modulepreload">
		<link href="/docs/course/pr_1355/es/_app/immutable/nodes/14.BxNJHCkc.js" rel="modulepreload">
		<link href="/docs/course/pr_1355/es/_app/immutable/chunks/Bp_5I6pm.js" rel="modulepreload">
		<link href="/docs/course/pr_1355/es/_app/immutable/chunks/DoT0wG71.js" rel="modulepreload">
		<link href="/docs/course/pr_1355/es/_app/immutable/chunks/W9J4dBtK.js" rel="modulepreload">
		<!--ygo2hc--><meta name="hf:doc:metadata" content="{&quot;title&quot;:&quot;Introducción al aprendizaje por refuerzo y su papel en los LLMs&quot;,&quot;local&quot;:&quot;introduccion-al-aprendizaje-por-refuerzo-y-su-papel-en-los-llms&quot;,&quot;sections&quot;:[{&quot;title&quot;:&quot;¿Qué es el aprendizaje por refuerzo (RL)?&quot;,&quot;local&quot;:&quot;qué-es-el-aprendizaje-por-refuerzo-rl&quot;,&quot;sections&quot;:[{&quot;title&quot;:&quot;Agente ( Agent )&quot;,&quot;local&quot;:&quot;agente--agent-&quot;,&quot;sections&quot;:[],&quot;depth&quot;:3},{&quot;title&quot;:&quot;Entorno ( Environment )&quot;,&quot;local&quot;:&quot;entorno--environment-&quot;,&quot;sections&quot;:[],&quot;depth&quot;:3},{&quot;title&quot;:&quot;Acción ( Action )&quot;,&quot;local&quot;:&quot;acción--action-&quot;,&quot;sections&quot;:[],&quot;depth&quot;:3},{&quot;title&quot;:&quot;Recompensa ( Reward )&quot;,&quot;local&quot;:&quot;recompensa--reward-&quot;,&quot;sections&quot;:[],&quot;depth&quot;:3},{&quot;title&quot;:&quot;Política ( Policy )&quot;,&quot;local&quot;:&quot;política--policy-&quot;,&quot;sections&quot;:[],&quot;depth&quot;:3}],&quot;depth&quot;:2},{&quot;title&quot;:&quot;El proceso de RL: Ensayo y error&quot;,&quot;local&quot;:&quot;el-proceso-de-rl-ensayo-y-error&quot;,&quot;sections&quot;:[],&quot;depth&quot;:2},{&quot;title&quot;:&quot;El papel del RL en los Modelos Grandes de Lenguaje (LLMs)&quot;,&quot;local&quot;:&quot;el-papel-del-rl-en-los-modelos-grandes-de-lenguaje-llms&quot;,&quot;sections&quot;:[],&quot;depth&quot;:2},{&quot;title&quot;:&quot;Aprendizaje por refuerzo a partir de retroalimentación humana (RLHF)&quot;,&quot;local&quot;:&quot;aprendizaje-por-refuerzo-a-partir-de-retroalimentación-humana-rlhf&quot;,&quot;sections&quot;:[],&quot;depth&quot;:2},{&quot;title&quot;:&quot;¿Por qué debería importarnos GRPO ( Group Relative Policy Optimization )?&quot;,&quot;local&quot;:&quot;por-qué-debería-importarnos-grpo--group-relative-policy-optimization-&quot;,&quot;sections&quot;:[],&quot;depth&quot;:2},{&quot;title&quot;:&quot;Cuestionario&quot;,&quot;local&quot;:&quot;cuestionario&quot;,&quot;sections&quot;:[{&quot;title&quot;:&quot;1. ¿Cuáles son los componentes clave del Aprendizaje por Refuerzo?&quot;,&quot;local&quot;:&quot;1-cuáles-son-los-componentes-clave-del-aprendizaje-por-refuerzo&quot;,&quot;sections&quot;:[],&quot;depth&quot;:3},{&quot;title&quot;:&quot;2. ¿Cuál es la principal ventaja de RLHF para el entrenamiento de modelos de lenguaje?&quot;,&quot;local&quot;:&quot;2-cuál-es-la-principal-ventaja-de-rlhf-para-el-entrenamiento-de-modelos-de-lenguaje&quot;,&quot;sections&quot;:[],&quot;depth&quot;:3},{&quot;title&quot;:&quot;3. En el contexto de RL para LLMs, ¿qué representa una “acción”?&quot;,&quot;local&quot;:&quot;3-en-el-contexto-de-rl-para-llms-qué-representa-una-acción&quot;,&quot;sections&quot;:[],&quot;depth&quot;:3},{&quot;title&quot;:&quot;4. ¿Cuál es el papel de la recompensa en el entrenamiento con RL de modelos de lenguaje?&quot;,&quot;local&quot;:&quot;4-cuál-es-el-papel-de-la-recompensa-en-el-entrenamiento-con-rl-de-modelos-de-lenguaje&quot;,&quot;sections&quot;:[],&quot;depth&quot;:3},{&quot;title&quot;:&quot;5. ¿Qué es una recompensa en el contexto de RL para LLMs?&quot;,&quot;local&quot;:&quot;5-qué-es-una-recompensa-en-el-contexto-de-rl-para-llms&quot;,&quot;sections&quot;:[],&quot;depth&quot;:3}],&quot;depth&quot;:2}],&quot;depth&quot;:1}"/><!---->
		<link href="/docs/course/pr_1355/es/_app/immutable/assets/0.tn0RQdqM.css" rel="modulepreload"> <!--[--><!--[0--><!--[--><!--[0--><!--[--><p></p> <div class="items-center shrink-0 min-w-[100px] max-sm:min-w-[50px] justify-end ml-auto flex" style="float: right; margin-left: 10px; display: inline-flex; position: relative; z-index: 10;"><div class="inline-flex rounded-md max-sm:rounded-sm"><button class="inline-flex items-center gap-1 h-7 max-sm:h-7 px-2 max-sm:px-1.5 text-sm font-medium text-gray-800 border border-r-0 rounded-l-md max-sm:rounded-l-sm border-gray-200 bg-white hover:shadow-inner dark:border-gray-850 dark:bg-gray-950 dark:text-gray-200 dark:hover:bg-gray-800" aria-live="polite"><span class="inline-flex items-center justify-center rounded-md p-0.5 max-sm:p-0 hover:text-gray-800 dark:hover:text-gray-200"><svg class="sm:size-3.5 size-3" xmlns="http://www.w3.org/2000/svg" aria-hidden="true" fill="currentColor" focusable="false" role="img" width="1em" height="1em" preserveAspectRatio="xMidYMid meet" viewBox="0 0 32 32"><path d="M28,10V28H10V10H28m0-2H10a2,2,0,0,0-2,2V28a2,2,0,0,0,2,2H28a2,2,0,0,0,2-2V10a2,2,0,0,0-2-2Z" transform="translate(0)"></path><path d="M4,18H2V4A2,2,0,0,1,4,2H18V4H4Z" transform="translate(0)"></path><rect fill="none" width="32" height="32"></rect></svg><!----></span> <span>Copy page</span></button> <button class="inline-flex items-center justify-center w-6 max-sm:w-5 h-7 max-sm:h-7 disabled:pointer-events-none text-sm text-gray-500 hover:text-gray-700 dark:hover:text-white rounded-r-md max-sm:rounded-r-sm border border-l transition border-gray-200 bg-white hover:shadow-inner dark:border-gray-850 dark:bg-gray-950 dark:text-gray-200 dark:hover:bg-gray-800" aria-haspopup="menu" aria-expanded="false" aria-label="Open copy menu"><svg class="transition-transform text-gray-400 overflow-visible sm:size-3.5 size-3 rotate-0" width="1em" height="1em" viewBox="0 0 12 7" fill="none" xmlns="http://www.w3.org/2000/svg"><path d="M1 1L6 6L11 1" stroke="currentColor"></path></svg><!----></button></div> <!--[-1--><!--]--></div><!----> <!--[0--><h1 class="relative group"><a id="introduccion-al-aprendizaje-por-refuerzo-y-su-papel-en-los-llms" class="header-link block pr-1.5 text-lg no-hover:hidden with-hover:absolute with-hover:p-1.5 with-hover:opacity-0 with-hover:group-hover:opacity-100 with-hover:right-full" href="#introduccion-al-aprendizaje-por-refuerzo-y-su-papel-en-los-llms"><span><svg xmlns="http://www.w3.org/2000/svg" xmlns:xlink="http://www.w3.org/1999/xlink" aria-hidden="true" role="img" width="1em" height="1em" preserveAspectRatio="xMidYMid meet" viewBox="0 0 256 256"><path d="M167.594 88.393a8.001 8.001 0 0 1 0 11.314l-67.882 67.882a8 8 0 1 1-11.314-11.315l67.882-67.881a8.003 8.003 0 0 1 11.314 0zm-28.287 84.86l-28.284 28.284a40 40 0 0 1-56.567-56.567l28.284-28.284a8 8 0 0 0-11.315-11.315l-28.284 28.284a56 56 0 0 0 79.196 79.197l28.285-28.285a8 8 0 1 0-11.315-11.314zM212.852 43.14a56.002 56.002 0 0 0-79.196 0l-28.284 28.284a8 8 0 1 0 11.314 11.314l28.284-28.284a40 40 0 0 1 56.568 56.567l-28.285 28.285a8 8 0 0 0 11.315 11.314l28.284-28.284a56.065 56.065 0 0 0 0-79.196z" fill="currentColor"></path></svg><!----></span></a> <span>Introducción al aprendizaje por refuerzo y su papel en los LLMs</span></h1><!--]--><!----> <p>¡Te damos la bienvenida a la primera página!</p> <p>Vamos a comenzar nuestro viaje por el apasionante mundo del Aprendizaje por Refuerzo (RL, por sus siglas en inglés: <em>Reinforcement Learning</em>) y descubriremos cómo está revolucionando la forma en que entrenamos modelos de lenguaje como los que utilizas todos los días.</p> <blockquote class="tip"><p>En este capítulo, nos centramos en el aprendizaje por refuerzo para modelos de lenguaje. Sin embargo, el aprendizaje por refuerzo es un campo amplio con muchas aplicaciones más allá de los modelos de lenguaje. Si estás interesado en aprender más sobre el aprendizaje por refuerzo, deberías consultar el <a href="https://huggingface.co/courses/deep-rl-course/en/unit1/introduction" rel="nofollow">curso de Deep Reinforcement Learning</a>.</p></blockquote> <p>Esta página te brindará una introducción amigable y clara al RL, incluso si nunca lo has visto antes. Desglosaremos las ideas centrales y veremos por qué el RL se está volviendo tan importante en el campo de los Modelos Grandes de Lenguaje (LLMs).</p> <!--[1--><h2 class="relative group"><a id="qué-es-el-aprendizaje-por-refuerzo-rl" class="header-link block pr-1.5 text-lg no-hover:hidden with-hover:absolute with-hover:p-1.5 with-hover:opacity-0 with-hover:group-hover:opacity-100 with-hover:right-full" href="#qué-es-el-aprendizaje-por-refuerzo-rl"><span><svg xmlns="http://www.w3.org/2000/svg" xmlns:xlink="http://www.w3.org/1999/xlink" aria-hidden="true" role="img" width="1em" height="1em" preserveAspectRatio="xMidYMid meet" viewBox="0 0 256 256"><path d="M167.594 88.393a8.001 8.001 0 0 1 0 11.314l-67.882 67.882a8 8 0 1 1-11.314-11.315l67.882-67.881a8.003 8.003 0 0 1 11.314 0zm-28.287 84.86l-28.284 28.284a40 40 0 0 1-56.567-56.567l28.284-28.284a8 8 0 0 0-11.315-11.315l-28.284 28.284a56 56 0 0 0 79.196 79.197l28.285-28.285a8 8 0 1 0-11.315-11.314zM212.852 43.14a56.002 56.002 0 0 0-79.196 0l-28.284 28.284a8 8 0 1 0 11.314 11.314l28.284-28.284a40 40 0 0 1 56.568 56.567l-28.285 28.285a8 8 0 0 0 11.315 11.314l28.284-28.284a56.065 56.065 0 0 0 0-79.196z" fill="currentColor"></path></svg><!----></span></a> <span>¿Qué es el aprendizaje por refuerzo (RL)?</span></h2><!--]--><!----> <p>Imagina que estás entrenando a un perro. Quieres enseñarle a sentarse. Puedes decir “¡Siéntate!” y luego, si el perro se sienta, le das un premio y lo felicitas. Si no se sienta, puedes guiarlo suavemente o simplemente intentarlo de nuevo. Con el tiempo, el perro aprende a asociar sentarse con la recompensa positiva (premio y elogio) y es más probable que se siente cuando vuelvas a decir “¡Siéntate!“. En el aprendizaje por refuerzo, nos referimos a esta retroalimentación como una <strong>recompensa</strong> (<em>reward</em>).</p> <p>¡Esa es, en pocas palabras, la idea básica detrás del aprendizaje por refuerzo! En lugar de un perro, tenemos un <strong>modelo de lenguaje</strong> (en el aprendizaje por refuerzo, lo llamamos <strong>agente</strong>), y en lugar de ti, tenemos el <strong>entorno</strong> (<em>environment</em>) que da la retroalimentación.</p> <p><img src="https://huggingface.co/reasoning-course/images/resolve/main/grpo/3.jpg" alt="Proceso de términos de RL"/></p> <p>Desglosemos las piezas clave del RL:</p> <!--[2--><h3 class="relative group"><a id="agente--agent-" class="header-link block pr-1.5 text-lg no-hover:hidden with-hover:absolute with-hover:p-1.5 with-hover:opacity-0 with-hover:group-hover:opacity-100 with-hover:right-full" href="#agente--agent-"><span><svg xmlns="http://www.w3.org/2000/svg" xmlns:xlink="http://www.w3.org/1999/xlink" aria-hidden="true" role="img" width="1em" height="1em" preserveAspectRatio="xMidYMid meet" viewBox="0 0 256 256"><path d="M167.594 88.393a8.001 8.001 0 0 1 0 11.314l-67.882 67.882a8 8 0 1 1-11.314-11.315l67.882-67.881a8.003 8.003 0 0 1 11.314 0zm-28.287 84.86l-28.284 28.284a40 40 0 0 1-56.567-56.567l28.284-28.284a8 8 0 0 0-11.315-11.315l-28.284 28.284a56 56 0 0 0 79.196 79.197l28.285-28.285a8 8 0 1 0-11.315-11.314zM212.852 43.14a56.002 56.002 0 0 0-79.196 0l-28.284 28.284a8 8 0 1 0 11.314 11.314l28.284-28.284a40 40 0 0 1 56.568 56.567l-28.285 28.285a8 8 0 0 0 11.315 11.314l28.284-28.284a56.065 56.065 0 0 0 0-79.196z" fill="currentColor"></path></svg><!----></span></a> <span>Agente ( Agent )</span></h3><!--]--><!----> <p>Este es nuestro aprendiz. En el ejemplo del perro, el perro es el agente. En el contexto de los LLMs, el propio LLM se convierte en el agente que queremos entrenar. El agente es quien toma decisiones y aprende del entorno y sus recompensas.</p> <!--[2--><h3 class="relative group"><a id="entorno--environment-" class="header-link block pr-1.5 text-lg no-hover:hidden with-hover:absolute with-hover:p-1.5 with-hover:opacity-0 with-hover:group-hover:opacity-100 with-hover:right-full" href="#entorno--environment-"><span><svg xmlns="http://www.w3.org/2000/svg" xmlns:xlink="http://www.w3.org/1999/xlink" aria-hidden="true" role="img" width="1em" height="1em" preserveAspectRatio="xMidYMid meet" viewBox="0 0 256 256"><path d="M167.594 88.393a8.001 8.001 0 0 1 0 11.314l-67.882 67.882a8 8 0 1 1-11.314-11.315l67.882-67.881a8.003 8.003 0 0 1 11.314 0zm-28.287 84.86l-28.284 28.284a40 40 0 0 1-56.567-56.567l28.284-28.284a8 8 0 0 0-11.315-11.315l-28.284 28.284a56 56 0 0 0 79.196 79.197l28.285-28.285a8 8 0 1 0-11.315-11.314zM212.852 43.14a56.002 56.002 0 0 0-79.196 0l-28.284 28.284a8 8 0 1 0 11.314 11.314l28.284-28.284a40 40 0 0 1 56.568 56.567l-28.285 28.285a8 8 0 0 0 11.315 11.314l28.284-28.284a56.065 56.065 0 0 0 0-79.196z" fill="currentColor"></path></svg><!----></span></a> <span>Entorno ( Environment )</span></h3><!--]--><!----> <p>Este es el mundo en el que vive e interactúa el agente. Para el perro, el entorno es tu casa y tú. Para un LLM, el entorno es un poco más abstracto: podrían ser los usuarios con los que interactúa o un escenario simulado que configuramos para él. El entorno proporciona retroalimentación al agente.</p> <!--[2--><h3 class="relative group"><a id="acción--action-" class="header-link block pr-1.5 text-lg no-hover:hidden with-hover:absolute with-hover:p-1.5 with-hover:opacity-0 with-hover:group-hover:opacity-100 with-hover:right-full" href="#acción--action-"><span><svg xmlns="http://www.w3.org/2000/svg" xmlns:xlink="http://www.w3.org/1999/xlink" aria-hidden="true" role="img" width="1em" height="1em" preserveAspectRatio="xMidYMid meet" viewBox="0 0 256 256"><path d="M167.594 88.393a8.001 8.001 0 0 1 0 11.314l-67.882 67.882a8 8 0 1 1-11.314-11.315l67.882-67.881a8.003 8.003 0 0 1 11.314 0zm-28.287 84.86l-28.284 28.284a40 40 0 0 1-56.567-56.567l28.284-28.284a8 8 0 0 0-11.315-11.315l-28.284 28.284a56 56 0 0 0 79.196 79.197l28.285-28.285a8 8 0 1 0-11.315-11.314zM212.852 43.14a56.002 56.002 0 0 0-79.196 0l-28.284 28.284a8 8 0 1 0 11.314 11.314l28.284-28.284a40 40 0 0 1 56.568 56.567l-28.285 28.285a8 8 0 0 0 11.315 11.314l28.284-28.284a56.065 56.065 0 0 0 0-79.196z" fill="currentColor"></path></svg><!----></span></a> <span>Acción ( Action )</span></h3><!--]--><!----> <p>Estas son las elecciones que el agente puede hacer en el entorno. Las acciones del perro son cosas como “sentarse”, “pararse”, “ladrar”, etc. Para un LLM, las acciones podrían ser generar palabras en una oración, elegir qué respuesta dar a una pregunta o decidir cómo responder en una conversación.</p> <!--[2--><h3 class="relative group"><a id="recompensa--reward-" class="header-link block pr-1.5 text-lg no-hover:hidden with-hover:absolute with-hover:p-1.5 with-hover:opacity-0 with-hover:group-hover:opacity-100 with-hover:right-full" href="#recompensa--reward-"><span><svg xmlns="http://www.w3.org/2000/svg" xmlns:xlink="http://www.w3.org/1999/xlink" aria-hidden="true" role="img" width="1em" height="1em" preserveAspectRatio="xMidYMid meet" viewBox="0 0 256 256"><path d="M167.594 88.393a8.001 8.001 0 0 1 0 11.314l-67.882 67.882a8 8 0 1 1-11.314-11.315l67.882-67.881a8.003 8.003 0 0 1 11.314 0zm-28.287 84.86l-28.284 28.284a40 40 0 0 1-56.567-56.567l28.284-28.284a8 8 0 0 0-11.315-11.315l-28.284 28.284a56 56 0 0 0 79.196 79.197l28.285-28.285a8 8 0 1 0-11.315-11.314zM212.852 43.14a56.002 56.002 0 0 0-79.196 0l-28.284 28.284a8 8 0 1 0 11.314 11.314l28.284-28.284a40 40 0 0 1 56.568 56.567l-28.285 28.285a8 8 0 0 0 11.315 11.314l28.284-28.284a56.065 56.065 0 0 0 0-79.196z" fill="currentColor"></path></svg><!----></span></a> <span>Recompensa ( Reward )</span></h3><!--]--><!----> <p>Esta es la retroalimentación que el entorno le da al agente después de que realiza una acción. Las recompensas suelen ser números.</p> <p>Las <strong>recompensas positivas</strong> son como premios y elogios: le dicen al agente “¡buen trabajo, hiciste algo bien!“.</p> <p>Las <strong>recompensas negativas</strong> (o penalizaciones) son como un “no” suave: le dicen al agente “eso no estuvo del todo bien, intenta otra cosa”. Para el perro, el premio es la recompensa.</p> <p>Para un LLM, las recompensas están diseñadas para reflejar qué tan bien lo está haciendo el LLM en una tarea específica: tal vez qué tan útil, veraz o inocua es su respuesta.</p> <!--[2--><h3 class="relative group"><a id="política--policy-" class="header-link block pr-1.5 text-lg no-hover:hidden with-hover:absolute with-hover:p-1.5 with-hover:opacity-0 with-hover:group-hover:opacity-100 with-hover:right-full" href="#política--policy-"><span><svg xmlns="http://www.w3.org/2000/svg" xmlns:xlink="http://www.w3.org/1999/xlink" aria-hidden="true" role="img" width="1em" height="1em" preserveAspectRatio="xMidYMid meet" viewBox="0 0 256 256"><path d="M167.594 88.393a8.001 8.001 0 0 1 0 11.314l-67.882 67.882a8 8 0 1 1-11.314-11.315l67.882-67.881a8.003 8.003 0 0 1 11.314 0zm-28.287 84.86l-28.284 28.284a40 40 0 0 1-56.567-56.567l28.284-28.284a8 8 0 0 0-11.315-11.315l-28.284 28.284a56 56 0 0 0 79.196 79.197l28.285-28.285a8 8 0 1 0-11.315-11.314zM212.852 43.14a56.002 56.002 0 0 0-79.196 0l-28.284 28.284a8 8 0 1 0 11.314 11.314l28.284-28.284a40 40 0 0 1 56.568 56.567l-28.285 28.285a8 8 0 0 0 11.315 11.314l28.284-28.284a56.065 56.065 0 0 0 0-79.196z" fill="currentColor"></path></svg><!----></span></a> <span>Política ( Policy )</span></h3><!--]--><!----> <p>Esta es la estrategia del agente para elegir acciones. Es como la comprensión del perro de lo que debe hacer cuando dices “¡Siéntate!“. En RL, la política es lo que realmente intentamos aprender y mejorar. Es un conjunto de reglas o una función que le dice al agente qué acción tomar en diferentes situaciones. Inicialmente, la política puede ser aleatoria, pero a medida que el agente aprende, la política mejora a la hora de elegir acciones que conducen a mayores recompensas.</p> <!--[1--><h2 class="relative group"><a id="el-proceso-de-rl-ensayo-y-error" class="header-link block pr-1.5 text-lg no-hover:hidden with-hover:absolute with-hover:p-1.5 with-hover:opacity-0 with-hover:group-hover:opacity-100 with-hover:right-full" href="#el-proceso-de-rl-ensayo-y-error"><span><svg xmlns="http://www.w3.org/2000/svg" xmlns:xlink="http://www.w3.org/1999/xlink" aria-hidden="true" role="img" width="1em" height="1em" preserveAspectRatio="xMidYMid meet" viewBox="0 0 256 256"><path d="M167.594 88.393a8.001 8.001 0 0 1 0 11.314l-67.882 67.882a8 8 0 1 1-11.314-11.315l67.882-67.881a8.003 8.003 0 0 1 11.314 0zm-28.287 84.86l-28.284 28.284a40 40 0 0 1-56.567-56.567l28.284-28.284a8 8 0 0 0-11.315-11.315l-28.284 28.284a56 56 0 0 0 79.196 79.197l28.285-28.285a8 8 0 1 0-11.315-11.314zM212.852 43.14a56.002 56.002 0 0 0-79.196 0l-28.284 28.284a8 8 0 1 0 11.314 11.314l28.284-28.284a40 40 0 0 1 56.568 56.567l-28.285 28.285a8 8 0 0 0 11.315 11.314l28.284-28.284a56.065 56.065 0 0 0 0-79.196z" fill="currentColor"></path></svg><!----></span></a> <span>El proceso de RL: Ensayo y error</span></h2><!--]--><!----> <p><img src="https://huggingface.co/reasoning-course/images/resolve/main/grpo/1.jpg" alt="Proceso de RL"/></p> <p>El aprendizaje por refuerzo ocurre a través de un proceso de ensayo y error:</p> <table><thead><tr><th>Paso</th><th>Proceso</th><th>Descripción</th></tr></thead><tbody><tr><td>1. Observación</td><td>El agente observa el entorno</td><td>El agente recopila información sobre su estado actual y su entorno</td></tr><tr><td>2. Acción</td><td>El agente toma una acción basada en su política actual</td><td>Usando su estrategia aprendida (política), el agente decide qué hacer a continuación</td></tr><tr><td>3. Retroalimentación</td><td>El entorno le da una recompensa al agente</td><td>El agente recibe retroalimentación sobre qué tan buena o mala fue su acción</td></tr><tr><td>4. Aprendizaje</td><td>El agente actualiza su política en función de la recompensa</td><td>El agente ajusta su estrategia: refuerza las acciones que condujeron a altas recompensas y evita las que llevaron a bajas recompensas</td></tr><tr><td>5. Iteración</td><td>Repetir el proceso</td><td>Este ciclo continúa, permitiendo que el agente mejore continuamente su toma de decisiones</td></tr></tbody></table> <p>Piensa en aprender a andar en bicicleta. Al principio puedes tambalearte y caerte (¡recompensa negativa!). Pero cuando logras mantener el equilibrio y pedalear suavemente, te sientes bien (¡recompensa positiva!). Ajustas tus acciones en función de esta retroalimentación (inclinándote ligeramente, pedaleando más rápido, etc.) hasta que aprendes a andar bien. El RL es similar: se trata de aprender a través de la interacción y la retroalimentación.</p> <!--[1--><h2 class="relative group"><a id="el-papel-del-rl-en-los-modelos-grandes-de-lenguaje-llms" class="header-link block pr-1.5 text-lg no-hover:hidden with-hover:absolute with-hover:p-1.5 with-hover:opacity-0 with-hover:group-hover:opacity-100 with-hover:right-full" href="#el-papel-del-rl-en-los-modelos-grandes-de-lenguaje-llms"><span><svg xmlns="http://www.w3.org/2000/svg" xmlns:xlink="http://www.w3.org/1999/xlink" aria-hidden="true" role="img" width="1em" height="1em" preserveAspectRatio="xMidYMid meet" viewBox="0 0 256 256"><path d="M167.594 88.393a8.001 8.001 0 0 1 0 11.314l-67.882 67.882a8 8 0 1 1-11.314-11.315l67.882-67.881a8.003 8.003 0 0 1 11.314 0zm-28.287 84.86l-28.284 28.284a40 40 0 0 1-56.567-56.567l28.284-28.284a8 8 0 0 0-11.315-11.315l-28.284 28.284a56 56 0 0 0 79.196 79.197l28.285-28.285a8 8 0 1 0-11.315-11.314zM212.852 43.14a56.002 56.002 0 0 0-79.196 0l-28.284 28.284a8 8 0 1 0 11.314 11.314l28.284-28.284a40 40 0 0 1 56.568 56.567l-28.285 28.285a8 8 0 0 0 11.315 11.314l28.284-28.284a56.065 56.065 0 0 0 0-79.196z" fill="currentColor"></path></svg><!----></span></a> <span>El papel del RL en los Modelos Grandes de Lenguaje (LLMs)</span></h2><!--]--><!----> <p>Ahora bien, ¿por qué el RL es tan importante para los Modelos Grandes de Lenguaje?</p> <p>Entrenar LLMs realmente buenos es complicado. Podemos entrenarlos con cantidades masivas de texto de Internet y se vuelven muy buenos prediciendo la siguiente palabra en una oración. Así es como aprenden a generar texto fluido y gramaticalmente correcto, como aprendimos en el <a href="/course/chapter2/1">capítulo 2</a>.</p> <p>Sin embargo, limitarse a ser fluido no es suficiente. Queremos que nuestros LLMs sean más que simplemente buenos uniendo palabras. Queremos que sean:</p> <ul><li><strong>Útiles (<em>Helpful</em>):</strong> Proporcionen información útil y relevante.</li> <li><strong>Inocuos (<em>Harmless</em>):</strong> Eviten generar contenido tóxico, sesgado o dañino.</li> <li><strong>Alineados con las preferencias humanas (<em>Aligned</em>):</strong> Respondan de maneras que los humanos encuentren naturales, útiles y atractivas.</li></ul> <p>Los métodos de preentrenamiento de LLM, que dependen principalmente de predecir la siguiente palabra a partir de datos de texto, a veces se quedan cortos en estos aspectos.</p> <p>Si bien el entrenamiento supervisado es excelente para producir salidas estructuradas, puede ser menos efectivo para producir respuestas útiles, inocuas y alineadas. Exploramos el entrenamiento supervisado en el <a href="/course/chapter11/1">capítulo 11</a>.</p> <p>Los modelos ajustados finamente pueden generar texto fluido y estructurado que sigue siendo contextualmente incorrecto, sesgado o que realmente no responde a la pregunta del usuario de manera útil.</p> <p><strong>¡Aquí es donde entra el Aprendizaje por Refuerzo!</strong> El RL nos brinda una manera de ajustar finamente estos LLMs preentrenados para lograr mejor estas cualidades deseadas. ¡Es como darle a nuestro perro LLM entrenamiento adicional para convertirse en un compañero educado y servicial, no solo en un perro que sabe ladrar fluidamente!</p> <!--[1--><h2 class="relative group"><a id="aprendizaje-por-refuerzo-a-partir-de-retroalimentación-humana-rlhf" class="header-link block pr-1.5 text-lg no-hover:hidden with-hover:absolute with-hover:p-1.5 with-hover:opacity-0 with-hover:group-hover:opacity-100 with-hover:right-full" href="#aprendizaje-por-refuerzo-a-partir-de-retroalimentación-humana-rlhf"><span><svg xmlns="http://www.w3.org/2000/svg" xmlns:xlink="http://www.w3.org/1999/xlink" aria-hidden="true" role="img" width="1em" height="1em" preserveAspectRatio="xMidYMid meet" viewBox="0 0 256 256"><path d="M167.594 88.393a8.001 8.001 0 0 1 0 11.314l-67.882 67.882a8 8 0 1 1-11.314-11.315l67.882-67.881a8.003 8.003 0 0 1 11.314 0zm-28.287 84.86l-28.284 28.284a40 40 0 0 1-56.567-56.567l28.284-28.284a8 8 0 0 0-11.315-11.315l-28.284 28.284a56 56 0 0 0 79.196 79.197l28.285-28.285a8 8 0 1 0-11.315-11.314zM212.852 43.14a56.002 56.002 0 0 0-79.196 0l-28.284 28.284a8 8 0 1 0 11.314 11.314l28.284-28.284a40 40 0 0 1 56.568 56.567l-28.285 28.285a8 8 0 0 0 11.315 11.314l28.284-28.284a56.065 56.065 0 0 0 0-79.196z" fill="currentColor"></path></svg><!----></span></a> <span>Aprendizaje por refuerzo a partir de retroalimentación humana (RLHF)</span></h2><!--]--><!----> <p>Una técnica muy popular para alinear modelos de lenguaje es el <strong>Aprendizaje por Refuerzo a partir de Retroalimentación Humana (RLHF)</strong> (<em>Reinforcement Learning from Human Feedback</em>). En RLHF, utilizamos la retroalimentación humana como un indicador de la señal de “recompensa” en RL. Así es como funciona:</p> <ol><li><p><strong>Obtener preferencias humanas:</strong> Podemos pedir a las personas que comparen diferentes respuestas generadas por el LLM para el mismo prompt de entrada y nos digan qué respuesta prefieren. Por ejemplo, podríamos mostrarle a un evaluador humano dos respuestas diferentes a la pregunta “¿Cuál es la capital de Francia?” y preguntarle “¿Qué respuesta es mejor?“.</p></li> <li><p><strong>Entrenar un modelo de recompensa:</strong> Utilizamos estos datos de preferencia humana para entrenar un modelo independiente llamado <strong>modelo de recompensa</strong> (<em>reward model</em>). Este modelo de recompensa aprende a predecir qué tipo de respuestas preferirán los humanos. Aprende a calificar las respuestas en función de su utilidad, inocuidad y alineación con las preferencias humanas.</p></li> <li><p><strong>Ajustar el LLM con RL:</strong> Ahora usamos el modelo de recompensa como entorno para nuestro agente LLM. El LLM genera respuestas (acciones) y el modelo de recompensa califica estas respuestas (proporciona recompensas). En esencia, estamos entrenando al LLM para producir texto que nuestro modelo de recompensa (que aprendió de las preferencias humanas) considera bueno.</p></li></ol> <p><img src="https://huggingface.co/reasoning-course/images/resolve/main/grpo/2.jpg" alt="Concepto básico de RL"/></p> <p>Desde una perspectiva general, veamos los beneficios de utilizar RL en los LLMs:</p> <table><thead><tr><th>Beneficio</th><th>Descripción</th></tr></thead><tbody><tr><td>Control mejorado</td><td>El RL nos permite tener más control sobre el tipo de texto que generan los LLMs. Podemos guiarlos para que produzcan texto más alineado con objetivos específicos, como ser útiles, creativos o concisos.</td></tr><tr><td>Mayor alineación con los valores humanos</td><td>El RLHF, en particular, nos ayuda a alinear los LLMs con preferencias humanas complejas y a menudo subjetivas. Es difícil redactar reglas sobre “qué hace que una respuesta sea buena”, pero los humanos pueden juzgar y comparar respuestas fácilmente. El RLHF permite que el modelo aprenda de estos juicios humanos.</td></tr><tr><td>Mitigación de comportamientos no deseados</td><td>El RL se puede utilizar para reducir comportamientos negativos en los LLMs, como generar lenguaje tóxico, difundir desinformación o exhibir sesgos. Al diseñar recompensas que penalicen estos comportamientos, podemos orientar al modelo para que los evite.</td></tr></tbody></table> <p>El Aprendizaje por Refuerzo a partir de Retroalimentación Humana se ha utilizado para entrenar muchos de los LLMs más populares de la actualidad, como GPT-4 de OpenAI, Gemini de Google y R1 de DeepSeek. Existe una amplia gama de técnicas para RLHF, con distintos grados de complejidad y sofisticación. En este capítulo, nos centraremos en Group Relative Policy Optimization (GRPO), que es una técnica de RLHF que ha demostrado ser eficaz para entrenar LLMs que sean útiles, inocuos y alineados con las preferencias humanas.</p> <!--[1--><h2 class="relative group"><a id="por-qué-debería-importarnos-grpo--group-relative-policy-optimization-" class="header-link block pr-1.5 text-lg no-hover:hidden with-hover:absolute with-hover:p-1.5 with-hover:opacity-0 with-hover:group-hover:opacity-100 with-hover:right-full" href="#por-qué-debería-importarnos-grpo--group-relative-policy-optimization-"><span><svg xmlns="http://www.w3.org/2000/svg" xmlns:xlink="http://www.w3.org/1999/xlink" aria-hidden="true" role="img" width="1em" height="1em" preserveAspectRatio="xMidYMid meet" viewBox="0 0 256 256"><path d="M167.594 88.393a8.001 8.001 0 0 1 0 11.314l-67.882 67.882a8 8 0 1 1-11.314-11.315l67.882-67.881a8.003 8.003 0 0 1 11.314 0zm-28.287 84.86l-28.284 28.284a40 40 0 0 1-56.567-56.567l28.284-28.284a8 8 0 0 0-11.315-11.315l-28.284 28.284a56 56 0 0 0 79.196 79.197l28.285-28.285a8 8 0 1 0-11.315-11.314zM212.852 43.14a56.002 56.002 0 0 0-79.196 0l-28.284 28.284a8 8 0 1 0 11.314 11.314l28.284-28.284a40 40 0 0 1 56.568 56.567l-28.285 28.285a8 8 0 0 0 11.315 11.314l28.284-28.284a56.065 56.065 0 0 0 0-79.196z" fill="currentColor"></path></svg><!----></span></a> <span>¿Por qué debería importarnos GRPO ( Group Relative Policy Optimization )?</span></h2><!--]--><!----> <p>Existen muchas técnicas para RLHF, pero este curso se centra en GRPO porque representa un avance significativo en el aprendizaje por refuerzo para modelos de lenguaje.</p> <p>Consideremos brevemente otras dos técnicas populares para RLHF:</p> <ul><li>Optimización de política proximal (PPO, <em>Proximal Policy Optimization</em>)</li> <li>Optimización directa de preferencias (DPO, <em>Direct Preference Optimization</em>)</li></ul> <p>La optimización de política proximal (PPO) fue una de las primeras técnicas altamente efectivas para RLHF. Utiliza un método de gradiente de política para actualizar la política en función de la recompensa de un modelo de recompensa independiente.</p> <p>La optimización directa de preferencias (DPO) se desarrolló posteriormente como una técnica más simple que elimina la necesidad de un modelo de recompensa independiente utilizando datos de preferencias directamente. Esencialmente, plantea el problema como una tarea de clasificación entre las respuestas elegidas y rechazadas.</p> <blockquote class="tip"><p>DPO y PPO son algoritmos complejos de aprendizaje por refuerzo por derecho propio, que no cubriremos en este curso. Si estás interesado en aprender más sobre ellos, puedes consultar los siguientes recursos:</p> <ul><li><a href="https://huggingface.co/docs/trl/main/en/ppo_trainer" rel="nofollow">Proximal Policy Optimization</a></li> <li><a href="https://huggingface.co/docs/trl/main/en/dpo_trainer" rel="nofollow">Direct Preference Optimization</a></li></ul></blockquote> <p>A diferencia de DPO y PPO, GRPO agrupa muestras similares y las compara en grupo. El enfoque basado en grupos proporciona gradientes más estables y mejores propiedades de convergencia en comparación con otros métodos.</p> <p>GRPO no utiliza datos de preferencias como DPO, sino que compara grupos de muestras similares utilizando una señal de recompensa de un modelo o función.</p> <p>GRPO es flexible en cuanto a cómo obtiene las señales de recompensa: puede funcionar con un modelo de recompensa (como lo hace PPO), pero no requiere estrictamente uno. Esto se debe a que GRPO puede incorporar señales de recompensa de cualquier función o modelo que pueda evaluar la calidad de las respuestas.</p> <p>Por ejemplo, podríamos usar una función de longitud para recompensar respuestas más cortas, un solucionador matemático para verificar la corrección de una solución o una función de precisión fáctica para recompensar respuestas que sean más precisas desde el punto de vista factual. Esta flexibilidad hace que GRPO sea particularmente versátil para diferentes tipos de tareas de alineación.</p> <hr/> <p>¡Felicitaciones por completar el Módulo 1! Ahora tienes una sólida introducción al Aprendizaje por Refuerzo y su papel crucial en la configuración del futuro de los Modelos Grandes de Lenguaje. Comprendes los conceptos básicos de RL, por qué se utiliza para LLMs y te has familiarizado con GRPO, un algoritmo clave en este campo.</p> <p>En el próximo módulo, pasaremos a la práctica y nos sumergiremos en el artículo de DeepSeek R1 para ver estos conceptos en acción.</p> <!--[1--><h2 class="relative group"><a id="cuestionario" class="header-link block pr-1.5 text-lg no-hover:hidden with-hover:absolute with-hover:p-1.5 with-hover:opacity-0 with-hover:group-hover:opacity-100 with-hover:right-full" href="#cuestionario"><span><svg xmlns="http://www.w3.org/2000/svg" xmlns:xlink="http://www.w3.org/1999/xlink" aria-hidden="true" role="img" width="1em" height="1em" preserveAspectRatio="xMidYMid meet" viewBox="0 0 256 256"><path d="M167.594 88.393a8.001 8.001 0 0 1 0 11.314l-67.882 67.882a8 8 0 1 1-11.314-11.315l67.882-67.881a8.003 8.003 0 0 1 11.314 0zm-28.287 84.86l-28.284 28.284a40 40 0 0 1-56.567-56.567l28.284-28.284a8 8 0 0 0-11.315-11.315l-28.284 28.284a56 56 0 0 0 79.196 79.197l28.285-28.285a8 8 0 1 0-11.315-11.314zM212.852 43.14a56.002 56.002 0 0 0-79.196 0l-28.284 28.284a8 8 0 1 0 11.314 11.314l28.284-28.284a40 40 0 0 1 56.568 56.567l-28.285 28.285a8 8 0 0 0 11.315 11.314l28.284-28.284a56.065 56.065 0 0 0 0-79.196z" fill="currentColor"></path></svg><!----></span></a> <span>Cuestionario</span></h2><!--]--><!----> <!--[2--><h3 class="relative group"><a id="1-cuáles-son-los-componentes-clave-del-aprendizaje-por-refuerzo" class="header-link block pr-1.5 text-lg no-hover:hidden with-hover:absolute with-hover:p-1.5 with-hover:opacity-0 with-hover:group-hover:opacity-100 with-hover:right-full" href="#1-cuáles-son-los-componentes-clave-del-aprendizaje-por-refuerzo"><span><svg xmlns="http://www.w3.org/2000/svg" xmlns:xlink="http://www.w3.org/1999/xlink" aria-hidden="true" role="img" width="1em" height="1em" preserveAspectRatio="xMidYMid meet" viewBox="0 0 256 256"><path d="M167.594 88.393a8.001 8.001 0 0 1 0 11.314l-67.882 67.882a8 8 0 1 1-11.314-11.315l67.882-67.881a8.003 8.003 0 0 1 11.314 0zm-28.287 84.86l-28.284 28.284a40 40 0 0 1-56.567-56.567l28.284-28.284a8 8 0 0 0-11.315-11.315l-28.284 28.284a56 56 0 0 0 79.196 79.197l28.285-28.285a8 8 0 1 0-11.315-11.314zM212.852 43.14a56.002 56.002 0 0 0-79.196 0l-28.284 28.284a8 8 0 1 0 11.314 11.314l28.284-28.284a40 40 0 0 1 56.568 56.567l-28.285 28.285a8 8 0 0 0 11.315 11.314l28.284-28.284a56.065 56.065 0 0 0 0-79.196z" fill="currentColor"></path></svg><!----></span></a> <span>1. ¿Cuáles son los componentes clave del Aprendizaje por Refuerzo?</span></h3><!--]--><!----> <div><form><!--[--><label class="block"><input autocomplete="off" class="form-input -mt-1.5 mr-2" name="choice" type="checkbox" value="0"/> <!---->Agente, Entorno, Acción, Recompensa y Política<!----></label> <!--[-1--><!--]--><label class="block"><input autocomplete="off" class="form-input -mt-1.5 mr-2" name="choice" type="checkbox" value="1"/> <!---->Modelo, Datos, Función de pérdida y Optimizador<!----></label> <!--[-1--><!--]--><label class="block"><input autocomplete="off" class="form-input -mt-1.5 mr-2" name="choice" type="checkbox" value="2"/> <!---->Capa de entrada, Capa de salida y Capas ocultas<!----></label> <!--[-1--><!--]--><!--]--> <div class="flex flex-row items-center mt-3"><button class="btn px-4 mr-4" type="submit" disabled="">Submit</button> <!--[-1--><!--]--></div></form></div><!----> <!--[2--><h3 class="relative group"><a id="2-cuál-es-la-principal-ventaja-de-rlhf-para-el-entrenamiento-de-modelos-de-lenguaje" class="header-link block pr-1.5 text-lg no-hover:hidden with-hover:absolute with-hover:p-1.5 with-hover:opacity-0 with-hover:group-hover:opacity-100 with-hover:right-full" href="#2-cuál-es-la-principal-ventaja-de-rlhf-para-el-entrenamiento-de-modelos-de-lenguaje"><span><svg xmlns="http://www.w3.org/2000/svg" xmlns:xlink="http://www.w3.org/1999/xlink" aria-hidden="true" role="img" width="1em" height="1em" preserveAspectRatio="xMidYMid meet" viewBox="0 0 256 256"><path d="M167.594 88.393a8.001 8.001 0 0 1 0 11.314l-67.882 67.882a8 8 0 1 1-11.314-11.315l67.882-67.881a8.003 8.003 0 0 1 11.314 0zm-28.287 84.86l-28.284 28.284a40 40 0 0 1-56.567-56.567l28.284-28.284a8 8 0 0 0-11.315-11.315l-28.284 28.284a56 56 0 0 0 79.196 79.197l28.285-28.285a8 8 0 1 0-11.315-11.314zM212.852 43.14a56.002 56.002 0 0 0-79.196 0l-28.284 28.284a8 8 0 1 0 11.314 11.314l28.284-28.284a40 40 0 0 1 56.568 56.567l-28.285 28.285a8 8 0 0 0 11.315 11.314l28.284-28.284a56.065 56.065 0 0 0 0-79.196z" fill="currentColor"></path></svg><!----></span></a> <span>2. ¿Cuál es la principal ventaja de RLHF para el entrenamiento de modelos de lenguaje?</span></h3><!--]--><!----> <div><form><!--[--><label class="block"><input autocomplete="off" class="form-input -mt-1.5 mr-2" name="choice" type="checkbox" value="0"/> <!---->Ayuda a alinear los modelos con las preferencias y valores humanos<!----></label> <!--[-1--><!--]--><label class="block"><input autocomplete="off" class="form-input -mt-1.5 mr-2" name="choice" type="checkbox" value="1"/> <!---->Hace que los modelos generen texto más rápido<!----></label> <!--[-1--><!--]--><label class="block"><input autocomplete="off" class="form-input -mt-1.5 mr-2" name="choice" type="checkbox" value="2"/> <!---->Reduce el uso de memoria del modelo<!----></label> <!--[-1--><!--]--><!--]--> <div class="flex flex-row items-center mt-3"><button class="btn px-4 mr-4" type="submit" disabled="">Submit</button> <!--[-1--><!--]--></div></form></div><!----> <!--[2--><h3 class="relative group"><a id="3-en-el-contexto-de-rl-para-llms-qué-representa-una-acción" class="header-link block pr-1.5 text-lg no-hover:hidden with-hover:absolute with-hover:p-1.5 with-hover:opacity-0 with-hover:group-hover:opacity-100 with-hover:right-full" href="#3-en-el-contexto-de-rl-para-llms-qué-representa-una-acción"><span><svg xmlns="http://www.w3.org/2000/svg" xmlns:xlink="http://www.w3.org/1999/xlink" aria-hidden="true" role="img" width="1em" height="1em" preserveAspectRatio="xMidYMid meet" viewBox="0 0 256 256"><path d="M167.594 88.393a8.001 8.001 0 0 1 0 11.314l-67.882 67.882a8 8 0 1 1-11.314-11.315l67.882-67.881a8.003 8.003 0 0 1 11.314 0zm-28.287 84.86l-28.284 28.284a40 40 0 0 1-56.567-56.567l28.284-28.284a8 8 0 0 0-11.315-11.315l-28.284 28.284a56 56 0 0 0 79.196 79.197l28.285-28.285a8 8 0 1 0-11.315-11.314zM212.852 43.14a56.002 56.002 0 0 0-79.196 0l-28.284 28.284a8 8 0 1 0 11.314 11.314l28.284-28.284a40 40 0 0 1 56.568 56.567l-28.285 28.285a8 8 0 0 0 11.315 11.314l28.284-28.284a56.065 56.065 0 0 0 0-79.196z" fill="currentColor"></path></svg><!----></span></a> <span>3. En el contexto de RL para LLMs, ¿qué representa una “acción”?</span></h3><!--]--><!----> <div><form><!--[--><label class="block"><input autocomplete="off" class="form-input -mt-1.5 mr-2" name="choice" type="checkbox" value="0"/> <!---->Generar palabras o elegir respuestas en una conversación<!----></label> <!--[-1--><!--]--><label class="block"><input autocomplete="off" class="form-input -mt-1.5 mr-2" name="choice" type="checkbox" value="1"/> <!---->Actualizar los pesos del modelo<!----></label> <!--[-1--><!--]--><label class="block"><input autocomplete="off" class="form-input -mt-1.5 mr-2" name="choice" type="checkbox" value="2"/> <!---->Procesar tokens de entrada<!----></label> <!--[-1--><!--]--><!--]--> <div class="flex flex-row items-center mt-3"><button class="btn px-4 mr-4" type="submit" disabled="">Submit</button> <!--[-1--><!--]--></div></form></div><!----> <!--[2--><h3 class="relative group"><a id="4-cuál-es-el-papel-de-la-recompensa-en-el-entrenamiento-con-rl-de-modelos-de-lenguaje" class="header-link block pr-1.5 text-lg no-hover:hidden with-hover:absolute with-hover:p-1.5 with-hover:opacity-0 with-hover:group-hover:opacity-100 with-hover:right-full" href="#4-cuál-es-el-papel-de-la-recompensa-en-el-entrenamiento-con-rl-de-modelos-de-lenguaje"><span><svg xmlns="http://www.w3.org/2000/svg" xmlns:xlink="http://www.w3.org/1999/xlink" aria-hidden="true" role="img" width="1em" height="1em" preserveAspectRatio="xMidYMid meet" viewBox="0 0 256 256"><path d="M167.594 88.393a8.001 8.001 0 0 1 0 11.314l-67.882 67.882a8 8 0 1 1-11.314-11.315l67.882-67.881a8.003 8.003 0 0 1 11.314 0zm-28.287 84.86l-28.284 28.284a40 40 0 0 1-56.567-56.567l28.284-28.284a8 8 0 0 0-11.315-11.315l-28.284 28.284a56 56 0 0 0 79.196 79.197l28.285-28.285a8 8 0 1 0-11.315-11.314zM212.852 43.14a56.002 56.002 0 0 0-79.196 0l-28.284 28.284a8 8 0 1 0 11.314 11.314l28.284-28.284a40 40 0 0 1 56.568 56.567l-28.285 28.285a8 8 0 0 0 11.315 11.314l28.284-28.284a56.065 56.065 0 0 0 0-79.196z" fill="currentColor"></path></svg><!----></span></a> <span>4. ¿Cuál es el papel de la recompensa en el entrenamiento con RL de modelos de lenguaje?</span></h3><!--]--><!----> <div><form><!--[--><label class="block"><input autocomplete="off" class="form-input -mt-1.5 mr-2" name="choice" type="checkbox" value="0"/> <!---->Proporcionar retroalimentación sobre qué tan bien se alinean las respuestas del modelo con el comportamiento deseado<!----></label> <!--[-1--><!--]--><label class="block"><input autocomplete="off" class="form-input -mt-1.5 mr-2" name="choice" type="checkbox" value="1"/> <!---->Medir el tamaño del vocabulario del modelo<!----></label> <!--[-1--><!--]--><label class="block"><input autocomplete="off" class="form-input -mt-1.5 mr-2" name="choice" type="checkbox" value="2"/> <!---->Determinar la velocidad de entrenamiento del modelo<!----></label> <!--[-1--><!--]--><!--]--> <div class="flex flex-row items-center mt-3"><button class="btn px-4 mr-4" type="submit" disabled="">Submit</button> <!--[-1--><!--]--></div></form></div><!----> <!--[2--><h3 class="relative group"><a id="5-qué-es-una-recompensa-en-el-contexto-de-rl-para-llms" class="header-link block pr-1.5 text-lg no-hover:hidden with-hover:absolute with-hover:p-1.5 with-hover:opacity-0 with-hover:group-hover:opacity-100 with-hover:right-full" href="#5-qué-es-una-recompensa-en-el-contexto-de-rl-para-llms"><span><svg xmlns="http://www.w3.org/2000/svg" xmlns:xlink="http://www.w3.org/1999/xlink" aria-hidden="true" role="img" width="1em" height="1em" preserveAspectRatio="xMidYMid meet" viewBox="0 0 256 256"><path d="M167.594 88.393a8.001 8.001 0 0 1 0 11.314l-67.882 67.882a8 8 0 1 1-11.314-11.315l67.882-67.881a8.003 8.003 0 0 1 11.314 0zm-28.287 84.86l-28.284 28.284a40 40 0 0 1-56.567-56.567l28.284-28.284a8 8 0 0 0-11.315-11.315l-28.284 28.284a56 56 0 0 0 79.196 79.197l28.285-28.285a8 8 0 1 0-11.315-11.314zM212.852 43.14a56.002 56.002 0 0 0-79.196 0l-28.284 28.284a8 8 0 1 0 11.314 11.314l28.284-28.284a40 40 0 0 1 56.568 56.567l-28.285 28.285a8 8 0 0 0 11.315 11.314l28.284-28.284a56.065 56.065 0 0 0 0-79.196z" fill="currentColor"></path></svg><!----></span></a> <span>5. ¿Qué es una recompensa en el contexto de RL para LLMs?</span></h3><!--]--><!----> <div><form><!--[--><label class="block"><input autocomplete="off" class="form-input -mt-1.5 mr-2" name="choice" type="checkbox" value="0"/> <!---->Una puntuación numérica que mide la calidad de una respuesta<!----></label> <!--[-1--><!--]--><label class="block"><input autocomplete="off" class="form-input -mt-1.5 mr-2" name="choice" type="checkbox" value="1"/> <!---->Una función que genera respuestas<!----></label> <!--[-1--><!--]--><label class="block"><input autocomplete="off" class="form-input -mt-1.5 mr-2" name="choice" type="checkbox" value="2"/> <!---->Un modelo que evalúa la calidad de las respuestas<!----></label> <!--[-1--><!--]--><!--]--> <div class="flex flex-row items-center mt-3"><button class="btn px-4 mr-4" type="submit" disabled="">Submit</button> <!--[-1--><!--]--></div></form></div><!----> <a class="!text-gray-400 !no-underline text-sm flex items-center not-prose mt-4" href="https://github.com/huggingface/course/blob/main/chapters/es/chapter12/2.mdx" target="_blank"><svg class="mr-1" xmlns="http://www.w3.org/2000/svg" aria-hidden="true" fill="currentColor" focusable="false" role="img" width="1em" height="1em" preserveAspectRatio="xMidYMid meet" viewBox="0 0 32 32"><path d="M31,16l-7,7l-1.41-1.41L28.17,16l-5.58-5.59L24,9l7,7z"></path><path d="M1,16l7-7l1.41,1.41L3.83,16l5.58,5.59L8,23l-7-7z"></path><path d="M12.419,25.484L17.639,6.552l1.932,0.518L14.351,26.002z"></path></svg><!----> <span><span class="underline">Update</span> on GitHub</span></a><!----> <p></p><!--]--><!----><!--]--><!--]--><!--]--> <!--[-1--><!--]--><!--]-->
			
			<script>
				{
					__sveltekit_mq53rw = {
						base: "/docs/course/pr_1355/es",
						assets: "/docs/course/pr_1355/es"
					};
					const element = document.currentScript.parentElement;
					Promise.all([
						import("/docs/course/pr_1355/es/_app/immutable/entry/start.T3MdRQ4G.js"),
						import("/docs/course/pr_1355/es/_app/immutable/entry/app.SbMH_Gmo.js")
					]).then(([kit, app]) => {
						kit.start(app, element, {
							node_ids: [0, 14],
							data: [null,null],
							form: null,
							error: null
						});
					});
				}
			</script>
		
Xet Storage Details

Size:: 50.1 kB
Xet hash:: 97492b50b3fc8ba7eb3dc5df1b22181a54f99dae9eda32e3f91e3f157bb85b8c
Xet efficiently stores files, intelligently splitting them into unique chunks and accelerating uploads and downloads. More info.