course/pr_1069/rum/_app/immutable/nodes/29.e264e2b6.js

import{s as fl,f as vl,o as Cl,n as dl}from"../chunks/scheduler.37c15a92.js";import{S as $l,i as Ml,g as r,s as l,r as s,A as gl,h as p,f as i,c as n,j as Ki,u as o,x as u,k as ut,y as bl,a,v as m,d as c,t as d,w as f}from"../chunks/index.2bf4358c.js";import{T as ml}from"../chunks/Tip.363c041f.js";import{C as cl}from"../chunks/CodeBlock.4e987730.js";import{Q as ot}from"../chunks/Question.e61af2ef.js";import{H as C,E as xl}from"../chunks/getInferenceSnippets.24b50994.js";function zl(pt){let v,x='Până la acel moment, toate LLM-urile populare necesitau o anumită ajustare fină supervizată, pe care am explorat-o în <a href="/course/chapter11/1">capitolul 11</a>.';return{c(){v=r("p"),v.innerHTML=x},l($){v=p($,"P",{"data-svelte-h":!0}),u(v)!=="svelte-5kywjs"&&(v.innerHTML=x)},m($,M){a($,v,M)},p:dl,d($){$&&i(v)}}}function Ul(pt){let v,x="Inovațiile cheie ale GRPO sunt:",$,M,z="<li>Învățarea direct din orice funcție sau model, eliminând dependența de un model de recompensă separat.</li> <li>Învățarea bazată pe grup, care este mai stabilă și eficientă decât metodele tradiționale cum ar fi comparațiile perechi.</li>";return{c(){v=r("p"),v.textContent=x,$=l(),M=r("ul"),M.innerHTML=z},l(g){v=p(g,"P",{"data-svelte-h":!0}),u(v)!=="svelte-1bh9i6x"&&(v.textContent=x),$=n(g),M=p(g,"UL",{"data-svelte-h":!0}),u(M)!=="svelte-etnefu"&&(M.innerHTML=z)},m(g,b){a(g,v,b),a(g,$,b),a(g,M,b)},p:dl,d(g){g&&(i(v),i($),i(M))}}}function Rl(pt){let v,x,$,M,z,g,b,ea="Acest capitol este un curs intensiv de lectură a unei lucrări. Vom parcurge lucrarea în termeni simpli, și apoi vom descompune conceptele cheie și concluziile.",mt,T,ta="DeepSeek R1 reprezintă un progres semnificativ în antrenarea modelelor de limbaj, în special în dezvoltarea capacităților de raționament prin învățarea prin întărire. Lucrarea introduce un nou algoritm de învățare prin întărire numit Optimizarea Relativă a Politicii de Grup (GRPO).",ct,j,ia='<img src="https://huggingface.co/reasoning-course/images/resolve/main/grpo/4.png" alt="DeepSeek R1 Overview"/>',dt,P,aa="În următorul capitol, vom construi pe această cunoaștere și vom implementa GRPO în practică.",ft,h,la="Obiectivul inițial al lucrării a fost să exploreze dacă învățarea prin întărire pură ar putea dezvolta capacități de raționament fără ajustarea fină supervizată.",vt,R,Ct,w,$t,L,na='<img src="https://huggingface.co/reasoning-course/images/resolve/main/grpo/9.png" alt="The &#39;Aha Moment&#39;"/>',Mt,_,ra="Una dintre cele mai remarcabile descoperiri în antrenarea R1-Zero a fost apariția unui fenomen cunoscut ca “Momentul Aha.” Acest fenomen este oarecum similar cu modul în care oamenii experimentează realizări bruște în timpul rezolvării problemelor. Iată cum funcționează:",gt,G,pa="<li>Încercare Inițială: Modelul face o încercare inițială de a rezolva o problemă</li> <li>Recunoaștere: Recunoaște erori potențiale sau inconsistențe</li> <li>Auto-Corecție: Își ajustează abordarea bazat pe această recunoaștere</li> <li>Explicație: Poate explica de ce noua abordare este mai bună</li>",bt,J,ua="Această descoperire rezonează cu cursanții și se simte ca un moment “Eureka”. Demonstrează învățarea mai degrabă decât memorarea simplă, așa că să ne luăm un moment să ne imaginăm cum se simte să ai un moment “Aha”.",xt,S,sa="De exemplu, imaginează-ți că încerci să rezolvi un puzzle:",zt,A,oa="<li>Prima încercare: “Această piesă ar trebui să meargă aici bazat pe culoare”</li> <li>Recunoaștere: “Dar stai, forma nu se potrivește destul de bine”</li> <li>Corecție: “Ah, de fapt merge acolo”</li> <li>Explicație: “Pentru că atât culoarea cât și modelul de formă se potrivesc în această poziție”</li>",Ut,H,ma="Această abilitate a apărut natural din antrenamentul RL, fără a fi programată explicit, demonstrând învățarea mai degrabă decât memorarea simplă a unui proces din datele de antrenare.",Rt,k,ca="Cel mai ușor mod de a înțelege momentul ‘Aha’ este să-l vezi în acțiune. Să aruncăm o privire la un exemplu. În chat-ul de mai jos, întrebăm modelul să rezolve o problemă și UI-ul arată procesul de gândire al modelului pe măsură ce rezolvă problema.",yt,U,da,Tt,B,fa='Dacă vrei să încerci Deepseek’s R1, poți de asemenea să consulți <a href="https://huggingface.co/chat/models/deepseek-ai/DeepSeek-R1-Distill-Qwen-32B" rel="nofollow">Hugging Chat</a>.',jt,Z,Pt,D,va="Antrenarea R1 a fost un proces cu mai multe faze. Să descompunem fazele și inovațiile cheie în fiecare fază.",ht,I,Ca="Procesul final rezultă în două modele:",wt,F,$a="<li>DeepSeek-R1-Zero: Un model antrenat pur folosind învățarea prin întărire.</li> <li>DeepSeek-R1: Un model care construiește pe fundația DeepSeek-R1-Zero și adaugă ajustare fină supervizată.</li>",Lt,W,Ma="<thead><tr><th>Caracteristică</th> <th>DeepSeek-R1-Zero</th> <th>DeepSeek-R1</th></tr></thead> <tbody><tr><td>Abordarea de Antrenare</td> <td>RL Pur</td> <td>Multi-fază (SFT + RL)</td></tr> <tr><td>Ajustare Fină</td> <td>Niciuna</td> <td>Ajustare fină supervizată</td></tr> <tr><td>Capacitate de Raționament</td> <td>Emergentă</td> <td>Îmbunătățită</td></tr> <tr><td>Performanța AIME</td> <td>71.0%</td> <td>79.8%</td></tr> <tr><td>Caracteristici Cheie</td> <td>Raționament puternic dar probleme de lizibilitate</td> <td>Consistență și lizibilitate mai bună a limbajului</td></tr></tbody>",_t,O,ga="În timp ce DeepSeek-R1-Zero demonstrează potențialul învățării prin întărire pure pentru dezvoltarea capacităților de raționament, DeepSeek-R1 construiește pe această fundație cu o abordare mai echilibrată care prioritizează atât performanța de raționament cât și utilizabilitatea.",Gt,Q,ba="Procesul de antrenare implică patru faze:",Jt,E,xa="<li>Faza de Pornire la Rece</li> <li>Faza RL de Raționament</li> <li>Faza de Eșantionare prin Respingere</li> <li>Faza RL Diversă</li>",St,V,za="Să descompunem fiecare fază:",At,N,Ht,X,Ua='<img src="https://huggingface.co/reasoning-course/images/resolve/main/grpo/5.png" alt="Cold Start Phase"/>',kt,Y,Ra="Această fază este concepută pentru a stabili o fundație solidă pentru lizibilitatea și calitatea răspunsurilor modelului. Folosește un set de date mic de eșantioane de înaltă calitate de la R1-Zero pentru a ajusta fin modelul V3-Base. Începând cu modelul DeepSeek-V3-Base, echipa a folosit mii de eșantioane validate, de înaltă calitate de la R1-Zero pentru ajustarea fină supervizată. Această abordare inovatoare folosește un set de date mic dar de înaltă calitate pentru a stabili o lizibilitate de bază puternică și calitatea răspunsurilor.",Bt,q,Zt,K,ya='<img src="https://huggingface.co/reasoning-course/images/resolve/main/grpo/6.png" alt="Reasoning RL Phase"/>',Dt,ee,Ta="Faza RL de Raționament se concentrează pe dezvoltarea capacităților de raționament de bază în domenii incluzând matematica, codarea, știința și logica. Această fază folosește învățarea prin întărire bazată pe reguli, cu recompense direct legate de corectitudinea soluției.",It,te,ja="Crucial, toate sarcinile din această fază sunt ‘verificabile’ deci putem verifica dacă răspunsul modelului este corect sau nu. De exemplu, în cazul matematicii, putem verifica dacă răspunsul modelului este corect folosind un rezolvitor matematic.",Ft,ie,Pa="Ceea ce face această fază deosebit de inovatoare este abordarea sa de optimizare directă care elimină nevoia unui model de recompensă separat, simplificând procesul de antrenare.",Wt,ae,Ot,le,ha='<img src="https://huggingface.co/reasoning-course/images/resolve/main/grpo/7.png" alt="Rejection Sampling Phase"/>',Qt,ne,wa="În timpul Fazei de Eșantionare prin Respingere, modelul generează eșantioane care sunt apoi filtrate printr-un proces de control al calității. DeepSeek-V3 servește ca judecător al calității, evaluând rezultatele într-un domeniu larg care se extinde dincolo de sarcinile pure de raționament. Datele filtrate sunt apoi folosite pentru ajustarea fină supervizată. Inovația acestei faze constă în abilitatea sa de a combina multiple semnale de calitate pentru a asigura rezultate de înalt standard.",Et,re,Vt,pe,La='<img src="https://huggingface.co/reasoning-course/images/resolve/main/grpo/8.png" alt="Diverse RL Phase"/>',Nt,ue,_a="Faza finală RL Diversă abordează multiple tipuri de sarcini folosind o abordare hibridă sofisticată. Pentru sarcinile deterministe, folosește recompense bazate pe reguli, în timp ce sarcinile subiective sunt evaluate prin feedback LLM. Această fază își propune să atingă alinierea preferințelor umane prin abordarea sa inovatoare de recompense hibride, combinând precizia sistemelor bazate pe reguli cu flexibilitatea evaluării modelelor de limbaj.",Xt,se,Yt,oe,Ga="Acum că avem o înțelegere bună a procesului de antrenare, să privim algoritmul care a fost folosit pentru a antrena modelul.",qt,me,Ja="Autorii descriu GRPO ca o descoperire în ajustarea fină a modelelor:",Kt,ce,Sa='<img src="https://huggingface.co/reasoning-course/images/resolve/main/grpo/10.png" alt="GRPO Process"/>',ei,de,Aa="Noutatea GRPO constă în capacitatea sa de a “optimiza direct pentru rectificarea preferințelor.” Aceasta semnifică o rută mai directă și eficientă către alinierea modelului cu rezultatele dorite, contrastând cu algoritmii tradiționali de Învățare prin Întărire precum PPO. Să descompunem cum funcționează GRPO prin cele trei componente principale ale sale.",ti,fe,ii,ve,Ha="Primul pas în GRPO este remarcabil de intuitiv - este similar cu modul în care un student ar putea rezolva o problemă dificilă încercând multiple abordări. Când primește o comandă, modelul nu generează doar un răspuns; în schimb, creează multiple încercări de a rezolva aceeași problemă (de obicei 4, 8 sau 16 încercări diferite).",ai,Ce,ka="Imaginează-ți că înveți un model să rezolve probleme de matematică. Pentru o întrebare despre numărarea puilor de pe o fermă, modelul ar putea genera mai multe soluții diferite:",li,$e,Ba="<li>O soluție ar putea descompune problema pas cu pas: prima numărarea puilor totali, apoi scăderea cocoșilor, și în final contabilizarea găinilor care nu produc ouă</li> <li>Altă soluție ar putea folosi o abordare diferită dar la fel de validă</li> <li>Unele încercări ar putea conține greșeli sau soluții mai puțin eficiente</li>",ni,Me,Za="Toate aceste încercări sunt păstrate împreună ca grup, aproape ca să ai mai mulți studenti cu soluții de comparat și din care să înveți.",ri,ge,Da='<img src="https://huggingface.co/reasoning-course/images/resolve/main/grpo/11.jpg" alt="Group Formation"/>',pi,be,ui,xe,Ia="Aici este unde GRPO cu adevărat strălucește în simplitatea sa. Spre deosebire de alte metode pentru RLHF care întotdeauna necesită un model de recompensă separat pentru a prezice cât de bună ar putea fi o soluție, GRPO poate folosi orice funcție sau model pentru a evalua calitatea unei soluții. De exemplu, am putea folosi o funcție de lungime pentru a recompensa răspunsuri mai scurte sau un rezolvitor matematic pentru a recompensa soluții matematice precise.",si,ze,Fa="Procesul de evaluare privește la diverse aspecte ale fiecărei soluții:",oi,Ue,Wa="<li>Este răspunsul final corect?</li> <li>A urmat soluția formatarea corespunzătoare (cum ar fi folosirea tag-urilor XML corecte)?</li> <li>Se potrivește raționamentul cu răspunsul oferit?</li>",mi,Re,Oa="Ceea ce face această abordare deosebit de inteligentă este modul în care gestionează evaluarea. În loc să dea doar scoruri absolute, GRPO normalizează recompensele în cadrul fiecărui grup. Folosește o formulă simplă dar eficientă pentru estimarea avantajului relativ al grupului:",ci,ye,di,Te,Qa='<img src="https://huggingface.co/reasoning-course/images/resolve/main/grpo/12.jpg" alt="Preference Learning"/>',fi,je,Ea="Această normalizare este ca să notezi pe o curbă, dar pentru AI. Ajută modelul să înțeleagă care soluții din cadrul grupului au fost mai bune sau mai rele comparativ cu colegii lor, mai degrabă decât să se uite doar la scoruri absolute.",vi,Pe,Ci,he,Va="Pasul final este unde GRPO îi învață modelul să se îmbunătățească bazat pe ceea ce a învățat din evaluarea grupului de soluții. Acest proces este atât puternic cât și stabil, folosind două principii principale:",$i,we,Na="<li>Încurajează modelul să producă mai multe soluții ca cele de succes în timp ce se îndepărtează de abordările mai puțin eficiente</li> <li>Include un mecanism de siguranță (numit penalitate de divergență KL) care previne modelul să se schimbe prea drastic dintr-o dată</li>",Mi,Le,Xa="Această abordare se dovedește mai stabilă decât metodele tradiționale pentru că:",gi,_e,Ya="<li>Se uită la multiple soluții împreună mai degrabă decât să compare doar două pe rând</li> <li>Normalizarea bazată pe grup ajută la prevenirea problemelor cu scalarea recompenselor</li> <li>Penalitatea KL acționează ca o plasă de siguranță, asigurându-se că modelul nu uită ce știa deja în timp ce învață lucruri noi</li>",bi,y,xi,Ge,qa="Această descompunere este complexă, dar concluzia cheie este că GRPO este o modalitate mai eficientă și stabilă de a antrena un model să raționeze.",zi,Je,Ui,Se,Ka="Acum că înțelegem componentele cheie ale GRPO, să privim algoritmul în pseudocod. Aceasta este o versiune simplificată a algoritmului, dar surprinde ideile cheie.",Ri,Ae,yi,He,el="Acest algoritm arată cum GRPO combină estimarea avantajului bazat pe grup cu optimizarea politicii menținând în același timp stabilitatea prin tăiere și constrângeri de divergență KL.",Ti,ke,ji,Be,tl="Acum că am explorat algoritmul, să privim rezultatele. DeepSeek R1 atinge performanțe de ultimă generație în multiple domenii:",Pi,Ze,il="<thead><tr><th>Domeniu</th> <th>Rezultate Cheie</th></tr></thead> <tbody><tr><td>Matematică</td> <td>• 79.8% pe AIME 2024<br/>• 97.3% pe MATH-500</td></tr> <tr><td>Codare</td> <td>• Rating Codeforces: 2029<br/>• LiveCodeBench: 65.9%</td></tr> <tr><td>Cunoștințe Generale</td> <td>• MMLU: 90.8%<br/>• GPQA Diamond: 71.5%</td></tr> <tr><td>Sarcini de Limbaj</td> <td>• AlpacaEval 2.0: 87.6% rată de câștig<br/>• FRAMES: 82.5%</td></tr></tbody>",hi,De,al="Impactul practic al modelului se extinde dincolo de benchmark-uri prin prețurile sale cost-eficiente ale API-ului ($0.14 per milion de token-uri de intrare) și distilarea cu succes a modelului în diverse dimensiuni (1.5B la 70B parametri). În mod notabil, chiar și modelul de 7B atinge 55.5% pe AIME 2024, în timp ce versiunea distilată de 70B se apropie de performanța o1-mini pe MATH-500 (94.5%), demonstrând conservarea eficientă a capacităților la diferite scale.",wi,Ie,Li,Fe,ll="În timp ce GRPO reprezintă un progres semnificativ în învățarea prin întărire pentru modelele de limbaj, este important să înțelegem limitările și provocările sale:",_i,We,nl="<li><strong>Costul Generării</strong>: Generarea de multiple completări (4-16) pentru fiecare prompt crește cerințele computaționale comparativ cu metodele care generează doar una sau două completări.</li> <li><strong>Constrângerile Dimensiunii Lotului</strong>: Nevoia de a procesa grupuri de completări împreună poate limita dimensiunile eficiente ale loturilor, adăugând complexitate procesului de antrenare și potențial încetinind antrenarea.</li> <li><strong>Designul Funcției de Recompensă</strong>: Calitatea antrenamentului depinde foarte mult de funcții de recompensă bine concepute. Recompensele prost concepute pot duce la comportamente neintenționate sau optimizarea pentru obiectivele greșite.</li> <li><strong>Compromisurile Dimensiunii Grupului</strong>: Alegerea dimensiunii optime a grupului implică echilibrarea diversității soluțiilor împotriva costului computațional. Prea puține eșantioane s-ar putea să nu ofere suficientă diversitate, în timp ce prea multe cresc timpul de antrenare și cerințele de resurse.</li> <li><strong>Reglarea Divergenței KL</strong>: Găsirea echilibrului potrivit pentru penalitatea divergenței KL necesită reglare atentă - prea mare și modelul nu va învăța eficient, prea mică și poate devia prea departe de capacitățile sale inițiale.</li>",Gi,Oe,Ji,Qe,rl="Lucrarea DeepSeek R1 reprezintă o piatră de hotar semnificativă în dezvoltarea modelelor de limbaj. Algoritmul Group Relative Policy Optimization (GRPO) a demonstrat că învățarea prin întărire pură poate într-adevăr dezvolta capacități puternice de raționament, provocând presupunerile anterioare despre necesitatea ajustării fine supervizate.",Si,Ee,pl="Poate cel mai important, DeepSeek R1 a arătat că este posibil să echilibrezi performanța înaltă cu considerații practice precum cost-eficiența și accesibilitatea. Distilarea cu succes a capacităților modelului în diferite dimensiuni, de la 1.5B la 70B parametri, demonstrează o cale înainte pentru a face capacitățile AI avansate mai larg disponibile.",Ai,Hi,ki,Ve,ul="În următoarea secțiune, vom explora implementări practice ale acestor concepte, concentrându-ne pe cum să folosești GRPO și RFTrans în propriile tale proiecte de dezvoltare a modelelor de limbaj.",Bi,Ne,Zi,Xe,Di,Ye,Ii,qe,Fi,Ke,Wi,et,Oi,tt,Qi,it,Ei,at,Vi,lt,Ni,nt,Xi,rt,Yi,st,qi;return z=new C({props:{title:"Înțelegerea Lucrării DeepSeek R1",local:"înțelegerea-lucrării-deepseek-r1",headingTag:"h1"}}),R=new ml({props:{$$slots:{default:[zl]},$$scope:{ctx:pt}}}),w=new C({props:{title:"Momentul Revoluționar ‘Aha’",local:"momentul-revoluționar-aha",headingTag:"h2"}}),Z=new C({props:{title:"Procesul de Antrenare",local:"procesul-de-antrenare",headingTag:"h2"}}),N=new C({props:{title:"Faza de Pornire la Rece (Fundația Calității)",local:"faza-de-pornire-la-rece-fundația-calității",headingTag:"h3"}}),q=new C({props:{title:"Faza RL de Raționament (Construirea Capacităților)",local:"faza-rl-de-raționament-construirea-capacităților",headingTag:"h3"}}),ae=new C({props:{title:"Faza de Eșantionare prin Respingere (Controlul Calității)",local:"faza-de-eșantionare-prin-respingere-controlul-calității",headingTag:"h3"}}),re=new C({props:{title:"Faza RL Diversă (Alinierea Largă)",local:"faza-rl-diversă-alinierea-largă",headingTag:"h3"}}),se=new C({props:{title:"Algoritmul: Optimizarea Relativă a Politicii de Grup (GRPO)",local:"algoritmul-optimizarea-relativă-a-politicii-de-grup-grpo",headingTag:"h2"}}),fe=new C({props:{title:"Formarea Grupurilor: Crearea de Multiple Soluții",local:"formarea-grupurilor-crearea-de-multiple-soluții",headingTag:"h3"}}),be=new C({props:{title:"Învățarea Preferințelor: Înțelegerea Ce Face o Soluție Bună",local:"învățarea-preferințelor-înțelegerea-ce-face-o-soluție-bună",headingTag:"h3"}}),ye=new cl({props:{code:"QXZhbnRhaiUyMCUzRCUyMChyZWNvbXBlbnMlQzQlODMlMjAtJTIwbWVhbihyZWNvbXBlbnNlX2dydXApKSUyMCUyRiUyMHN0ZChyZWNvbXBlbnNlX2dydXAp",highlighted:'<span class="hljs-variable">Avantaj</span> = (<span class="hljs-variable">recompens</span>ă - <span class="hljs-function"><span class="hljs-title">mean</span>(<span class="hljs-variable">recompense_grup</span>)) / <span class="hljs-title">std</span>(<span class="hljs-variable">recompense_grup</span>)</span>',wrap:!1}}),Pe=new C({props:{title:"Optimizarea: Învățarea din Experiență",local:"optimizarea-învățarea-din-experiență",headingTag:"h3"}}),y=new ml({props:{$$slots:{default:[Ul]},$$scope:{ctx:pt}}}),Je=new C({props:{title:"Algoritmul GRPO în Pseudocod",local:"algoritmul-grpo-în-pseudocod",headingTag:"h3"}}),Ae=new cl({props:{code:"SW5wdXQlM0ElMjAlMEEtJTIwaW5pdGlhbF9wb2xpY3klM0ElMjBNb2RlbHVsJTIwZGUlMjAlQzMlQUVuY2VwdXQlMjBjYXJlJTIwdmElMjBmaSUyMGFudHJlbmF0JTBBLSUyMHJld2FyZF9mdW5jdGlvbiUzQSUyMEZ1bmMlQzglOUJpYSUyMGNhcmUlMjBldmFsdWVheiVDNCU4MyUyMHJlenVsdGF0ZWxlJTBBLSUyMHRyYWluaW5nX3Byb21wdHMlM0ElMjBTZXQlMjBkZSUyMGV4ZW1wbGUlMjBkZSUyMGFudHJlbmFyZSUwQS0lMjBncm91cF9zaXplJTNBJTIwTnVtJUM0JTgzcnVsJTIwZGUlMjByZXp1bHRhdGUlMjBwZXIlMjBjb21hbmQlQzQlODMlMjAoZGUlMjBvYmljZWklMjA0LTE2KSUwQSUwQUFsZ29yaXRtJTIwR1JQTyUzQSUwQTEuJTIwUGVudHJ1JTIwZmllY2FyZSUyMGl0ZXJhJUM4JTlCaWUlMjBkZSUyMGFudHJlbmFyZSUzQSUwQSUyMCUyMCUyMGEuJTIwU2V0ZWF6JUM0JTgzJTIwcmVmZXJlbmNlX3BvbGljeSUyMCUzRCUyMGluaXRpYWxfcG9saWN5JTIwKGNhcHR1cmElMjBwb2xpdGljYSUyMGFjdHVhbCVDNCU4MyklMEElMjAlMjAlMjBiLiUyMFBlbnRydSUyMGZpZWNhcmUlMjBjb21hbmQlQzQlODMlMjAlQzMlQUVuJTIwbG90JTNBJTBBJTIwJTIwJTIwJTIwJTIwJTIwaS4lMjBHZW5lcmVheiVDNCU4MyUyMGdyb3VwX3NpemUlMjByZXp1bHRhdGUlMjBkaWZlcml0ZSUyMGZvbG9zaW5kJTIwaW5pdGlhbF9wb2xpY3klMEElMjAlMjAlMjAlMjAlMjAlMjBpaS4lMjBDYWxjdWxlYXolQzQlODMlMjByZWNvbXBlbnNlbGUlMjBwZW50cnUlMjBmaWVjYXJlJTIwcmV6dWx0YXQlMjBmb2xvc2luZCUyMHJld2FyZF9mdW5jdGlvbiUwQSUyMCUyMCUyMCUyMCUyMCUyMGlpaS4lMjBOb3JtYWxpemVheiVDNCU4MyUyMHJlY29tcGVuc2VsZSUyMCVDMyVBRW4lMjBjYWRydWwlMjBncnVwdWx1aSUzQSUwQSUyMCUyMCUyMCUyMCUyMCUyMCUyMCUyMCUyMCUyMCUyMG5vcm1hbGl6ZWRfYWR2YW50YWdlJTIwJTNEJTIwKHJlY29tcGVucyVDNCU4MyUyMC0lMjBtZWFuKHJlY29tcGVuc2UpKSUyMCUyRiUyMHN0ZChyZWNvbXBlbnNlKSUwQSUyMCUyMCUyMCUyMCUyMCUyMGl2LiUyMEFjdHVhbGl6ZWF6JUM0JTgzJTIwcG9saXRpY2ElMjBtYXhpbWl6JUMzJUEybmQlMjByYSVDOCU5QmlhJTIwdCVDNCU4M2lhdCVDNCU4MyUzQSUwQSUyMCUyMCUyMCUyMCUyMCUyMCUyMCUyMCUyMCUyMG1pbihwcm9iX3JhdGlvJTIwKiUyMG5vcm1hbGl6ZWRfYWR2YW50YWdlJTJDJTIwJTBBJTIwJTIwJTIwJTIwJTIwJTIwJTIwJTIwJTIwJTIwJTIwJTIwJTIwJTIwY2xpcChwcm9iX3JhdGlvJTJDJTIwMS1lcHNpbG9uJTJDJTIwMSUyQmVwc2lsb24pJTIwKiUyMG5vcm1hbGl6ZWRfYWR2YW50YWdlKSUwQSUyMCUyMCUyMCUyMCUyMCUyMCUyMCUyMCUyMCUyMC0lMjBrbF93ZWlnaHQlMjAqJTIwS0woaW5pdGlhbF9wb2xpY3klMjAlN0MlN0MlMjByZWZlcmVuY2VfcG9saWN5KSUwQSUyMCUyMCUyMCUyMCUyMCUyMCUyMCUyMCUyMCUyMCUwQSUyMCUyMCUyMCUyMCUyMCUyMCUyMCUyMCUyMCUyMHVuZGUlMjBwcm9iX3JhdGlvJTIwZXN0ZSUyMGN1cnJlbnRfcHJvYiUyMCUyRiUyMHJlZmVyZW5jZV9wcm9iJTBBJTBBT3V0cHV0JTNBJTIwTW9kZWwlMjBkZSUyMHBvbGl0aWMlQzQlODMlMjBvcHRpbWl6YXQ=",highlighted:`Input: 
- initial_policy: Modelul de început care va fi antrenat
- reward_function: Funcția care evaluează rezultatele
- training_prompts: <span class="hljs-keyword">Set</span> de <span class="hljs-comment">exemple de antrenare</span>
- group_size: Numărul <span class="hljs-comment">de rezultate per comand</span>ă <span class="hljs-comment">(de obicei 4-16)</span>

Algoritm <span class="hljs-comment">GRPO:</span>
1. Pentru <span class="hljs-comment">fiecare itera</span>ț<span class="hljs-comment">ie de antrenare:</span>
   a. Setează reference_policy <span class="hljs-comment">= initial_policy (captura politica actual</span>ă<span class="hljs-comment">)</span>
   b. Pentru <span class="hljs-comment">fiecare comand</span>ă î<span class="hljs-comment">n lot:</span>
      i. Generează group_size <span class="hljs-comment">rezultate diferite folosind initial_policy</span>
      ii. Calculează recompensele <span class="hljs-comment">pentru fiecare rezultat folosind reward_function</span>
      iii. Normalizează recompensele î<span class="hljs-comment">n cadrul grupului:</span>
           normalized_advantage <span class="hljs-comment">= (recompens</span>ă <span class="hljs-comment">- mean(recompense))</span> / std(recompense)
      iv. Actualizează politica maximizând rația tăiată:
          <span class="hljs-built_in">min</span>(prob_ratio * normalized_advantage, 
              clip(prob_ratio, <span class="hljs-number">1</span>-epsilon, <span class="hljs-number">1</span>+epsilon) * normalized_advantage)
          - kl_weight * KL(initial_policy || reference_policy)
          
          unde prob_ratio este current_prob / <span class="hljs-comment">reference_prob</span>

Output: Model <span class="hljs-comment">de politic</span>ă <span class="hljs-comment">optimizat</span>`,wrap:!1}}),ke=new C({props:{title:"Rezultate și Impact",local:"rezultate-și-impact",headingTag:"h2"}}),Ie=new C({props:{title:"Limitări și Provocări ale GRPO",local:"limitări-și-provocări-ale-grpo",headingTag:"h2"}}),Oe=new C({props:{title:"Concluzie",local:"concluzie",headingTag:"h2"}}),Ne=new C({props:{title:"Quiz",local:"quiz",headingTag:"h2"}}),Xe=new C({props:{title:"1. Care este principala inovație a lucrării DeepSeek R1?",local:"1-care-este-principala-inovație-a-lucrării-deepseek-r1",headingTag:"h3"}}),Ye=new ot({props:{choices:[{text:"Algoritmul GRPO care permite învățarea din preferințe cu și fără un model de recompensă",explain:"Corect! Inovația cheie a GRPO este capacitatea sa de a optimiza direct pentru rectificarea preferințelor, făcându-l mai eficient decât metodele RL tradiționale.",correct:!0},{text:"Folosirea mai multor GPU-uri pentru antrenare decât orice model anterior",explain:"Inovația lucrării este în abordarea sa algoritmică (GRPO) mai degrabă decât în resursele computaționale folosite."},{text:"Crearea unui model de limbaj mai mare decât cele existente",explain:"Inovația constă în metodologia de antrenare și algoritmul GRPO, nu în dimensiunea modelului."}]}}),qe=new C({props:{title:"2. Care sunt cele patru faze ale procesului de antrenare DeepSeek R1?",local:"2-care-sunt-cele-patru-faze-ale-procesului-de-antrenare-deepseek-r1",headingTag:"h3"}}),Ke=new ot({props:{choices:[{text:"Pornire la Rece, RL de Raționament, Eșantionare prin Respingere și RL Diversă",explain:"Corect! Acestea sunt exact cele patru faze descrise în lucrare, fiecare servind un scop specific în pipeline-ul de antrenare.",correct:!0},{text:"Pre-antrenare, Ajustare Fină, Testare și Implementare",explain:"Lucrarea descrie în mod specific patru faze diferite: Pornire la Rece (fundația calității), RL de Raționament (construirea capacităților), Eșantionare prin Respingere (controlul calității) și RL Diversă (alinierea largă)."},{text:"Colectarea Datelor, Antrenarea Modelului, Evaluarea și Optimizarea",explain:"Lucrarea descrie un proces specific cu patru faze care include fazele de Pornire la Rece, RL de Raționament, Eșantionare prin Respingere și RL Diversă."}]}}),et=new C({props:{title:"3. Ce este fenomenul ‘Momentul Aha’ în antrenarea R1-Zero?",local:"3-ce-este-fenomenul-momentul-aha-în-antrenarea-r1-zero",headingTag:"h3"}}),tt=new ot({props:{choices:[{text:"Un proces în care modelul recunoaște erorile, se auto-corectează și explică corecturile sale",explain:"Corect! Lucrarea descrie aceasta ca un proces cu patru pași: încercare inițială, recunoașterea erorilor, auto-corecția și explicația îmbunătățirii.",correct:!0},{text:"Punctul în care modelul atinge performanța la nivel uman",explain:"'Momentul Aha' se referă în mod specific la capacitatea modelului de a recunoaște și corecta propriile greșeli, similar cu realizările umane în rezolvarea problemelor."},{text:"Când modelul își completează procesul de antrenare",explain:"'Momentul Aha' se referă la capacitatea emergentă a modelului de a recunoaște erorile și de a se auto-corecta în timpul rezolvării problemelor, nu despre completarea antrenării."}]}}),it=new C({props:{title:"4. Cum funcționează formarea grupurilor în GRPO?",local:"4-cum-funcționează-formarea-grupurilor-în-grpo",headingTag:"h3"}}),at=new ot({props:{choices:[{text:"Generează multiple soluții (4-16) pentru aceeași problemă și le evaluează împreună",explain:"Corect! GRPO generează multiple încercări de a rezolva aceeași problemă, de obicei 4, 8 sau 16 încercări diferite, care sunt apoi evaluate ca grup.",correct:!0},{text:"Combină multiple modele într-un ansamblu",explain:"GRPO folosește un singur model pentru a genera multiple încercări de soluție, nu un ansamblu de modele diferite."},{text:"Împarte datele de antrenare în grupuri diferite",explain:"Formarea grupurilor în GRPO implică generarea de multiple soluții pentru aceeași problemă, nu împărțirea datelor de antrenare."}]}}),lt=new C({props:{title:"5. Care este diferența cheie între DeepSeek-R1-Zero și DeepSeek-R1?",local:"5-care-este-diferența-cheie-între-deepseek-r1-zero-și-deepseek-r1",headingTag:"h3"}}),nt=new ot({props:{choices:[{text:"R1-Zero folosește RL pur în timp ce R1 combină RL cu ajustarea fină supervizată",explain:"Corect! După cum se arată în tabelul de comparație, R1-Zero folosește antrenare RL pură în timp ce R1 folosește o abordare multi-fază combinând ajustarea fină supervizată cu RL, rezultând în consistență mai bună a limbajului.",correct:!0},{text:"R1-Zero este mai mic decât R1",explain:"Diferența este în abordările lor de antrenare (RL pur vs. multi-fază), nu în dimensiunile modelelor lor."},{text:"R1-Zero a fost antrenat pe mai puține date",explain:"Distincția cheie este metodologia lor de antrenare: RL pur pentru R1-Zero versus o abordare combinată SFT și RL pentru R1."}]}}),rt=new xl({props:{source:"https://github.com/huggingface/course/blob/main/chapters/rum/chapter12/3.mdx"}}),{c(){v=r("meta"),x=l(),$=r("p"),M=l(),s(z.$$.fragment),g=l(),b=r("p"),b.textContent=ea,mt=l(),T=r("p"),T.textContent=ta,ct=l(),j=r("p"),j.innerHTML=ia,dt=l(),P=r("p"),P.textContent=aa,ft=l(),h=r("p"),h.textContent=la,vt=l(),s(R.$$.fragment),Ct=l(),s(w.$$.fragment),$t=l(),L=r("p"),L.innerHTML=na,Mt=l(),_=r("p"),_.textContent=ra,gt=l(),G=r("ol"),G.innerHTML=pa,bt=l(),J=r("p"),J.textContent=ua,xt=l(),S=r("p"),S.textContent=sa,zt=l(),A=r("ul"),A.innerHTML=oa,Ut=l(),H=r("p"),H.textContent=ma,Rt=l(),k=r("p"),k.textContent=ca,yt=l(),U=r("iframe"),Tt=l(),B=r("p"),B.innerHTML=fa,jt=l(),s(Z.$$.fragment),Pt=l(),D=r("p"),D.textContent=va,ht=l(),I=r("p"),I.textContent=Ca,wt=l(),F=r("ul"),F.innerHTML=$a,Lt=l(),W=r("table"),W.innerHTML=Ma,_t=l(),O=r("p"),O.textContent=ga,Gt=l(),Q=r("p"),Q.textContent=ba,Jt=l(),E=r("ol"),E.innerHTML=xa,St=l(),V=r("p"),V.textContent=za,At=l(),s(N.$$.fragment),Ht=l(),X=r("p"),X.innerHTML=Ua,kt=l(),Y=r("p"),Y.textContent=Ra,Bt=l(),s(q.$$.fragment),Zt=l(),K=r("p"),K.innerHTML=ya,Dt=l(),ee=r("p"),ee.textContent=Ta,It=l(),te=r("p"),te.textContent=ja,Ft=l(),ie=r("p"),ie.textContent=Pa,Wt=l(),s(ae.$$.fragment),Ot=l(),le=r("p"),le.innerHTML=ha,Qt=l(),ne=r("p"),ne.textContent=wa,Et=l(),s(re.$$.fragment),Vt=l(),pe=r("p"),pe.innerHTML=La,Nt=l(),ue=r("p"),ue.textContent=_a,Xt=l(),s(se.$$.fragment),Yt=l(),oe=r("p"),oe.textContent=Ga,qt=l(),me=r("p"),me.textContent=Ja,Kt=l(),ce=r("p"),ce.innerHTML=Sa,ei=l(),de=r("p"),de.textContent=Aa,ti=l(),s(fe.$$.fragment),ii=l(),ve=r("p"),ve.textContent=Ha,ai=l(),Ce=r("p"),Ce.textContent=ka,li=l(),$e=r("ul"),$e.innerHTML=Ba,ni=l(),Me=r("p"),Me.textContent=Za,ri=l(),ge=r("p"),ge.innerHTML=Da,pi=l(),s(be.$$.fragment),ui=l(),xe=r("p"),xe.textContent=Ia,si=l(),ze=r("p"),ze.textContent=Fa,oi=l(),Ue=r("ul"),Ue.innerHTML=Wa,mi=l(),Re=r("p"),Re.textContent=Oa,ci=l(),s(ye.$$.fragment),di=l(),Te=r("p"),Te.innerHTML=Qa,fi=l(),je=r("p"),je.textContent=Ea,vi=l(),s(Pe.$$.fragment),Ci=l(),he=r("p"),he.textContent=Va,$i=l(),we=r("ol"),we.innerHTML=Na,Mi=l(),Le=r("p"),Le.textContent=Xa,gi=l(),_e=r("ul"),_e.innerHTML=Ya,bi=l(),s(y.$$.fragment),xi=l(),Ge=r("p"),Ge.textContent=qa,zi=l(),s(Je.$$.fragment),Ui=l(),Se=r("p"),Se.textContent=Ka,Ri=l(),s(Ae.$$.fragment),yi=l(),He=r("p"),He.textContent=el,Ti=l(),s(ke.$$.fragment),ji=l(),Be=r("p"),Be.textContent=tl,Pi=l(),Ze=r("table"),Ze.innerHTML=il,hi=l(),De=r("p"),De.textContent=al,wi=l(),s(Ie.$$.fragment),Li=l(),Fe=r("p"),Fe.textContent=ll,_i=l(),We=r("ul"),We.innerHTML=nl,Gi=l(),s(Oe.$$.fragment),Ji=l(),Qe=r("p"),Qe.textContent=rl,Si=l(),Ee=r("p"),Ee.textContent=pl,Ai=l(),Hi=r("hr"),ki=l(),Ve=r("p"),Ve.textContent=ul,Bi=l(),s(Ne.$$.fragment),Zi=l(),s(Xe.$$.fragment),Di=l(),s(Ye.$$.fragment),Ii=l(),s(qe.$$.fragment),Fi=l(),s(Ke.$$.fragment),Wi=l(),s(et.$$.fragment),Oi=l(),s(tt.$$.fragment),Qi=l(),s(it.$$.fragment),Ei=l(),s(at.$$.fragment),Vi=l(),s(lt.$$.fragment),Ni=l(),s(nt.$$.fragment),Xi=l(),s(rt.$$.fragment),Yi=l(),st=r("p"),this.h()},l(e){const t=gl("svelte-u9bgzb",document.head);v=p(t,"META",{name:!0,content:!0}),t.forEach(i),x=n(e),$=p(e,"P",{}),Ki($).forEach(i),M=n(e),o(z.$$.fragment,e),g=n(e),b=p(e,"P",{"data-svelte-h":!0}),u(b)!=="svelte-1up2llh"&&(b.textContent=ea),mt=n(e),T=p(e,"P",{"data-svelte-h":!0}),u(T)!=="svelte-154tkb9"&&(T.textContent=ta),ct=n(e),j=p(e,"P",{"data-svelte-h":!0}),u(j)!=="svelte-twqc21"&&(j.innerHTML=ia),dt=n(e),P=p(e,"P",{"data-svelte-h":!0}),u(P)!=="svelte-j2a4x9"&&(P.textContent=aa),ft=n(e),h=p(e,"P",{"data-svelte-h":!0}),u(h)!=="svelte-ds33jb"&&(h.textContent=la),vt=n(e),o(R.$$.fragment,e),Ct=n(e),o(w.$$.fragment,e),$t=n(e),L=p(e,"P",{"data-svelte-h":!0}),u(L)!=="svelte-1xpbuvl"&&(L.innerHTML=na),Mt=n(e),_=p(e,"P",{"data-svelte-h":!0}),u(_)!=="svelte-puzsmu"&&(_.textContent=ra),gt=n(e),G=p(e,"OL",{"data-svelte-h":!0}),u(G)!=="svelte-iqagb9"&&(G.innerHTML=pa),bt=n(e),J=p(e,"P",{"data-svelte-h":!0}),u(J)!=="svelte-ebegi5"&&(J.textContent=ua),xt=n(e),S=p(e,"P",{"data-svelte-h":!0}),u(S)!=="svelte-1ks3d4m"&&(S.textContent=sa),zt=n(e),A=p(e,"UL",{"data-svelte-h":!0}),u(A)!=="svelte-n2gfmx"&&(A.innerHTML=oa),Ut=n(e),H=p(e,"P",{"data-svelte-h":!0}),u(H)!=="svelte-7ezkjj"&&(H.textContent=ma),Rt=n(e),k=p(e,"P",{"data-svelte-h":!0}),u(k)!=="svelte-76gbdl"&&(k.textContent=ca),yt=n(e),U=p(e,"IFRAME",{src:!0,frameborder:!0,width:!0,height:!0}),Ki(U).forEach(i),Tt=n(e),B=p(e,"P",{"data-svelte-h":!0}),u(B)!=="svelte-14slx9l"&&(B.innerHTML=fa),jt=n(e),o(Z.$$.fragment,e),Pt=n(e),D=p(e,"P",{"data-svelte-h":!0}),u(D)!=="svelte-17jak63"&&(D.textContent=va),ht=n(e),I=p(e,"P",{"data-svelte-h":!0}),u(I)!=="svelte-1gy8swh"&&(I.textContent=Ca),wt=n(e),F=p(e,"UL",{"data-svelte-h":!0}),u(F)!=="svelte-1gykvuk"&&(F.innerHTML=$a),Lt=n(e),W=p(e,"TABLE",{"data-svelte-h":!0}),u(W)!=="svelte-1ph8m7t"&&(W.innerHTML=Ma),_t=n(e),O=p(e,"P",{"data-svelte-h":!0}),u(O)!=="svelte-11ih738"&&(O.textContent=ga),Gt=n(e),Q=p(e,"P",{"data-svelte-h":!0}),u(Q)!=="svelte-1rib1j9"&&(Q.textContent=ba),Jt=n(e),E=p(e,"OL",{"data-svelte-h":!0}),u(E)!=="svelte-185298r"&&(E.innerHTML=xa),St=n(e),V=p(e,"P",{"data-svelte-h":!0}),u(V)!=="svelte-w8k4qz"&&(V.textContent=za),At=n(e),o(N.$$.fragment,e),Ht=n(e),X=p(e,"P",{"data-svelte-h":!0}),u(X)!=="svelte-6lbybj"&&(X.innerHTML=Ua),kt=n(e),Y=p(e,"P",{"data-svelte-h":!0}),u(Y)!=="svelte-fnu90r"&&(Y.textContent=Ra),Bt=n(e),o(q.$$.fragment,e),Zt=n(e),K=p(e,"P",{"data-svelte-h":!0}),u(K)!=="svelte-1n73fn0"&&(K.innerHTML=ya),Dt=n(e),ee=p(e,"P",{"data-svelte-h":!0}),u(ee)!=="svelte-1sp11g6"&&(ee.textContent=Ta),It=n(e),te=p(e,"P",{"data-svelte-h":!0}),u(te)!=="svelte-9ipik5"&&(te.textContent=ja),Ft=n(e),ie=p(e,"P",{"data-svelte-h":!0}),u(ie)!=="svelte-1cnn46s"&&(ie.textContent=Pa),Wt=n(e),o(ae.$$.fragment,e),Ot=n(e),le=p(e,"P",{"data-svelte-h":!0}),u(le)!=="svelte-17yoxfz"&&(le.innerHTML=ha),Qt=n(e),ne=p(e,"P",{"data-svelte-h":!0}),u(ne)!=="svelte-1ry8bjc"&&(ne.textContent=wa),Et=n(e),o(re.$$.fragment,e),Vt=n(e),pe=p(e,"P",{"data-svelte-h":!0}),u(pe)!=="svelte-wb3g6q"&&(pe.innerHTML=La),Nt=n(e),ue=p(e,"P",{"data-svelte-h":!0}),u(ue)!=="svelte-9kxbq6"&&(ue.textContent=_a),Xt=n(e),o(se.$$.fragment,e),Yt=n(e),oe=p(e,"P",{"data-svelte-h":!0}),u(oe)!=="svelte-l5insa"&&(oe.textContent=Ga),qt=n(e),me=p(e,"P",{"data-svelte-h":!0}),u(me)!=="svelte-8etxds"&&(me.textContent=Ja),Kt=n(e),ce=p(e,"P",{"data-svelte-h":!0}),u(ce)!=="svelte-1w1t5mr"&&(ce.innerHTML=Sa),ei=n(e),de=p(e,"P",{"data-svelte-h":!0}),u(de)!=="svelte-23u1x3"&&(de.textContent=Aa),ti=n(e),o(fe.$$.fragment,e),ii=n(e),ve=p(e,"P",{"data-svelte-h":!0}),u(ve)!=="svelte-lr6nqp"&&(ve.textContent=Ha),ai=n(e),Ce=p(e,"P",{"data-svelte-h":!0}),u(Ce)!=="svelte-vrx8p2"&&(Ce.textContent=ka),li=n(e),$e=p(e,"UL",{"data-svelte-h":!0}),u($e)!=="svelte-gpstr0"&&($e.innerHTML=Ba),ni=n(e),Me=p(e,"P",{"data-svelte-h":!0}),u(Me)!=="svelte-ukrjd9"&&(Me.textContent=Za),ri=n(e),ge=p(e,"P",{"data-svelte-h":!0}),u(ge)!=="svelte-149l4cn"&&(ge.innerHTML=Da),pi=n(e),o(be.$$.fragment,e),ui=n(e),xe=p(e,"P",{"data-svelte-h":!0}),u(xe)!=="svelte-1lcice"&&(xe.textContent=Ia),si=n(e),ze=p(e,"P",{"data-svelte-h":!0}),u(ze)!=="svelte-eemhk3"&&(ze.textContent=Fa),oi=n(e),Ue=p(e,"UL",{"data-svelte-h":!0}),u(Ue)!=="svelte-1e77glc"&&(Ue.innerHTML=Wa),mi=n(e),Re=p(e,"P",{"data-svelte-h":!0}),u(Re)!=="svelte-fklas2"&&(Re.textContent=Oa),ci=n(e),o(ye.$$.fragment,e),di=n(e),Te=p(e,"P",{"data-svelte-h":!0}),u(Te)!=="svelte-163dfc7"&&(Te.innerHTML=Qa),fi=n(e),je=p(e,"P",{"data-svelte-h":!0}),u(je)!=="svelte-1mg357a"&&(je.textContent=Ea),vi=n(e),o(Pe.$$.fragment,e),Ci=n(e),he=p(e,"P",{"data-svelte-h":!0}),u(he)!=="svelte-1ov9rjb"&&(he.textContent=Va),$i=n(e),we=p(e,"OL",{"data-svelte-h":!0}),u(we)!=="svelte-1qhnvhy"&&(we.innerHTML=Na),Mi=n(e),Le=p(e,"P",{"data-svelte-h":!0}),u(Le)!=="svelte-r9tkfu"&&(Le.textContent=Xa),gi=n(e),_e=p(e,"UL",{"data-svelte-h":!0}),u(_e)!=="svelte-1gvej5e"&&(_e.innerHTML=Ya),bi=n(e),o(y.$$.fragment,e),xi=n(e),Ge=p(e,"P",{"data-svelte-h":!0}),u(Ge)!=="svelte-1ascbk0"&&(Ge.textContent=qa),zi=n(e),o(Je.$$.fragment,e),Ui=n(e),Se=p(e,"P",{"data-svelte-h":!0}),u(Se)!=="svelte-wjlv5h"&&(Se.textContent=Ka),Ri=n(e),o(Ae.$$.fragment,e),yi=n(e),He=p(e,"P",{"data-svelte-h":!0}),u(He)!=="svelte-6658ff"&&(He.textContent=el),Ti=n(e),o(ke.$$.fragment,e),ji=n(e),Be=p(e,"P",{"data-svelte-h":!0}),u(Be)!=="svelte-mcevdd"&&(Be.textContent=tl),Pi=n(e),Ze=p(e,"TABLE",{"data-svelte-h":!0}),u(Ze)!=="svelte-jkcxnw"&&(Ze.innerHTML=il),hi=n(e),De=p(e,"P",{"data-svelte-h":!0}),u(De)!=="svelte-1ljr6nd"&&(De.textContent=al),wi=n(e),o(Ie.$$.fragment,e),Li=n(e),Fe=p(e,"P",{"data-svelte-h":!0}),u(Fe)!=="svelte-1yn2hod"&&(Fe.textContent=ll),_i=n(e),We=p(e,"UL",{"data-svelte-h":!0}),u(We)!=="svelte-1gahle6"&&(We.innerHTML=nl),Gi=n(e),o(Oe.$$.fragment,e),Ji=n(e),Qe=p(e,"P",{"data-svelte-h":!0}),u(Qe)!=="svelte-jrw5p0"&&(Qe.textContent=rl),Si=n(e),Ee=p(e,"P",{"data-svelte-h":!0}),u(Ee)!=="svelte-1o0w31p"&&(Ee.textContent=pl),Ai=n(e),Hi=p(e,"HR",{}),ki=n(e),Ve=p(e,"P",{"data-svelte-h":!0}),u(Ve)!=="svelte-qo796"&&(Ve.textContent=ul),Bi=n(e),o(Ne.$$.fragment,e),Zi=n(e),o(Xe.$$.fragment,e),Di=n(e),o(Ye.$$.fragment,e),Ii=n(e),o(qe.$$.fragment,e),Fi=n(e),o(Ke.$$.fragment,e),Wi=n(e),o(et.$$.fragment,e),Oi=n(e),o(tt.$$.fragment,e),Qi=n(e),o(it.$$.fragment,e),Ei=n(e),o(at.$$.fragment,e),Vi=n(e),o(lt.$$.fragment,e),Ni=n(e),o(nt.$$.fragment,e),Xi=n(e),o(rt.$$.fragment,e),Yi=n(e),st=p(e,"P",{}),Ki(st).forEach(i),this.h()},h(){ut(v,"name","hf:doc:metadata"),ut(v,"content",yl),vl(U.src,da="https://reasoning-course-deepseek-ai-deepseek-r1-distill-0f5fad4.hf.space/")||ut(U,"src",da),ut(U,"frameborder","0"),ut(U,"width","850"),ut(U,"height","450")},m(e,t){bl(document.head,v),a(e,x,t),a(e,$,t),a(e,M,t),m(z,e,t),a(e,g,t),a(e,b,t),a(e,mt,t),a(e,T,t),a(e,ct,t),a(e,j,t),a(e,dt,t),a(e,P,t),a(e,ft,t),a(e,h,t),a(e,vt,t),m(R,e,t),a(e,Ct,t),m(w,e,t),a(e,$t,t),a(e,L,t),a(e,Mt,t),a(e,_,t),a(e,gt,t),a(e,G,t),a(e,bt,t),a(e,J,t),a(e,xt,t),a(e,S,t),a(e,zt,t),a(e,A,t),a(e,Ut,t),a(e,H,t),a(e,Rt,t),a(e,k,t),a(e,yt,t),a(e,U,t),a(e,Tt,t),a(e,B,t),a(e,jt,t),m(Z,e,t),a(e,Pt,t),a(e,D,t),a(e,ht,t),a(e,I,t),a(e,wt,t),a(e,F,t),a(e,Lt,t),a(e,W,t),a(e,_t,t),a(e,O,t),a(e,Gt,t),a(e,Q,t),a(e,Jt,t),a(e,E,t),a(e,St,t),a(e,V,t),a(e,At,t),m(N,e,t),a(e,Ht,t),a(e,X,t),a(e,kt,t),a(e,Y,t),a(e,Bt,t),m(q,e,t),a(e,Zt,t),a(e,K,t),a(e,Dt,t),a(e,ee,t),a(e,It,t),a(e,te,t),a(e,Ft,t),a(e,ie,t),a(e,Wt,t),m(ae,e,t),a(e,Ot,t),a(e,le,t),a(e,Qt,t),a(e,ne,t),a(e,Et,t),m(re,e,t),a(e,Vt,t),a(e,pe,t),a(e,Nt,t),a(e,ue,t),a(e,Xt,t),m(se,e,t),a(e,Yt,t),a(e,oe,t),a(e,qt,t),a(e,me,t),a(e,Kt,t),a(e,ce,t),a(e,ei,t),a(e,de,t),a(e,ti,t),m(fe,e,t),a(e,ii,t),a(e,ve,t),a(e,ai,t),a(e,Ce,t),a(e,li,t),a(e,$e,t),a(e,ni,t),a(e,Me,t),a(e,ri,t),a(e,ge,t),a(e,pi,t),m(be,e,t),a(e,ui,t),a(e,xe,t),a(e,si,t),a(e,ze,t),a(e,oi,t),a(e,Ue,t),a(e,mi,t),a(e,Re,t),a(e,ci,t),m(ye,e,t),a(e,di,t),a(e,Te,t),a(e,fi,t),a(e,je,t),a(e,vi,t),m(Pe,e,t),a(e,Ci,t),a(e,he,t),a(e,$i,t),a(e,we,t),a(e,Mi,t),a(e,Le,t),a(e,gi,t),a(e,_e,t),a(e,bi,t),m(y,e,t),a(e,xi,t),a(e,Ge,t),a(e,zi,t),m(Je,e,t),a(e,Ui,t),a(e,Se,t),a(e,Ri,t),m(Ae,e,t),a(e,yi,t),a(e,He,t),a(e,Ti,t),m(ke,e,t),a(e,ji,t),a(e,Be,t),a(e,Pi,t),a(e,Ze,t),a(e,hi,t),a(e,De,t),a(e,wi,t),m(Ie,e,t),a(e,Li,t),a(e,Fe,t),a(e,_i,t),a(e,We,t),a(e,Gi,t),m(Oe,e,t),a(e,Ji,t),a(e,Qe,t),a(e,Si,t),a(e,Ee,t),a(e,Ai,t),a(e,Hi,t),a(e,ki,t),a(e,Ve,t),a(e,Bi,t),m(Ne,e,t),a(e,Zi,t),m(Xe,e,t),a(e,Di,t),m(Ye,e,t),a(e,Ii,t),m(qe,e,t),a(e,Fi,t),m(Ke,e,t),a(e,Wi,t),m(et,e,t),a(e,Oi,t),m(tt,e,t),a(e,Qi,t),m(it,e,t),a(e,Ei,t),m(at,e,t),a(e,Vi,t),m(lt,e,t),a(e,Ni,t),m(nt,e,t),a(e,Xi,t),m(rt,e,t),a(e,Yi,t),a(e,st,t),qi=!0},p(e,[t]){const sl={};t&2&&(sl.$$scope={dirty:t,ctx:e}),R.$set(sl);const ol={};t&2&&(ol.$$scope={dirty:t,ctx:e}),y.$set(ol)},i(e){qi||(c(z.$$.fragment,e),c(R.$$.fragment,e),c(w.$$.fragment,e),c(Z.$$.fragment,e),c(N.$$.fragment,e),c(q.$$.fragment,e),c(ae.$$.fragment,e),c(re.$$.fragment,e),c(se.$$.fragment,e),c(fe.$$.fragment,e),c(be.$$.fragment,e),c(ye.$$.fragment,e),c(Pe.$$.fragment,e),c(y.$$.fragment,e),c(Je.$$.fragment,e),c(Ae.$$.fragment,e),c(ke.$$.fragment,e),c(Ie.$$.fragment,e),c(Oe.$$.fragment,e),c(Ne.$$.fragment,e),c(Xe.$$.fragment,e),c(Ye.$$.fragment,e),c(qe.$$.fragment,e),c(Ke.$$.fragment,e),c(et.$$.fragment,e),c(tt.$$.fragment,e),c(it.$$.fragment,e),c(at.$$.fragment,e),c(lt.$$.fragment,e),c(nt.$$.fragment,e),c(rt.$$.fragment,e),qi=!0)},o(e){d(z.$$.fragment,e),d(R.$$.fragment,e),d(w.$$.fragment,e),d(Z.$$.fragment,e),d(N.$$.fragment,e),d(q.$$.fragment,e),d(ae.$$.fragment,e),d(re.$$.fragment,e),d(se.$$.fragment,e),d(fe.$$.fragment,e),d(be.$$.fragment,e),d(ye.$$.fragment,e),d(Pe.$$.fragment,e),d(y.$$.fragment,e),d(Je.$$.fragment,e),d(Ae.$$.fragment,e),d(ke.$$.fragment,e),d(Ie.$$.fragment,e),d(Oe.$$.fragment,e),d(Ne.$$.fragment,e),d(Xe.$$.fragment,e),d(Ye.$$.fragment,e),d(qe.$$.fragment,e),d(Ke.$$.fragment,e),d(et.$$.fragment,e),d(tt.$$.fragment,e),d(it.$$.fragment,e),d(at.$$.fragment,e),d(lt.$$.fragment,e),d(nt.$$.fragment,e),d(rt.$$.fragment,e),qi=!1},d(e){e&&(i(x),i($),i(M),i(g),i(b),i(mt),i(T),i(ct),i(j),i(dt),i(P),i(ft),i(h),i(vt),i(Ct),i($t),i(L),i(Mt),i(_),i(gt),i(G),i(bt),i(J),i(xt),i(S),i(zt),i(A),i(Ut),i(H),i(Rt),i(k),i(yt),i(U),i(Tt),i(B),i(jt),i(Pt),i(D),i(ht),i(I),i(wt),i(F),i(Lt),i(W),i(_t),i(O),i(Gt),i(Q),i(Jt),i(E),i(St),i(V),i(At),i(Ht),i(X),i(kt),i(Y),i(Bt),i(Zt),i(K),i(Dt),i(ee),i(It),i(te),i(Ft),i(ie),i(Wt),i(Ot),i(le),i(Qt),i(ne),i(Et),i(Vt),i(pe),i(Nt),i(ue),i(Xt),i(Yt),i(oe),i(qt),i(me),i(Kt),i(ce),i(ei),i(de),i(ti),i(ii),i(ve),i(ai),i(Ce),i(li),i($e),i(ni),i(Me),i(ri),i(ge),i(pi),i(ui),i(xe),i(si),i(ze),i(oi),i(Ue),i(mi),i(Re),i(ci),i(di),i(Te),i(fi),i(je),i(vi),i(Ci),i(he),i($i),i(we),i(Mi),i(Le),i(gi),i(_e),i(bi),i(xi),i(Ge),i(zi),i(Ui),i(Se),i(Ri),i(yi),i(He),i(Ti),i(ji),i(Be),i(Pi),i(Ze),i(hi),i(De),i(wi),i(Li),i(Fe),i(_i),i(We),i(Gi),i(Ji),i(Qe),i(Si),i(Ee),i(Ai),i(Hi),i(ki),i(Ve),i(Bi),i(Zi),i(Di),i(Ii),i(Fi),i(Wi),i(Oi),i(Qi),i(Ei),i(Vi),i(Ni),i(Xi),i(Yi),i(st)),i(v),f(z,e),f(R,e),f(w,e),f(Z,e),f(N,e),f(q,e),f(ae,e),f(re,e),f(se,e),f(fe,e),f(be,e),f(ye,e),f(Pe,e),f(y,e),f(Je,e),f(Ae,e),f(ke,e),f(Ie,e),f(Oe,e),f(Ne,e),f(Xe,e),f(Ye,e),f(qe,e),f(Ke,e),f(et,e),f(tt,e),f(it,e),f(at,e),f(lt,e),f(nt,e),f(rt,e)}}}const yl='{"title":"Înțelegerea Lucrării DeepSeek R1","local":"înțelegerea-lucrării-deepseek-r1","sections":[{"title":"Momentul Revoluționar ‘Aha’","local":"momentul-revoluționar-aha","sections":[],"depth":2},{"title":"Procesul de Antrenare","local":"procesul-de-antrenare","sections":[{"title":"Faza de Pornire la Rece (Fundația Calității)","local":"faza-de-pornire-la-rece-fundația-calității","sections":[],"depth":3},{"title":"Faza RL de Raționament (Construirea Capacităților)","local":"faza-rl-de-raționament-construirea-capacităților","sections":[],"depth":3},{"title":"Faza de Eșantionare prin Respingere (Controlul Calității)","local":"faza-de-eșantionare-prin-respingere-controlul-calității","sections":[],"depth":3},{"title":"Faza RL Diversă (Alinierea Largă)","local":"faza-rl-diversă-alinierea-largă","sections":[],"depth":3}],"depth":2},{"title":"Algoritmul: Optimizarea Relativă a Politicii de Grup (GRPO)","local":"algoritmul-optimizarea-relativă-a-politicii-de-grup-grpo","sections":[{"title":"Formarea Grupurilor: Crearea de Multiple Soluții","local":"formarea-grupurilor-crearea-de-multiple-soluții","sections":[],"depth":3},{"title":"Învățarea Preferințelor: Înțelegerea Ce Face o Soluție Bună","local":"învățarea-preferințelor-înțelegerea-ce-face-o-soluție-bună","sections":[],"depth":3},{"title":"Optimizarea: Învățarea din Experiență","local":"optimizarea-învățarea-din-experiență","sections":[],"depth":3},{"title":"Algoritmul GRPO în Pseudocod","local":"algoritmul-grpo-în-pseudocod","sections":[],"depth":3}],"depth":2},{"title":"Rezultate și Impact","local":"rezultate-și-impact","sections":[],"depth":2},{"title":"Limitări și Provocări ale GRPO","local":"limitări-și-provocări-ale-grpo","sections":[],"depth":2},{"title":"Concluzie","local":"concluzie","sections":[],"depth":2},{"title":"Quiz","local":"quiz","sections":[{"title":"1. Care este principala inovație a lucrării DeepSeek R1?","local":"1-care-este-principala-inovație-a-lucrării-deepseek-r1","sections":[],"depth":3},{"title":"2. Care sunt cele patru faze ale procesului de antrenare DeepSeek R1?","local":"2-care-sunt-cele-patru-faze-ale-procesului-de-antrenare-deepseek-r1","sections":[],"depth":3},{"title":"3. Ce este fenomenul ‘Momentul Aha’ în antrenarea R1-Zero?","local":"3-ce-este-fenomenul-momentul-aha-în-antrenarea-r1-zero","sections":[],"depth":3},{"title":"4. Cum funcționează formarea grupurilor în GRPO?","local":"4-cum-funcționează-formarea-grupurilor-în-grpo","sections":[],"depth":3},{"title":"5. Care este diferența cheie între DeepSeek-R1-Zero și DeepSeek-R1?","local":"5-care-este-diferența-cheie-între-deepseek-r1-zero-și-deepseek-r1","sections":[],"depth":3}],"depth":2}],"depth":1}';function Tl(pt){return Cl(()=>{new URLSearchParams(window.location.search).get("fw")}),[]}class Gl extends $l{constructor(v){super(),Ml(this,v,Tl,Rl,fl,{})}}export{Gl as component};