course/pr_1021/rum/_app/immutable/nodes/24.69f7465e.js

import{s as sa,o as ua,n as pa}from"../chunks/scheduler.37c15a92.js";import{S as ma,i as ca,g as o,s as r,r as n,A as oa,h as d,f as a,c as l,j as la,u as s,x as f,k as na,y as da,a as i,v as u,d as p,t as m,w as c}from"../chunks/index.2bf4358c.js";import{T as fa}from"../chunks/Tip.363c041f.js";import{C as At}from"../chunks/CodeBlock.4e987730.js";import{C as $a}from"../chunks/CourseFloatingBanner.6add7356.js";import{Q as he}from"../chunks/Question.e61af2ef.js";import{H as $,E as va}from"../chunks/getInferenceSnippets.ebf8be91.js";function Ta(je){let v,M="✏️ <strong>Încercați!</strong> Evaluați modelul dumneavoastră ajustat fin pe o sarcină specifică în lighteval.";return{c(){v=o("p"),v.innerHTML=M},l(T){v=d(T,"P",{"data-svelte-h":!0}),f(v)!=="svelte-1qyqs47"&&(v.innerHTML=M)},m(T,be){i(T,v,be)},p:pa,d(T){T&&a(v)}}}function ga(je){let v,M,T,be,w,Ie,J,_t="Cu un model ajustat fin prin SFT sau LoRA SFT, ar trebui să îl evaluăm pe criterii de referință standard. Ca ingineri de machine learning, ar trebui să mențineți o suită de evaluări relevante pentru domeniul dumneavoastră țintă de interes. În această pagină, vom privi la unele dintre criteriile de referință cele mai comune și cum să le folosiți pentru a evalua modelul dumneavoastră. De asemenea, vom vedea cum să creați criterii de referință personalizate pentru cazul specific de utilizare.",ze,C,Ue,b,St="Criteriile de referință automate servesc ca instrumente standardizate pentru evaluarea modelelor de limbaj pe diferite sarcini și capacități. În timp ce acestea oferă un punct de plecare util pentru înțelegerea performanței modelului, este important să recunoaștem că reprezintă doar o piesă dintr-o strategie de evaluare cuprinzătoare.",ye,h,Le,x,Dt="Criteriile de referință automate constau de obicei din seturi de date curate cu sarcini și metrici de evaluare predefinite. Aceste criterii de referință au ca scop să evalueze diverse aspecte ale capacității modelului, de la înțelegerea de bază a limbajului la raționament complex. Avantajul cheie al folosirii criteriilor de referință automate este standardizarea lor - permit compararea consistentă între modele diferite și oferă rezultate reproductibile.",Ae,j,Nt="Cu toate acestea, este crucial să înțelegem că performanța la criterii de referință nu se traduce întotdeauna direct în eficacitate din lumea reală. Un model care excelează la criterii de referință academice poate totuși să se confrunte cu aplicații de domeniu specifice sau cazuri de utilizare practice.",_e,I,Se,z,Ht='<a href="https://huggingface.co/datasets/cais/mmlu" rel="nofollow">MMLU</a> (Massive Multitask Language Understanding) testează cunoștințele pe 57 de subiecte, de la știință la științe umane. Deși cuprinzător, poate să nu reflecte profunzimea expertizei necesare pentru domenii specifice. TruthfulQA evaluează tendința unui model de a reproduce concepții greșite comune, deși nu poate captura toate formele de dezinformare.',De,U,Ne,y,Pt='<a href="https://huggingface.co/datasets/lukaemon/bbh" rel="nofollow">BBH</a> (Big Bench Hard) și <a href="https://huggingface.co/datasets/openai/gsm8k" rel="nofollow">GSM8K</a> se concentrează pe sarcini de raționament complex. BBH testează gândirea logică și planificarea, în timp ce GSM8K vizează specific rezolvarea problemelor matematice. Aceste criterii de referință ajută la evaluarea capacităților analitice dar pot să nu captureze raționamentul nuanțat necesar în scenarii din lumea reală.',He,L,Pe,A,Et='<a href="https://github.com/stanford-crfm/helm" rel="nofollow">HELM</a> oferă un cadru de evaluare holistic. Criterii de referință precum HELM oferă perspective asupra capacităților de procesare a limbajului pe aspecte precum bunul simț, cunoștințele despre lume și raționamentul. Dar pot să nu reprezinte complet complexitatea conversației naturale sau terminologia specifică domeniului.',Ee,_,Be,S,Bt="Să ne uităm la câteva criterii de referință care se concentrează pe domenii specifice precum matematica, codarea și chatul.",Qe,D,Qt='<a href="https://huggingface.co/papers/2103.03874" rel="nofollow">Criteriul de referință MATH</a> este un alt instrument important de evaluare pentru raționamentul matematic. Constă din 12.500 de probleme din competiții de matematică, acoperind algebra, geometria, teoria numerelor, numărarea, probabilitatea și altele. Ceea ce face MATH deosebit de provocator este că necesită raționament în mai mulți pași, înțelegerea notației matematice formale și capacitatea de a genera soluții pas cu pas. Spre deosebire de sarcinile aritmetice mai simple, problemele MATH necesită adesea strategii sofisticate de rezolvare a problemelor și aplicații de concepte matematice.',We,N,Wt='<a href="https://github.com/openai/human-eval" rel="nofollow">Criteriul de referință HumanEval</a> este un set de date de evaluare axat pe codare format din 164 de probleme de programare. Criteriul de referință testează capacitatea unui model de a genera cod Python funcțional corect care rezolvă sarcinile de programare date. Ceea ce face HumanEval deosebit de valoros este că evaluează atât capacitățile de generare de cod, cât și corectitudinea funcțională prin executarea efectivă a cazurilor de test, mai degrabă decât doar similaritatea superficială cu soluțiile de referință. Problemele variază de la manipularea de bază a șirurilor la algoritmi și structuri de date mai complexe.',qe,H,qt='<a href="https://tatsu-lab.github.io/alpaca_eval/" rel="nofollow">Alpaca Eval</a> este un cadru de evaluare automatizat conceput pentru a evalua calitatea modelelor de limbaj care urmează instrucțiuni. Folosește GPT-4 ca judecător pentru a evalua ieșirile modelului pe diverse dimensiuni, inclusiv utilitatea, onestitatea și inofensivitatea. Cadrul include un set de date cu 805 de prompturi atent curate și poate evalua răspunsurile față de modele multiple de referință precum Claude, GPT-4 și altele. Ceea ce face Alpaca Eval deosebit de util este capacitatea sa de a oferi evaluări consistente, scalabile fără a necesita adnotatori umani, în timp ce încă capturează aspecte nuanțate ale performanței modelului pe care metricile tradiționale le-ar putea rata.',Ge,P,Ve,E,Gt="Multe organizații au dezvoltat metode alternative de evaluare pentru a aborda limitările criteriilor de referință standard:",Ye,B,Ze,Q,Vt="Folosirea unui model de limbaj pentru a evalua ieșirile altuia a devenit din ce în ce mai populară. Această abordare poate oferi feedback mai nuanțat decât metricile tradiționale, deși vine cu propriile sale prejudecăți și limitări.",ke,W,Fe,q,Yt='Arenele de evaluare precum <a href="https://lmarena.ai/" rel="nofollow">Chatbot Arena</a> oferă o abordare unică pentru evaluarea LLM prin feedback crowdsourced. În aceste platforme, utilizatorii se angajează în “bătălii” anonime între două LLM-uri, punând întrebări și votând care model oferă răspunsuri mai bune. Această abordare capturează modelele de utilizare și preferințele din lumea reală prin întrebări diverse, provocatoare, cu studii care arată acord puternic între voturile crowdsourced și evaluările experților. Deși puternice, aceste platforme au limitări, inclusiv prejudecăți potențiale ale bazei de utilizatori, distribuții distorsionate ale prompturilor și o concentrare principală pe utilitate mai degrabă decât pe considerațiile de siguranță.',Xe,G,Re,V,Zt="Organizațiile dezvoltă adesea suite interne de criterii de referință adaptate nevoilor și cazurilor lor specifice de utilizare. Acestea ar putea include teste de cunoștințe specifice domeniului sau scenarii de evaluare care reflectă condițiile reale de implementare.",Oe,Y,Ke,Z,kt="În timp ce criteriile de referință standard oferă o linie de bază utilă, nu ar trebui să fie singura metodă de evaluare. Iată cum să dezvoltați o abordare mai cuprinzătoare:",et,k,Ft="<li><p>Începeți cu criterii de referință standard relevante pentru a stabili o linie de bază și a permite comparația cu alte modele.</p></li> <li><p>Identificați cerințele și provocările specifice ale cazului dumneavoastră de utilizare. Ce sarcini va îndeplini efectiv modelul? Ce tipuri de erori ar fi cele mai problematice?</p></li> <li><p>Dezvoltați seturi de date de evaluare personalizate care reflectă cazul real de utilizare. Aceasta ar putea include:</p> <ul><li>Întrebări reale ale utilizatorilor din domeniul dumneavoastră</li> <li>Cazuri comune de margine pe care le-ați întâlnit</li> <li>Exemple de scenarii deosebit de provocatoare</li></ul></li> <li><p>Considerați implementarea unei strategii de evaluare pe mai multe niveluri:</p> <ul><li>Metrici automate pentru feedback rapid</li> <li>Evaluare umană pentru înțelegere nuanțată</li> <li>Revizuire de experți de domeniu pentru aplicații specializate</li> <li>Testare A/B în medii controlate</li></ul></li>",tt,F,at,X,Xt='În această secțiune, vom implementa evaluarea pentru modelul nostru ajustat fin. Putem folosi <a href="https://github.com/huggingface/lighteval" rel="nofollow"><code>lighteval</code></a> pentru a evalua modelul nostru ajustat fin pe criterii de referință standard, care conține o gamă largă de sarcini încorporate în bibliotecă. Trebuie doar să definim sarcinile pe care dorim să le evaluăm și parametrii pentru evaluare.',it,R,Rt="Sarcinile LightEval sunt definite folosind un format specific:",rt,O,lt,K,Ot="<thead><tr><th>Parametru</th> <th>Descriere</th></tr></thead> <tbody><tr><td><code>suite</code></td> <td>Suita de criterii de referință (de ex., ‘mmlu’, ‘truthfulqa’)</td></tr> <tr><td><code>task</code></td> <td>Sarcina specifică din suită (de ex., ‘abstract_algebra’)</td></tr> <tr><td><code>num_few_shot</code></td> <td>Numărul de exemple de inclus în prompt (0 pentru zero-shot)</td></tr> <tr><td><code>auto_reduce</code></td> <td>Dacă să reducă automat exemplele few-shot dacă promptul este prea lung (0 sau 1)</td></tr></tbody>",nt,ee,Kt="Exemplu: <code>&quot;mmlu|abstract_algebra|0|0&quot;</code> evaluează pe sarcina de algebră abstractă MMLU cu inferență zero-shot.",st,te,ut,ae,ea="Să configurăm un pipeline de evaluare pentru modelul nostru ajustat fin. Vom evalua modelul pe un set de sub-sarcini care se raportează la domeniul medicinei.",pt,ie,ta="Iată un exemplu complet de evaluare pe criterii de referință automate relevante pentru un domeniu specific folosind Lighteval cu backend-ul VLLM:",mt,re,ct,le,aa="Rezultatele sunt afișate în format tabular arătând:",ot,ne,dt,se,ia='Lighteval include, de asemenea, un API Python pentru sarcini de evaluare mai detaliate, care este util pentru manipularea rezultatelor într-un mod mai flexibil. Consultați <a href="https://huggingface.co/docs/lighteval/using-the-python-api" rel="nofollow">documentația Lighteval</a> pentru mai multe informații.',ft,g,$t,ue,vt,pe,Tt,me,gt,ce,Mt,oe,wt,de,Jt,fe,Ct,$e,bt,ve,ht,Te,xt,ge,jt,Me,It,we,zt,Je,Ut,Ce,yt,xe,Lt;return w=new $({props:{title:"Evaluarea",local:"evaluarea",headingTag:"h1"}}),C=new $({props:{title:"Criterii de referință automate",local:"criterii-de-referință-automate",headingTag:"h2"}}),h=new $({props:{title:"Înțelegerea criteriilor de referință automate",local:"înțelegerea-criteriilor-de-referință-automate",headingTag:"h2"}}),I=new $({props:{title:"Criterii de referință pentru cunoștințe generale",local:"criterii-de-referință-pentru-cunoștințe-generale",headingTag:"h2"}}),U=new $({props:{title:"Criterii de referință pentru raționament",local:"criterii-de-referință-pentru-raționament",headingTag:"h2"}}),L=new $({props:{title:"Înțelegerea limbajului",local:"înțelegerea-limbajului",headingTag:"h2"}}),_=new $({props:{title:"Criterii de referință specifice domeniului",local:"criterii-de-referință-specifice-domeniului",headingTag:"h2"}}),P=new $({props:{title:"Abordări alternative de evaluare",local:"abordări-alternative-de-evaluare",headingTag:"h2"}}),B=new $({props:{title:"LLM-ca-judecător",local:"llm-ca-judecător",headingTag:"h3"}}),W=new $({props:{title:"Arene de evaluare",local:"arene-de-evaluare",headingTag:"h3"}}),G=new $({props:{title:"Suite de criterii de referință personalizate",local:"suite-de-criterii-de-referință-personalizate",headingTag:"h3"}}),Y=new $({props:{title:"Evaluare personalizată",local:"evaluare-personalizată",headingTag:"h2"}}),F=new $({props:{title:"Implementarea evaluărilor personalizate",local:"implementarea-evaluărilor-personalizate",headingTag:"h2"}}),O=new At({props:{code:"JTdCc3VpdGUlN0QlN0MlN0J0YXNrJTdEJTdDJTdCbnVtX2Zld19zaG90JTdEJTdDJTdCYXV0b19yZWR1Y2UlN0Q=",highlighted:'<span class="hljs-template-variable">{suite}</span><span class="language-xml">|</span><span class="hljs-template-variable">{task}</span><span class="language-xml">|</span><span class="hljs-template-variable">{num_few_shot}</span><span class="language-xml">|</span><span class="hljs-template-variable">{auto_reduce}</span>',wrap:!1}}),te=new $({props:{title:"Exemplu de pipeline de evaluare",local:"exemplu-de-pipeline-de-evaluare",headingTag:"h2"}}),re=new At({props:{code:"bGlnaHRldmFsJTIwYWNjZWxlcmF0ZSUyMCU1QyUwQSUyMCUyMCUyMCUyMCUyMnByZXRyYWluZWQlM0R5b3VyLW1vZGVsLW5hbWUlMjIlMjAlNUMlMEElMjAlMjAlMjAlMjAlMjJtbWx1JTdDYW5hdG9teSU3QzAlN0MwJTIyJTIwJTVDJTBBJTIwJTIwJTIwJTIwJTIybW1sdSU3Q2hpZ2hfc2Nob29sX2Jpb2xvZ3klN0MwJTdDMCUyMiUyMCU1QyUwQSUyMCUyMCUyMCUyMCUyMm1tbHUlN0NoaWdoX3NjaG9vbF9jaGVtaXN0cnklN0MwJTdDMCUyMiUyMCU1QyUwQSUyMCUyMCUyMCUyMCUyMm1tbHUlN0Nwcm9mZXNzaW9uYWxfbWVkaWNpbmUlN0MwJTdDMCUyMiUyMCU1QyUwQSUyMCUyMCUyMCUyMC0tbWF4X3NhbXBsZXMlMjA0MCUyMCU1QyUwQSUyMCUyMCUyMCUyMC0tYmF0Y2hfc2l6ZSUyMDElMjAlNUMlMEElMjAlMjAlMjAlMjAtLW91dHB1dF9wYXRoJTIwJTIyLiUyRnJlc3VsdHMlMjIlMjAlNUMlMEElMjAlMjAlMjAlMjAtLXNhdmVfZ2VuZXJhdGlvbnMlMjB0cnVl",highlighted:`lighteval accelerate \\
    <span class="hljs-string">&quot;pretrained=your-model-name&quot;</span> \\
    <span class="hljs-string">&quot;mmlu|anatomy|0|0&quot;</span> \\
    <span class="hljs-string">&quot;mmlu|high_school_biology|0|0&quot;</span> \\
    <span class="hljs-string">&quot;mmlu|high_school_chemistry|0|0&quot;</span> \\
    <span class="hljs-string">&quot;mmlu|professional_medicine|0|0&quot;</span> \\
    --max_samples 40 \\
    --batch_size 1 \\
    --output_path <span class="hljs-string">&quot;./results&quot;</span> \\
    --save_generations <span class="hljs-literal">true</span>`,wrap:!1}}),ne=new At({props:{code:"JTdDJTIwJTIwJTIwJTIwJTIwJTIwJTIwJTIwJTIwJTIwJTIwJTIwJTIwJTIwJTIwJTIwJTIwJTIwVGFzayUyMCUyMCUyMCUyMCUyMCUyMCUyMCUyMCUyMCUyMCUyMCUyMCUyMCUyMCUyMCUyMCUyMCUyMCU3Q1ZlcnNpb24lN0NNZXRyaWMlN0NWYWx1ZSUyMCU3QyUyMCUyMCUyMCU3Q1N0ZGVyciU3QyUwQSU3Qy0tLS0tLS0tLS0tLS0tLS0tLS0tLS0tLS0tLS0tLS0tLS0tLS0tLS0lN0MtLS0tLS0lM0ElN0MtLS0tLS0lN0MtLS0tLSUzQSU3Qy0tLSU3Qy0tLS0tJTNBJTdDJTBBJTdDYWxsJTIwJTIwJTIwJTIwJTIwJTIwJTIwJTIwJTIwJTIwJTIwJTIwJTIwJTIwJTIwJTIwJTIwJTIwJTIwJTIwJTIwJTIwJTIwJTIwJTIwJTIwJTIwJTIwJTIwJTIwJTIwJTIwJTIwJTIwJTIwJTIwJTIwJTdDJTIwJTIwJTIwJTIwJTIwJTIwJTIwJTdDYWNjJTIwJTIwJTIwJTdDMC4zMzMzJTdDJUMyJUIxJTIwJTIwJTdDMC4xMTY5JTdDJTBBJTdDbGVhZGVyYm9hcmQlM0FtbWx1JTNBX2F2ZXJhZ2UlM0E1JTIwJTIwJTIwJTIwJTIwJTIwJTIwJTIwJTIwJTIwJTIwJTIwJTIwJTdDJTIwJTIwJTIwJTIwJTIwJTIwJTIwJTdDYWNjJTIwJTIwJTIwJTdDMC4zNDAwJTdDJUMyJUIxJTIwJTIwJTdDMC4xMTIxJTdDJTBBJTdDbGVhZGVyYm9hcmQlM0FtbWx1JTNBYW5hdG9teSUzQTUlMjAlMjAlMjAlMjAlMjAlMjAlMjAlMjAlMjAlMjAlMjAlMjAlMjAlMjAlN0MlMjAlMjAlMjAlMjAlMjAlMjAwJTdDYWNjJTIwJTIwJTIwJTdDMC40NTAwJTdDJUMyJUIxJTIwJTIwJTdDMC4xMTQxJTdDJTBBJTdDbGVhZGVyYm9hcmQlM0FtbWx1JTNBaGlnaF9zY2hvb2xfYmlvbG9neSUzQTUlMjAlMjAlN0MlMjAlMjAlMjAlMjAlMjAlMjAwJTdDYWNjJTIwJTIwJTIwJTdDMC4xNTAwJTdDJUMyJUIxJTIwJTIwJTdDMC4wODE5JTdD",highlighted:`|<span class="hljs-string">                  Task                  </span>|<span class="hljs-string">Version</span>|<span class="hljs-string">Metric</span>|<span class="hljs-string">Value </span>|<span class="hljs-string">   </span>|<span class="hljs-string">Stderr</span>|
|<span class="hljs-string">----------------------------------------</span>|<span class="hljs-string">------:</span>|<span class="hljs-string">------</span>|<span class="hljs-string">-----:</span>|<span class="hljs-string">---</span>|<span class="hljs-string">-----:</span>|
|<span class="hljs-string">all                                     </span>|<span class="hljs-string">       </span>|<span class="hljs-string">acc   </span>|<span class="hljs-string">0.3333</span>|<span class="hljs-string">±  </span>|<span class="hljs-string">0.1169</span>|
|<span class="hljs-string">leaderboard:mmlu:_average:5             </span>|<span class="hljs-string">       </span>|<span class="hljs-string">acc   </span>|<span class="hljs-string">0.3400</span>|<span class="hljs-string">±  </span>|<span class="hljs-string">0.1121</span>|
|<span class="hljs-string">leaderboard:mmlu:anatomy:5              </span>|<span class="hljs-string">      0</span>|<span class="hljs-string">acc   </span>|<span class="hljs-string">0.4500</span>|<span class="hljs-string">±  </span>|<span class="hljs-string">0.1141</span>|
|<span class="hljs-string">leaderboard:mmlu:high_school_biology:5  </span>|<span class="hljs-string">      0</span>|<span class="hljs-string">acc   </span>|<span class="hljs-string">0.1500</span>|<span class="hljs-string">±  </span>|<span class="hljs-string">0.0819</span>|`,wrap:!1}}),g=new fa({props:{$$slots:{default:[Ta]},$$scope:{ctx:je}}}),ue=new $({props:{title:"Chestionar de sfârșit de capitol",local:"end-of-chapter-quiz",headingTag:"h1"}}),pe=new $a({props:{chapter:11,classNames:"absolute z-10 right-0 top-0"}}),me=new $({props:{title:"1. Care sunt principalele avantaje ale folosirii criteriilor de referință automate pentru evaluarea modelului?",local:"1-care-sunt-principalele-avantaje-ale-folosirii-criteriilor-de-referință-automate-pentru-evaluarea-modelului",headingTag:"h3"}}),ce=new he({props:{choices:[{text:"Ele oferă metrici perfecte de performanță din lumea reală",explain:"Incorect! Deși criteriile de referință automate sunt utile, nu se traduc întotdeauna direct în performanța din lumea reală."},{text:"Ele permit compararea standardizată între modele și oferă rezultate reproductibile",explain:"Corect! Aceasta este unul dintre beneficiile cheie ale criteriilor de referință automate.",correct:!0},{text:"Ele elimină nevoia pentru orice altă formă de evaluare",explain:"Incorect! Criteriile de referință automate ar trebui să facă parte dintr-o strategie de evaluare cuprinzătoare, nu singura metodă."}]}}),oe=new $({props:{title:"2. Care criteriu de referință testează specific cunoștințele pe 57 de subiecte diferite?",local:"2-care-criteriu-de-referință-testează-specific-cunoștințele-pe-57-de-subiecte-diferite",headingTag:"h3"}}),de=new he({props:{choices:[{text:"BBH (Big Bench Hard)",explain:"Incorect! BBH se concentrează pe sarcini de raționament complex, nu pe cunoștințe ample de subiecte."},{text:"GSM8K",explain:"Incorect! GSM8K vizează specific rezolvarea problemelor matematice."},{text:"MMLU",explain:"Corect! MMLU (Massive Multitask Language Understanding) testează cunoștințele pe 57 de subiecte, de la știință la științe umane.",correct:!0}]}}),fe=new $({props:{title:"3. Ce este LLM-ca-judecător?",local:"3-ce-este-llm-ca-judecător",headingTag:"h3"}}),$e=new he({props:{choices:[{text:"Folosirea unui model de limbaj pentru a evalua ieșirile altuia",explain:"Corect! Aceasta este o abordare alternativă de evaluare care poate oferi feedback mai nuanțat.",correct:!0},{text:"Un criteriu de referință care testează raționamentul judiciar",explain:"Incorect! LLM-ca-judecător se referă la folosirea unui model pentru a evalua pe altul, nu la testarea raționamentului judiciar."},{text:"O metodă pentru antrenarea modelelor pe seturi de date juridice",explain:"Incorect! Aceasta nu este legată de antrenarea pe date juridice, ci de folosirea unui model pentru a evalua ieșirile altuia."}]}}),ve=new $({props:{title:"4. Ce ar trebui inclus într-o strategie de evaluare cuprinzătoare?",local:"4-ce-ar-trebui-inclus-într-o-strategie-de-evaluare-cuprinzătoare",headingTag:"h3"}}),Te=new he({props:{choices:[{text:"Doar criterii de referință automate",explain:"Incorect! O strategie cuprinzătoare ar trebui să includă mai multe tipuri de evaluare."},{text:"Metrici automate, evaluare umană, revizuire de experți și testare A/B",explain:"Corect! O abordare cuprinzătoare include mai multe tipuri de evaluare pentru o înțelegere completă a performanței.",correct:!0},{text:"Doar evaluare umană",explain:"Incorect! Deși evaluarea umană este importantă, o strategie cuprinzătoare necesită mai multe abordări."}]}}),ge=new $({props:{title:"5. Care este o limitare a criteriilor de referință automate?",local:"5-care-este-o-limitare-a-criteriilor-de-referință-automate",headingTag:"h3"}}),Me=new he({props:{choices:[{text:"Sunt prea scumpe de rulat",explain:"Incorect! Costul nu este de obicei principala limitare a criteriilor de referință automate."},{text:"Performanța la criterii de referință nu se traduce întotdeauna direct în eficacitate din lumea reală",explain:"Corect! Aceasta este o limitare cheie de ținut minte când folosiți criterii de referință automate.",correct:!0},{text:"Pot evalua doar modele mici",explain:"Incorect! Criteriile de referință automate pot fi folosite pentru a evalua modele de diverse dimensiuni."}]}}),we=new $({props:{title:"6. Care este scopul creării seturilor de date de evaluare personalizate?",local:"6-care-este-scopul-creării-seturilor-de-date-de-evaluare-personalizate",headingTag:"h3"}}),Je=new he({props:{choices:[{text:"Pentru a reflecta cazul dumneavoastră specific de utilizare și a include întrebări reale ale utilizatorilor din domeniul dumneavoastră",explain:"Corect! Seturile de date personalizate ajută să asigure că evaluarea este relevantă pentru nevoile dumneavoastră specifice.",correct:!0},{text:"Pentru a înlocui complet criteriile de referință standard",explain:"Incorect! Seturile de date personalizate ar trebui să completeze, nu să înlocuiască, criteriile de referință standard."},{text:"Pentru a face evaluarea mai ușoară",explain:"Incorect! Crearea seturilor de date personalizate necesită efort suplimentar dar oferă evaluare mai relevantă."}]}}),Ce=new va({props:{source:"https://github.com/huggingface/course/blob/main/chapters/rum/chapter11/5.mdx"}}),{c(){v=o("meta"),M=r(),T=o("p"),be=r(),n(w.$$.fragment),Ie=r(),J=o("p"),J.textContent=_t,ze=r(),n(C.$$.fragment),Ue=r(),b=o("p"),b.textContent=St,ye=r(),n(h.$$.fragment),Le=r(),x=o("p"),x.textContent=Dt,Ae=r(),j=o("p"),j.textContent=Nt,_e=r(),n(I.$$.fragment),Se=r(),z=o("p"),z.innerHTML=Ht,De=r(),n(U.$$.fragment),Ne=r(),y=o("p"),y.innerHTML=Pt,He=r(),n(L.$$.fragment),Pe=r(),A=o("p"),A.innerHTML=Et,Ee=r(),n(_.$$.fragment),Be=r(),S=o("p"),S.textContent=Bt,Qe=r(),D=o("p"),D.innerHTML=Qt,We=r(),N=o("p"),N.innerHTML=Wt,qe=r(),H=o("p"),H.innerHTML=qt,Ge=r(),n(P.$$.fragment),Ve=r(),E=o("p"),E.textContent=Gt,Ye=r(),n(B.$$.fragment),Ze=r(),Q=o("p"),Q.textContent=Vt,ke=r(),n(W.$$.fragment),Fe=r(),q=o("p"),q.innerHTML=Yt,Xe=r(),n(G.$$.fragment),Re=r(),V=o("p"),V.textContent=Zt,Oe=r(),n(Y.$$.fragment),Ke=r(),Z=o("p"),Z.textContent=kt,et=r(),k=o("ol"),k.innerHTML=Ft,tt=r(),n(F.$$.fragment),at=r(),X=o("p"),X.innerHTML=Xt,it=r(),R=o("p"),R.textContent=Rt,rt=r(),n(O.$$.fragment),lt=r(),K=o("table"),K.innerHTML=Ot,nt=r(),ee=o("p"),ee.innerHTML=Kt,st=r(),n(te.$$.fragment),ut=r(),ae=o("p"),ae.textContent=ea,pt=r(),ie=o("p"),ie.textContent=ta,mt=r(),n(re.$$.fragment),ct=r(),le=o("p"),le.textContent=aa,ot=r(),n(ne.$$.fragment),dt=r(),se=o("p"),se.innerHTML=ia,ft=r(),n(g.$$.fragment),$t=r(),n(ue.$$.fragment),vt=r(),n(pe.$$.fragment),Tt=r(),n(me.$$.fragment),gt=r(),n(ce.$$.fragment),Mt=r(),n(oe.$$.fragment),wt=r(),n(de.$$.fragment),Jt=r(),n(fe.$$.fragment),Ct=r(),n($e.$$.fragment),bt=r(),n(ve.$$.fragment),ht=r(),n(Te.$$.fragment),xt=r(),n(ge.$$.fragment),jt=r(),n(Me.$$.fragment),It=r(),n(we.$$.fragment),zt=r(),n(Je.$$.fragment),Ut=r(),n(Ce.$$.fragment),yt=r(),xe=o("p"),this.h()},l(e){const t=oa("svelte-u9bgzb",document.head);v=d(t,"META",{name:!0,content:!0}),t.forEach(a),M=l(e),T=d(e,"P",{}),la(T).forEach(a),be=l(e),s(w.$$.fragment,e),Ie=l(e),J=d(e,"P",{"data-svelte-h":!0}),f(J)!=="svelte-4ebt49"&&(J.textContent=_t),ze=l(e),s(C.$$.fragment,e),Ue=l(e),b=d(e,"P",{"data-svelte-h":!0}),f(b)!=="svelte-17bplpf"&&(b.textContent=St),ye=l(e),s(h.$$.fragment,e),Le=l(e),x=d(e,"P",{"data-svelte-h":!0}),f(x)!=="svelte-10vkdx8"&&(x.textContent=Dt),Ae=l(e),j=d(e,"P",{"data-svelte-h":!0}),f(j)!=="svelte-7szd72"&&(j.textContent=Nt),_e=l(e),s(I.$$.fragment,e),Se=l(e),z=d(e,"P",{"data-svelte-h":!0}),f(z)!=="svelte-1o08ya3"&&(z.innerHTML=Ht),De=l(e),s(U.$$.fragment,e),Ne=l(e),y=d(e,"P",{"data-svelte-h":!0}),f(y)!=="svelte-idf3bi"&&(y.innerHTML=Pt),He=l(e),s(L.$$.fragment,e),Pe=l(e),A=d(e,"P",{"data-svelte-h":!0}),f(A)!=="svelte-1dcf8he"&&(A.innerHTML=Et),Ee=l(e),s(_.$$.fragment,e),Be=l(e),S=d(e,"P",{"data-svelte-h":!0}),f(S)!=="svelte-vcdbp"&&(S.textContent=Bt),Qe=l(e),D=d(e,"P",{"data-svelte-h":!0}),f(D)!=="svelte-aij5ms"&&(D.innerHTML=Qt),We=l(e),N=d(e,"P",{"data-svelte-h":!0}),f(N)!=="svelte-p3532"&&(N.innerHTML=Wt),qe=l(e),H=d(e,"P",{"data-svelte-h":!0}),f(H)!=="svelte-2r4oig"&&(H.innerHTML=qt),Ge=l(e),s(P.$$.fragment,e),Ve=l(e),E=d(e,"P",{"data-svelte-h":!0}),f(E)!=="svelte-w6dfdq"&&(E.textContent=Gt),Ye=l(e),s(B.$$.fragment,e),Ze=l(e),Q=d(e,"P",{"data-svelte-h":!0}),f(Q)!=="svelte-a67tee"&&(Q.textContent=Vt),ke=l(e),s(W.$$.fragment,e),Fe=l(e),q=d(e,"P",{"data-svelte-h":!0}),f(q)!=="svelte-y2q2v6"&&(q.innerHTML=Yt),Xe=l(e),s(G.$$.fragment,e),Re=l(e),V=d(e,"P",{"data-svelte-h":!0}),f(V)!=="svelte-guw0c6"&&(V.textContent=Zt),Oe=l(e),s(Y.$$.fragment,e),Ke=l(e),Z=d(e,"P",{"data-svelte-h":!0}),f(Z)!=="svelte-c617q4"&&(Z.textContent=kt),et=l(e),k=d(e,"OL",{"data-svelte-h":!0}),f(k)!=="svelte-17xvd37"&&(k.innerHTML=Ft),tt=l(e),s(F.$$.fragment,e),at=l(e),X=d(e,"P",{"data-svelte-h":!0}),f(X)!=="svelte-1s1ut4i"&&(X.innerHTML=Xt),it=l(e),R=d(e,"P",{"data-svelte-h":!0}),f(R)!=="svelte-e2v13g"&&(R.textContent=Rt),rt=l(e),s(O.$$.fragment,e),lt=l(e),K=d(e,"TABLE",{"data-svelte-h":!0}),f(K)!=="svelte-1ua24nb"&&(K.innerHTML=Ot),nt=l(e),ee=d(e,"P",{"data-svelte-h":!0}),f(ee)!=="svelte-13xa6x2"&&(ee.innerHTML=Kt),st=l(e),s(te.$$.fragment,e),ut=l(e),ae=d(e,"P",{"data-svelte-h":!0}),f(ae)!=="svelte-1hg2jnm"&&(ae.textContent=ea),pt=l(e),ie=d(e,"P",{"data-svelte-h":!0}),f(ie)!=="svelte-1mk7h4t"&&(ie.textContent=ta),mt=l(e),s(re.$$.fragment,e),ct=l(e),le=d(e,"P",{"data-svelte-h":!0}),f(le)!=="svelte-1wenbmc"&&(le.textContent=aa),ot=l(e),s(ne.$$.fragment,e),dt=l(e),se=d(e,"P",{"data-svelte-h":!0}),f(se)!=="svelte-scpit9"&&(se.innerHTML=ia),ft=l(e),s(g.$$.fragment,e),$t=l(e),s(ue.$$.fragment,e),vt=l(e),s(pe.$$.fragment,e),Tt=l(e),s(me.$$.fragment,e),gt=l(e),s(ce.$$.fragment,e),Mt=l(e),s(oe.$$.fragment,e),wt=l(e),s(de.$$.fragment,e),Jt=l(e),s(fe.$$.fragment,e),Ct=l(e),s($e.$$.fragment,e),bt=l(e),s(ve.$$.fragment,e),ht=l(e),s(Te.$$.fragment,e),xt=l(e),s(ge.$$.fragment,e),jt=l(e),s(Me.$$.fragment,e),It=l(e),s(we.$$.fragment,e),zt=l(e),s(Je.$$.fragment,e),Ut=l(e),s(Ce.$$.fragment,e),yt=l(e),xe=d(e,"P",{}),la(xe).forEach(a),this.h()},h(){na(v,"name","hf:doc:metadata"),na(v,"content",Ma)},m(e,t){da(document.head,v),i(e,M,t),i(e,T,t),i(e,be,t),u(w,e,t),i(e,Ie,t),i(e,J,t),i(e,ze,t),u(C,e,t),i(e,Ue,t),i(e,b,t),i(e,ye,t),u(h,e,t),i(e,Le,t),i(e,x,t),i(e,Ae,t),i(e,j,t),i(e,_e,t),u(I,e,t),i(e,Se,t),i(e,z,t),i(e,De,t),u(U,e,t),i(e,Ne,t),i(e,y,t),i(e,He,t),u(L,e,t),i(e,Pe,t),i(e,A,t),i(e,Ee,t),u(_,e,t),i(e,Be,t),i(e,S,t),i(e,Qe,t),i(e,D,t),i(e,We,t),i(e,N,t),i(e,qe,t),i(e,H,t),i(e,Ge,t),u(P,e,t),i(e,Ve,t),i(e,E,t),i(e,Ye,t),u(B,e,t),i(e,Ze,t),i(e,Q,t),i(e,ke,t),u(W,e,t),i(e,Fe,t),i(e,q,t),i(e,Xe,t),u(G,e,t),i(e,Re,t),i(e,V,t),i(e,Oe,t),u(Y,e,t),i(e,Ke,t),i(e,Z,t),i(e,et,t),i(e,k,t),i(e,tt,t),u(F,e,t),i(e,at,t),i(e,X,t),i(e,it,t),i(e,R,t),i(e,rt,t),u(O,e,t),i(e,lt,t),i(e,K,t),i(e,nt,t),i(e,ee,t),i(e,st,t),u(te,e,t),i(e,ut,t),i(e,ae,t),i(e,pt,t),i(e,ie,t),i(e,mt,t),u(re,e,t),i(e,ct,t),i(e,le,t),i(e,ot,t),u(ne,e,t),i(e,dt,t),i(e,se,t),i(e,ft,t),u(g,e,t),i(e,$t,t),u(ue,e,t),i(e,vt,t),u(pe,e,t),i(e,Tt,t),u(me,e,t),i(e,gt,t),u(ce,e,t),i(e,Mt,t),u(oe,e,t),i(e,wt,t),u(de,e,t),i(e,Jt,t),u(fe,e,t),i(e,Ct,t),u($e,e,t),i(e,bt,t),u(ve,e,t),i(e,ht,t),u(Te,e,t),i(e,xt,t),u(ge,e,t),i(e,jt,t),u(Me,e,t),i(e,It,t),u(we,e,t),i(e,zt,t),u(Je,e,t),i(e,Ut,t),u(Ce,e,t),i(e,yt,t),i(e,xe,t),Lt=!0},p(e,[t]){const ra={};t&2&&(ra.$$scope={dirty:t,ctx:e}),g.$set(ra)},i(e){Lt||(p(w.$$.fragment,e),p(C.$$.fragment,e),p(h.$$.fragment,e),p(I.$$.fragment,e),p(U.$$.fragment,e),p(L.$$.fragment,e),p(_.$$.fragment,e),p(P.$$.fragment,e),p(B.$$.fragment,e),p(W.$$.fragment,e),p(G.$$.fragment,e),p(Y.$$.fragment,e),p(F.$$.fragment,e),p(O.$$.fragment,e),p(te.$$.fragment,e),p(re.$$.fragment,e),p(ne.$$.fragment,e),p(g.$$.fragment,e),p(ue.$$.fragment,e),p(pe.$$.fragment,e),p(me.$$.fragment,e),p(ce.$$.fragment,e),p(oe.$$.fragment,e),p(de.$$.fragment,e),p(fe.$$.fragment,e),p($e.$$.fragment,e),p(ve.$$.fragment,e),p(Te.$$.fragment,e),p(ge.$$.fragment,e),p(Me.$$.fragment,e),p(we.$$.fragment,e),p(Je.$$.fragment,e),p(Ce.$$.fragment,e),Lt=!0)},o(e){m(w.$$.fragment,e),m(C.$$.fragment,e),m(h.$$.fragment,e),m(I.$$.fragment,e),m(U.$$.fragment,e),m(L.$$.fragment,e),m(_.$$.fragment,e),m(P.$$.fragment,e),m(B.$$.fragment,e),m(W.$$.fragment,e),m(G.$$.fragment,e),m(Y.$$.fragment,e),m(F.$$.fragment,e),m(O.$$.fragment,e),m(te.$$.fragment,e),m(re.$$.fragment,e),m(ne.$$.fragment,e),m(g.$$.fragment,e),m(ue.$$.fragment,e),m(pe.$$.fragment,e),m(me.$$.fragment,e),m(ce.$$.fragment,e),m(oe.$$.fragment,e),m(de.$$.fragment,e),m(fe.$$.fragment,e),m($e.$$.fragment,e),m(ve.$$.fragment,e),m(Te.$$.fragment,e),m(ge.$$.fragment,e),m(Me.$$.fragment,e),m(we.$$.fragment,e),m(Je.$$.fragment,e),m(Ce.$$.fragment,e),Lt=!1},d(e){e&&(a(M),a(T),a(be),a(Ie),a(J),a(ze),a(Ue),a(b),a(ye),a(Le),a(x),a(Ae),a(j),a(_e),a(Se),a(z),a(De),a(Ne),a(y),a(He),a(Pe),a(A),a(Ee),a(Be),a(S),a(Qe),a(D),a(We),a(N),a(qe),a(H),a(Ge),a(Ve),a(E),a(Ye),a(Ze),a(Q),a(ke),a(Fe),a(q),a(Xe),a(Re),a(V),a(Oe),a(Ke),a(Z),a(et),a(k),a(tt),a(at),a(X),a(it),a(R),a(rt),a(lt),a(K),a(nt),a(ee),a(st),a(ut),a(ae),a(pt),a(ie),a(mt),a(ct),a(le),a(ot),a(dt),a(se),a(ft),a($t),a(vt),a(Tt),a(gt),a(Mt),a(wt),a(Jt),a(Ct),a(bt),a(ht),a(xt),a(jt),a(It),a(zt),a(Ut),a(yt),a(xe)),a(v),c(w,e),c(C,e),c(h,e),c(I,e),c(U,e),c(L,e),c(_,e),c(P,e),c(B,e),c(W,e),c(G,e),c(Y,e),c(F,e),c(O,e),c(te,e),c(re,e),c(ne,e),c(g,e),c(ue,e),c(pe,e),c(me,e),c(ce,e),c(oe,e),c(de,e),c(fe,e),c($e,e),c(ve,e),c(Te,e),c(ge,e),c(Me,e),c(we,e),c(Je,e),c(Ce,e)}}}const Ma='{"title":"Evaluarea","local":"evaluarea","sections":[{"title":"Criterii de referință automate","local":"criterii-de-referință-automate","sections":[],"depth":2},{"title":"Înțelegerea criteriilor de referință automate","local":"înțelegerea-criteriilor-de-referință-automate","sections":[],"depth":2},{"title":"Criterii de referință pentru cunoștințe generale","local":"criterii-de-referință-pentru-cunoștințe-generale","sections":[],"depth":2},{"title":"Criterii de referință pentru raționament","local":"criterii-de-referință-pentru-raționament","sections":[],"depth":2},{"title":"Înțelegerea limbajului","local":"înțelegerea-limbajului","sections":[],"depth":2},{"title":"Criterii de referință specifice domeniului","local":"criterii-de-referință-specifice-domeniului","sections":[],"depth":2},{"title":"Abordări alternative de evaluare","local":"abordări-alternative-de-evaluare","sections":[{"title":"LLM-ca-judecător","local":"llm-ca-judecător","sections":[],"depth":3},{"title":"Arene de evaluare","local":"arene-de-evaluare","sections":[],"depth":3},{"title":"Suite de criterii de referință personalizate","local":"suite-de-criterii-de-referință-personalizate","sections":[],"depth":3}],"depth":2},{"title":"Evaluare personalizată","local":"evaluare-personalizată","sections":[],"depth":2},{"title":"Implementarea evaluărilor personalizate","local":"implementarea-evaluărilor-personalizate","sections":[],"depth":2},{"title":"Exemplu de pipeline de evaluare","local":"exemplu-de-pipeline-de-evaluare","sections":[],"depth":2}],"depth":1}';function wa(je){return ua(()=>{new URLSearchParams(window.location.search).get("fw")}),[]}class za extends ma{constructor(v){super(),ca(this,v,wa,ga,sa,{})}}export{za as component};