course/pr_1069/rum/_app/immutable/nodes/77.ca601a99.js

import{s as Rs,f as Ys,o as Qs,n as Pl}from"../chunks/scheduler.37c15a92.js";import{S as Xs,i as Es,g as m,s as n,r as y,A as Hs,h as d,f as a,c as i,j as ss,u as T,x as J,k as xl,y as Ns,a as t,v as f,t as M,b as ra,d as o,w as b,p as pa}from"../chunks/index.2bf4358c.js";import{T as ca}from"../chunks/Tip.363c041f.js";import{Y as Bs}from"../chunks/Youtube.1e50a667.js";import{C}from"../chunks/CodeBlock.4e987730.js";import{C as zs}from"../chunks/CourseFloatingBanner.6add7356.js";import{F as Fs}from"../chunks/FrameworkSwitchCourse.8d4d4ab6.js";import{H as de,E as Ss}from"../chunks/getInferenceSnippets.24b50994.js";function Ds(v){let r,w;return r=new zs({props:{chapter:7,classNames:"absolute z-10 right-0 top-0",notebooks:[{label:"Google Colab",value:"https://colab.research.google.com/github/huggingface/notebooks/blob/master/course/en/chapter7/section2_tf.ipynb"},{label:"Aws Studio",value:"https://studiolab.sagemaker.aws/import/github/huggingface/notebooks/blob/master/course/en/chapter7/section2_tf.ipynb"}]}}),{c(){y(r.$$.fragment)},l(p){T(r.$$.fragment,p)},m(p,U){f(r,p,U),w=!0},i(p){w||(o(r.$$.fragment,p),w=!0)},o(p){M(r.$$.fragment,p),w=!1},d(p){b(r,p)}}}function Ls(v){let r,w;return r=new zs({props:{chapter:7,classNames:"absolute z-10 right-0 top-0",notebooks:[{label:"Google Colab",value:"https://colab.research.google.com/github/huggingface/notebooks/blob/master/course/en/chapter7/section2_pt.ipynb"},{label:"Aws Studio",value:"https://studiolab.sagemaker.aws/import/github/huggingface/notebooks/blob/master/course/en/chapter7/section2_pt.ipynb"}]}}),{c(){y(r.$$.fragment)},l(p){T(r.$$.fragment,p)},m(p,U){f(r,p,U),w=!0},i(p){w||(o(r.$$.fragment,p),w=!0)},o(p){M(r.$$.fragment,p),w=!1},d(p){b(r,p)}}}function qs(v){let r,w='💡 Atât timp cât datasetul vostru constă în texte împărțite în cuvinte cu labelurile corespunzătoare, veți putea adapta procedurile de preprocesare a datelor descrise aici la propriul dataset. Consultați <a href="/course/chapter5">Capitolul 5</a> dacă aveți nevoie de o recapitulare a modului de încărcare a propriilor date personalizate într-un <code>Dataset</code>.';return{c(){r=m("p"),r.innerHTML=w},l(p){r=d(p,"P",{"data-svelte-h":!0}),J(r)!=="svelte-fi09xy"&&(r.innerHTML=w)},m(p,U){t(p,r,U)},p:Pl,d(p){p&&a(r)}}}function Ps(v){let r,w="✏️ <strong>E rândul tău!</strong> Afișați aceleași două propoziții cu labelurile POS sau chunking.";return{c(){r=m("p"),r.innerHTML=w},l(p){r=d(p,"P",{"data-svelte-h":!0}),J(r)!=="svelte-ujozkx"&&(r.innerHTML=w)},m(p,U){t(p,r,U)},p:Pl,d(p){p&&a(r)}}}function Os(v){let r,w="✏️ <strong>Rândul tău!</strong> Unii cercetători preferă să atribuie un singur label pe cuvânt și să atribuie <code>-100</code> celorlalți subtokeni dintr-un cuvânt dat. Aceasta are loc pentru a evita ca cuvintele lungi care se împart în mai mulți subtokeni să contribuie puternic la pierdere. Modificați funcția anterioară pentru a alinia labelurile cu ID-urile de input urmând această regulă.";return{c(){r=m("p"),r.innerHTML=w},l(p){r=d(p,"P",{"data-svelte-h":!0}),J(r)!=="svelte-12jf2kf"&&(r.innerHTML=w)},m(p,U){t(p,r,U)},p:Pl,d(p){p&&a(r)}}}function Ks(v){let r,w,p,U="Codul real care utilizează <code>Keras</code> va fi același ca înainte; singurele modificări sunt modul în care datele sunt collated într-un batch și metric computation function.",_;return r=new de({props:{title:"Fine-tuningul modelului cu Keras",local:"fine-tuning-the-model-with-keras",headingTag:"h2"}}),{c(){y(r.$$.fragment),w=n(),p=m("p"),p.innerHTML=U},l(h){T(r.$$.fragment,h),w=i(h),p=d(h,"P",{"data-svelte-h":!0}),J(p)!=="svelte-1lfpmm2"&&(p.innerHTML=U)},m(h,g){f(r,h,g),t(h,w,g),t(h,p,g),_=!0},i(h){_||(o(r.$$.fragment,h),_=!0)},o(h){M(r.$$.fragment,h),_=!1},d(h){h&&(a(w),a(p)),b(r,h)}}}function en(v){let r,w,p,U="Codul real care utilizează <code>Trainer</code> va fi același ca înainte; singurele modificări sunt modul în care datele sunt collated într-un batch și metric computation function.",_;return r=new de({props:{title:"Fine-tuningul modelului cu Trainer API",local:"fine-tuning-the-model-with-the-trainer-api",headingTag:"h2"}}),{c(){y(r.$$.fragment),w=n(),p=m("p"),p.innerHTML=U},l(h){T(r.$$.fragment,h),w=i(h),p=d(h,"P",{"data-svelte-h":!0}),J(p)!=="svelte-1wqupxz"&&(p.innerHTML=U)},m(h,g){f(r,h,g),t(h,w,g),t(h,p,g),_=!0},i(h){_||(o(r.$$.fragment,h),_=!0)},o(h){M(r.$$.fragment,h),_=!1},d(h){h&&(a(w),a(p)),b(r,h)}}}function ln(v){let r,w;return r=new C({props:{code:"ZnJvbSUyMHRyYW5zZm9ybWVycyUyMGltcG9ydCUyMERhdGFDb2xsYXRvckZvclRva2VuQ2xhc3NpZmljYXRpb24lMEElMEFkYXRhX2NvbGxhdG9yJTIwJTNEJTIwRGF0YUNvbGxhdG9yRm9yVG9rZW5DbGFzc2lmaWNhdGlvbiglMEElMjAlMjAlMjAlMjB0b2tlbml6ZXIlM0R0b2tlbml6ZXIlMkMlMjByZXR1cm5fdGVuc29ycyUzRCUyMnRmJTIyJTBBKQ==",highlighted:`<span class="hljs-keyword">from</span> transformers <span class="hljs-keyword">import</span> DataCollatorForTokenClassification

data_collator = DataCollatorForTokenClassification(
    tokenizer=tokenizer, return_tensors=<span class="hljs-string">&quot;tf&quot;</span>
)`,wrap:!1}}),{c(){y(r.$$.fragment)},l(p){T(r.$$.fragment,p)},m(p,U){f(r,p,U),w=!0},i(p){w||(o(r.$$.fragment,p),w=!0)},o(p){M(r.$$.fragment,p),w=!1},d(p){b(r,p)}}}function an(v){let r,w;return r=new C({props:{code:"ZnJvbSUyMHRyYW5zZm9ybWVycyUyMGltcG9ydCUyMERhdGFDb2xsYXRvckZvclRva2VuQ2xhc3NpZmljYXRpb24lMEElMEFkYXRhX2NvbGxhdG9yJTIwJTNEJTIwRGF0YUNvbGxhdG9yRm9yVG9rZW5DbGFzc2lmaWNhdGlvbih0b2tlbml6ZXIlM0R0b2tlbml6ZXIp",highlighted:`<span class="hljs-keyword">from</span> transformers <span class="hljs-keyword">import</span> DataCollatorForTokenClassification

data_collator = DataCollatorForTokenClassification(tokenizer=tokenizer)`,wrap:!1}}),{c(){y(r.$$.fragment)},l(p){T(r.$$.fragment,p)},m(p,U){f(r,p,U),w=!0},i(p){w||(o(r.$$.fragment,p),w=!0)},o(p){M(r.$$.fragment,p),w=!1},d(p){b(r,p)}}}function tn(v){let r,w="Data collatorul nostru de date este gata de utilizare! Acum să îl folosim pentru a crea un <code>tf.data.Dataset</code> cu metoda <code>to_tf_dataset()</code>. De asemenea, puteți utiliza <code>model.prepare_tf_dataset()</code> pentru a face acest lucru cu un pic mai puțin cod repetitiv - veți vedea acest lucru în unele dintre celelalte secțiuni ale acestui capitol.",p,U,_,h,g="Următoarea oprire: modelul în sine.",A;return U=new C({props:{code:"dGZfdHJhaW5fZGF0YXNldCUyMCUzRCUyMHRva2VuaXplZF9kYXRhc2V0cyU1QiUyMnRyYWluJTIyJTVELnRvX3RmX2RhdGFzZXQoJTBBJTIwJTIwJTIwJTIwY29sdW1ucyUzRCU1QiUyMmF0dGVudGlvbl9tYXNrJTIyJTJDJTIwJTIyaW5wdXRfaWRzJTIyJTJDJTIwJTIybGFiZWxzJTIyJTJDJTIwJTIydG9rZW5fdHlwZV9pZHMlMjIlNUQlMkMlMEElMjAlMjAlMjAlMjBjb2xsYXRlX2ZuJTNEZGF0YV9jb2xsYXRvciUyQyUwQSUyMCUyMCUyMCUyMHNodWZmbGUlM0RUcnVlJTJDJTBBJTIwJTIwJTIwJTIwYmF0Y2hfc2l6ZSUzRDE2JTJDJTBBKSUwQSUwQXRmX2V2YWxfZGF0YXNldCUyMCUzRCUyMHRva2VuaXplZF9kYXRhc2V0cyU1QiUyMnZhbGlkYXRpb24lMjIlNUQudG9fdGZfZGF0YXNldCglMEElMjAlMjAlMjAlMjBjb2x1bW5zJTNEJTVCJTIyYXR0ZW50aW9uX21hc2slMjIlMkMlMjAlMjJpbnB1dF9pZHMlMjIlMkMlMjAlMjJsYWJlbHMlMjIlMkMlMjAlMjJ0b2tlbl90eXBlX2lkcyUyMiU1RCUyQyUwQSUyMCUyMCUyMCUyMGNvbGxhdGVfZm4lM0RkYXRhX2NvbGxhdG9yJTJDJTBBJTIwJTIwJTIwJTIwc2h1ZmZsZSUzREZhbHNlJTJDJTBBJTIwJTIwJTIwJTIwYmF0Y2hfc2l6ZSUzRDE2JTJDJTBBKQ==",highlighted:`tf_train_dataset = tokenized_datasets[<span class="hljs-string">&quot;train&quot;</span>].to_tf_dataset(
    columns=[<span class="hljs-string">&quot;attention_mask&quot;</span>, <span class="hljs-string">&quot;input_ids&quot;</span>, <span class="hljs-string">&quot;labels&quot;</span>, <span class="hljs-string">&quot;token_type_ids&quot;</span>],
    collate_fn=data_collator,
    shuffle=<span class="hljs-literal">True</span>,
    batch_size=<span class="hljs-number">16</span>,
)

tf_eval_dataset = tokenized_datasets[<span class="hljs-string">&quot;validation&quot;</span>].to_tf_dataset(
    columns=[<span class="hljs-string">&quot;attention_mask&quot;</span>, <span class="hljs-string">&quot;input_ids&quot;</span>, <span class="hljs-string">&quot;labels&quot;</span>, <span class="hljs-string">&quot;token_type_ids&quot;</span>],
    collate_fn=data_collator,
    shuffle=<span class="hljs-literal">False</span>,
    batch_size=<span class="hljs-number">16</span>,
)`,wrap:!1}}),{c(){r=m("p"),r.innerHTML=w,p=n(),y(U.$$.fragment),_=n(),h=m("p"),h.textContent=g},l(j){r=d(j,"P",{"data-svelte-h":!0}),J(r)!=="svelte-11r12yz"&&(r.innerHTML=w),p=i(j),T(U.$$.fragment,j),_=i(j),h=d(j,"P",{"data-svelte-h":!0}),J(h)!=="svelte-4rk5yl"&&(h.textContent=g)},m(j,x){t(j,r,x),t(j,p,x),f(U,j,x),t(j,_,x),t(j,h,x),A=!0},i(j){A||(o(U.$$.fragment,j),A=!0)},o(j){M(U.$$.fragment,j),A=!1},d(j){j&&(a(r),a(p),a(_),a(h)),b(U,j)}}}function sn(v){let r,w="După cum se poate observa, al doilea set de labeluri a fost padded la lungimea primului folosind <code>-100</code>.";return{c(){r=m("p"),r.innerHTML=w},l(p){r=d(p,"P",{"data-svelte-h":!0}),J(r)!=="svelte-s657ic"&&(r.innerHTML=w)},m(p,U){t(p,r,U)},i:Pl,o:Pl,d(p){p&&a(r)}}}function Gs(v){let r,w,p,U="Deoarece lucrăm la o problemă de clasificare a tokenilor, vom utiliza clasa <code>TFAutoModelForTokenClassification</code>. Principalul lucru de care trebuie să ne amintim atunci când definim acest model este să transmitem informații privind numărul de labeluri pe care le avem. Cel mai simplu mod de a face acest lucru este să transmiteți acest număr cu argumentul <code>num_labels</code>, dar dacă dorim un inference widget frumos care să funcționeze ca cel pe care l-am văzut la începutul acestei secțiuni, este mai bine să setați în schimb corespondențele corecte ale labelurilor.",_,h,g="Acestea ar trebui să fie stabilite de două dicționare, <code>id2label</code> și <code>label2id</code>, care conțin corespondența de la ID la label și viceversa:",A,j,x,Z,I="Acum putem să le transmitem metodei <code>TFAutoModelForTokenClassification.from_pretrained()</code>, iar acestea vor fi setate în configurația modelului, apoi salvate corespunzător și încărcate în Hub:",W,k,G,O,Zl='La fel ca atunci când am definit <code>TFAutoModelForSequenceClassification</code> în <a href="/course/chapter3">Capitolul 3</a>, crearea modelului emite un avertisment că unele weights nu au fost utilizate (cele din headul de preantrenare) și că alte weights sunt inițializate aleatoriu (cele din headul de clasificare a tokenilor noi) și că acest model ar trebui să fie antrenat. Vom face acest lucru într-un minut, dar mai întâi să verificăm de două ori că modelul nostru are numărul corect de labeluri:',ie,Y,re,K,Ie,B,Ae,Q,L,ee,Al="Acum suntem gata să ne antrenăm modelul! Totuși, mai avem doar câteva lucruri de făcut mai întâi: ar trebui să ne conectăm la Hugging Face și să definim hiperparametrii noștri de antrenare. Dacă lucrați într-un notebook, există o funcție convenabilă pentru a vă ajuta cu acest lucru:",pe,le,$e,V,Wl="Aceasta va afișa un widget în care puteți introduce datele tale de autentificare Hugging Face.",ce,ae,Bl="Dacă nu lucrați într-un notebook, tastați următoarea linie în terminal:",te,X,ue,E,ve="După autentificare, putem pregăti tot ce avem nevoie pentru a compila modelul nostru. 🤗 Transformers oferă o funcție convenabilă <code>create_optimizer()</code> care vă va oferi un optimizator <code>AdamW</code> cu setări adecvate pentru weight decay și learning rate decay, ambele îmbunătățind performanța modelului vsotru în comparație cu optimizatorul <code>Adam</code> încorporat:",We,H,oe,N,_e="Rețineți, de asemenea, că nu furnizăm un argument <code>loss</code> la <code>compile()</code>. Acest lucru se datorează faptului că modelele pot calcula de fapt pierderea intern - dacă compilați fără o pierdere și furnizați labelurile în dicționarul de intrare (așa cum facem în dataseturile noastre), atunci modelul se va antrena folosind acea pierdere internă, care va fi adecvată pentru sarcina și tipul de model pe care le-ați ales.",Be,F,Je="În continuare, definim un <code>PushToHubCallback</code> pentru a încărca modelul nostru în Hub în timpul antrenării și pentru a potrivi modelul cu acel callback:",Me,se,ge,z,Gl='Puteți specifica numele complet al repositoriului către care doriți să efectuați push cu argumentul <code>hub_model_id</code> (în special, va trebui să utilizați acest argument pentru a efectua push către o organizație). De exemplu, atunci când am trimis modelul către organizația <a href="https://huggingface.co/huggingface-course" rel="nofollow"><code>huggingface-course</code></a>, am adăugat <code>hub_model_id=&quot;huggingface-course/bert-finetuned-ner&quot;</code>. În mod implicit, repositoriul utilizat va fi în namespace-ul denumit după directory output pe care l-ați stabilit, de exemplu <code>&quot;cool_huggingface_user/bert-finetuned-ner&quot;</code>.',me,ne,Ge,S,xe="Rețineți că, în timpul antrenamentului, de fiecare dată când modelul este salvat (aici, la fiecare epocă), acesta este încărcat pe Hub în fundal. În acest fel, veți putea să reluați formarea pe o altă mașină, dacă este necesar.",ke,R,Ve="În acest stadiu, puteți utiliza inference widget de pe Model Hub pentru a testa modelul vostru și pentru a-l partaja cu prietenii. Ați făcut fine-tune cu succes unui model pentru o sarcină de clasificare a tokenilor - felicitări! Dar cât de bun este modelul nostru, de fapt? Ar trebui să evaluăm anumiți parametri pentru a afla.",D;return r=new de({props:{title:"Definirea modelului",local:"defining-the-model",headingTag:"h3"}}),j=new C({props:{code:"aWQybGFiZWwlMjAlM0QlMjAlN0JpJTNBJTIwbGFiZWwlMjBmb3IlMjBpJTJDJTIwbGFiZWwlMjBpbiUyMGVudW1lcmF0ZShsYWJlbF9uYW1lcyklN0QlMEFsYWJlbDJpZCUyMCUzRCUyMCU3QnYlM0ElMjBrJTIwZm9yJTIwayUyQyUyMHYlMjBpbiUyMGlkMmxhYmVsLml0ZW1zKCklN0Q=",highlighted:`id2label = {i: label <span class="hljs-keyword">for</span> i, label <span class="hljs-keyword">in</span> <span class="hljs-built_in">enumerate</span>(label_names)}
label2id = {v: k <span class="hljs-keyword">for</span> k, v <span class="hljs-keyword">in</span> id2label.items()}`,wrap:!1}}),k=new C({props:{code:"ZnJvbSUyMHRyYW5zZm9ybWVycyUyMGltcG9ydCUyMFRGQXV0b01vZGVsRm9yVG9rZW5DbGFzc2lmaWNhdGlvbiUwQSUwQW1vZGVsJTIwJTNEJTIwVEZBdXRvTW9kZWxGb3JUb2tlbkNsYXNzaWZpY2F0aW9uLmZyb21fcHJldHJhaW5lZCglMEElMjAlMjAlMjAlMjBtb2RlbF9jaGVja3BvaW50JTJDJTBBJTIwJTIwJTIwJTIwaWQybGFiZWwlM0RpZDJsYWJlbCUyQyUwQSUyMCUyMCUyMCUyMGxhYmVsMmlkJTNEbGFiZWwyaWQlMkMlMEEp",highlighted:`<span class="hljs-keyword">from</span> transformers <span class="hljs-keyword">import</span> TFAutoModelForTokenClassification

model = TFAutoModelForTokenClassification.from_pretrained(
    model_checkpoint,
    id2label=id2label,
    label2id=label2id,
)`,wrap:!1}}),Y=new C({props:{code:"bW9kZWwuY29uZmlnLm51bV9sYWJlbHM=",highlighted:"model.config.num_labels",wrap:!1}}),K=new C({props:{code:"OQ==",highlighted:'<span class="hljs-number">9</span>',wrap:!1}}),B=new ca({props:{warning:!0,$$slots:{default:[nn]},$$scope:{ctx:v}}}),Q=new de({props:{title:"Fine-tuningul modelului",local:"fine-tuning-the-model",headingTag:"h3"}}),le=new C({props:{code:"ZnJvbSUyMGh1Z2dpbmdmYWNlX2h1YiUyMGltcG9ydCUyMG5vdGVib29rX2xvZ2luJTBBJTBBbm90ZWJvb2tfbG9naW4oKQ==",highlighted:`<span class="hljs-keyword">from</span> huggingface_hub <span class="hljs-keyword">import</span> notebook_login

notebook_login()`,wrap:!1}}),X=new C({props:{code:"aHVnZ2luZ2ZhY2UtY2xpJTIwbG9naW4=",highlighted:"huggingface-cli login",wrap:!1}}),H=new C({props:{code:"ZnJvbSUyMHRyYW5zZm9ybWVycyUyMGltcG9ydCUyMGNyZWF0ZV9vcHRpbWl6ZXIlMEFpbXBvcnQlMjB0ZW5zb3JmbG93JTIwYXMlMjB0ZiUwQSUwQSUyMyUyMEFudHJlbmFyZWElMjAlQzMlQUVuJTIwbWl4ZWQtcHJlY2lzaW9uJTIwZmxvYXQxNiUwQSUyMyUyMENvbWVudGElQzglOUJpJTIwYWNlYXN0JUM0JTgzJTIwbGluaWUlMjBkYWMlQzQlODMlMjB1dGlsaXphJUM4JTlCaSUyMHVuJTIwR1BVJTIwY2FyZSUyMG51JTIwdmElMjBiZW5lZmljaWElMjBkZSUyMGFjZXN0JTIwbHVjcnUlMEF0Zi5rZXJhcy5taXhlZF9wcmVjaXNpb24uc2V0X2dsb2JhbF9wb2xpY3koJTIybWl4ZWRfZmxvYXQxNiUyMiklMEElMEElMjMlMjBOdW0lQzQlODNydWwlMjBkZSUyMGV0YXBlJTIwZGUlMjBhbnRyZW5hcmUlMjBlc3RlJTIwbnVtJUM0JTgzcnVsJTIwZGUlMjBzYW1wbGV1cmklMjBkaW4lMjBkYXRhc2V0JTJDJTIwJUMzJUFFbXAlQzQlODNyJUM4JTlCaXQlMjBsYSUyMGRpbWVuc2l1bmVhJTIwYmF0Y2gtdWx1aSUyQyUyMGFwb2klMjBtdWx0aXBsaWNhdCUwQSUyMyUyMGN1JTIwbnVtJUM0JTgzcnVsJTIwdG90YWwlMjBkZSUyMGVwb2NpLiUyMFJlJUM4JTlCaW5lJUM4JTlCaSUyMGMlQzQlODMlMjB0Zl90cmFpbl9kYXRhc2V0JTIwZGUlMjBhaWNpJTIwZXN0ZSUyMHVuJTIwYmF0Y2hlZCUyMHRmLmRhdGEuRGF0YXNldCUyQyUwQSUyMyUyMG51JTIwZXN0ZSUyMG9yaWdpbmFsdWwlMjBIdWdnaW5nJTIwRmFjZSUyMERhdGFzZXQlMkMlMjBkZWNpJTIwbGVuKCklMjBlc3RlJTIwZGVqYSUyMG51bV9zYW1wbGVzJTIwJTJGJTJGJTIwYmF0Y2hfc2l6ZS4lMEFudW1fZXBvY2hzJTIwJTNEJTIwMyUwQW51bV90cmFpbl9zdGVwcyUyMCUzRCUyMGxlbih0Zl90cmFpbl9kYXRhc2V0KSUyMColMjBudW1fZXBvY2hzJTBBJTBBb3B0aW1pemVyJTJDJTIwc2NoZWR1bGUlMjAlM0QlMjBjcmVhdGVfb3B0aW1pemVyKCUwQSUyMCUyMCUyMCUyMGluaXRfbHIlM0QyZS01JTJDJTBBJTIwJTIwJTIwJTIwbnVtX3dhcm11cF9zdGVwcyUzRDAlMkMlMEElMjAlMjAlMjAlMjBudW1fdHJhaW5fc3RlcHMlM0RudW1fdHJhaW5fc3RlcHMlMkMlMEElMjAlMjAlMjAlMjB3ZWlnaHRfZGVjYXlfcmF0ZSUzRDAuMDElMkMlMEEpJTBBbW9kZWwuY29tcGlsZShvcHRpbWl6ZXIlM0RvcHRpbWl6ZXIp",highlighted:`<span class="hljs-keyword">from</span> transformers <span class="hljs-keyword">import</span> create_optimizer
<span class="hljs-keyword">import</span> tensorflow <span class="hljs-keyword">as</span> tf

<span class="hljs-comment"># Antrenarea în mixed-precision float16</span>
<span class="hljs-comment"># Comentați această linie dacă utilizați un GPU care nu va beneficia de acest lucru</span>
tf.keras.mixed_precision.set_global_policy(<span class="hljs-string">&quot;mixed_float16&quot;</span>)

<span class="hljs-comment"># Numărul de etape de antrenare este numărul de sampleuri din dataset, împărțit la dimensiunea batch-ului, apoi multiplicat</span>
<span class="hljs-comment"># cu numărul total de epoci. Rețineți că tf_train_dataset de aici este un batched tf.data.Dataset,</span>
<span class="hljs-comment"># nu este originalul Hugging Face Dataset, deci len() este deja num_samples // batch_size.</span>
num_epochs = <span class="hljs-number">3</span>
num_train_steps = <span class="hljs-built_in">len</span>(tf_train_dataset) * num_epochs

optimizer, schedule = create_optimizer(
    init_lr=<span class="hljs-number">2e-5</span>,
    num_warmup_steps=<span class="hljs-number">0</span>,
    num_train_steps=num_train_steps,
    weight_decay_rate=<span class="hljs-number">0.01</span>,
)
model.<span class="hljs-built_in">compile</span>(optimizer=optimizer)`,wrap:!1}}),se=new C({props:{code:"ZnJvbSUyMHRyYW5zZm9ybWVycy5rZXJhc19jYWxsYmFja3MlMjBpbXBvcnQlMjBQdXNoVG9IdWJDYWxsYmFjayUwQSUwQWNhbGxiYWNrJTIwJTNEJTIwUHVzaFRvSHViQ2FsbGJhY2sob3V0cHV0X2RpciUzRCUyMmJlcnQtZmluZXR1bmVkLW5lciUyMiUyQyUyMHRva2VuaXplciUzRHRva2VuaXplciklMEElMEFtb2RlbC5maXQoJTBBJTIwJTIwJTIwJTIwdGZfdHJhaW5fZGF0YXNldCUyQyUwQSUyMCUyMCUyMCUyMHZhbGlkYXRpb25fZGF0YSUzRHRmX2V2YWxfZGF0YXNldCUyQyUwQSUyMCUyMCUyMCUyMGNhbGxiYWNrcyUzRCU1QmNhbGxiYWNrJTVEJTJDJTBBJTIwJTIwJTIwJTIwZXBvY2hzJTNEbnVtX2Vwb2NocyUyQyUwQSk=",highlighted:`<span class="hljs-keyword">from</span> transformers.keras_callbacks <span class="hljs-keyword">import</span> PushToHubCallback

callback = PushToHubCallback(output_dir=<span class="hljs-string">&quot;bert-finetuned-ner&quot;</span>, tokenizer=tokenizer)

model.fit(
    tf_train_dataset,
    validation_data=tf_eval_dataset,
    callbacks=[callback],
    epochs=num_epochs,
)`,wrap:!1}}),ne=new ca({props:{$$slots:{default:[rn]},$$scope:{ctx:v}}}),{c(){y(r.$$.fragment),w=n(),p=m("p"),p.innerHTML=U,_=n(),h=m("p"),h.innerHTML=g,A=n(),y(j.$$.fragment),x=n(),Z=m("p"),Z.innerHTML=I,W=n(),y(k.$$.fragment),G=n(),O=m("p"),O.innerHTML=Zl,ie=n(),y(Y.$$.fragment),re=n(),y(K.$$.fragment),Ie=n(),y(B.$$.fragment),Ae=n(),y(Q.$$.fragment),L=n(),ee=m("p"),ee.textContent=Al,pe=n(),y(le.$$.fragment),$e=n(),V=m("p"),V.textContent=Wl,ce=n(),ae=m("p"),ae.textContent=Bl,te=n(),y(X.$$.fragment),ue=n(),E=m("p"),E.innerHTML=ve,We=n(),y(H.$$.fragment),oe=n(),N=m("p"),N.innerHTML=_e,Be=n(),F=m("p"),F.innerHTML=Je,Me=n(),y(se.$$.fragment),ge=n(),z=m("p"),z.innerHTML=Gl,me=n(),y(ne.$$.fragment),Ge=n(),S=m("p"),S.textContent=xe,ke=n(),R=m("p"),R.textContent=Ve},l(c){T(r.$$.fragment,c),w=i(c),p=d(c,"P",{"data-svelte-h":!0}),J(p)!=="svelte-10btnai"&&(p.innerHTML=U),_=i(c),h=d(c,"P",{"data-svelte-h":!0}),J(h)!=="svelte-1shoa11"&&(h.innerHTML=g),A=i(c),T(j.$$.fragment,c),x=i(c),Z=d(c,"P",{"data-svelte-h":!0}),J(Z)!=="svelte-6232fd"&&(Z.innerHTML=I),W=i(c),T(k.$$.fragment,c),G=i(c),O=d(c,"P",{"data-svelte-h":!0}),J(O)!=="svelte-tfzk5p"&&(O.innerHTML=Zl),ie=i(c),T(Y.$$.fragment,c),re=i(c),T(K.$$.fragment,c),Ie=i(c),T(B.$$.fragment,c),Ae=i(c),T(Q.$$.fragment,c),L=i(c),ee=d(c,"P",{"data-svelte-h":!0}),J(ee)!=="svelte-e4pzct"&&(ee.textContent=Al),pe=i(c),T(le.$$.fragment,c),$e=i(c),V=d(c,"P",{"data-svelte-h":!0}),J(V)!=="svelte-i33qye"&&(V.textContent=Wl),ce=i(c),ae=d(c,"P",{"data-svelte-h":!0}),J(ae)!=="svelte-fhjhmt"&&(ae.textContent=Bl),te=i(c),T(X.$$.fragment,c),ue=i(c),E=d(c,"P",{"data-svelte-h":!0}),J(E)!=="svelte-1ats0y9"&&(E.innerHTML=ve),We=i(c),T(H.$$.fragment,c),oe=i(c),N=d(c,"P",{"data-svelte-h":!0}),J(N)!=="svelte-126h93s"&&(N.innerHTML=_e),Be=i(c),F=d(c,"P",{"data-svelte-h":!0}),J(F)!=="svelte-ff9zv0"&&(F.innerHTML=Je),Me=i(c),T(se.$$.fragment,c),ge=i(c),z=d(c,"P",{"data-svelte-h":!0}),J(z)!=="svelte-4u43dh"&&(z.innerHTML=Gl),me=i(c),T(ne.$$.fragment,c),Ge=i(c),S=d(c,"P",{"data-svelte-h":!0}),J(S)!=="svelte-16y56ge"&&(S.textContent=xe),ke=i(c),R=d(c,"P",{"data-svelte-h":!0}),J(R)!=="svelte-13kz9ey"&&(R.textContent=Ve)},m(c,$){f(r,c,$),t(c,w,$),t(c,p,$),t(c,_,$),t(c,h,$),t(c,A,$),f(j,c,$),t(c,x,$),t(c,Z,$),t(c,W,$),f(k,c,$),t(c,G,$),t(c,O,$),t(c,ie,$),f(Y,c,$),t(c,re,$),f(K,c,$),t(c,Ie,$),f(B,c,$),t(c,Ae,$),f(Q,c,$),t(c,L,$),t(c,ee,$),t(c,pe,$),f(le,c,$),t(c,$e,$),t(c,V,$),t(c,ce,$),t(c,ae,$),t(c,te,$),f(X,c,$),t(c,ue,$),t(c,E,$),t(c,We,$),f(H,c,$),t(c,oe,$),t(c,N,$),t(c,Be,$),t(c,F,$),t(c,Me,$),f(se,c,$),t(c,ge,$),t(c,z,$),t(c,me,$),f(ne,c,$),t(c,Ge,$),t(c,S,$),t(c,ke,$),t(c,R,$),D=!0},i(c){D||(o(r.$$.fragment,c),o(j.$$.fragment,c),o(k.$$.fragment,c),o(Y.$$.fragment,c),o(K.$$.fragment,c),o(B.$$.fragment,c),o(Q.$$.fragment,c),o(le.$$.fragment,c),o(X.$$.fragment,c),o(H.$$.fragment,c),o(se.$$.fragment,c),o(ne.$$.fragment,c),D=!0)},o(c){M(r.$$.fragment,c),M(j.$$.fragment,c),M(k.$$.fragment,c),M(Y.$$.fragment,c),M(K.$$.fragment,c),M(B.$$.fragment,c),M(Q.$$.fragment,c),M(le.$$.fragment,c),M(X.$$.fragment,c),M(H.$$.fragment,c),M(se.$$.fragment,c),M(ne.$$.fragment,c),D=!1},d(c){c&&(a(w),a(p),a(_),a(h),a(A),a(x),a(Z),a(W),a(G),a(O),a(ie),a(re),a(Ie),a(Ae),a(L),a(ee),a(pe),a($e),a(V),a(ce),a(ae),a(te),a(ue),a(E),a(We),a(oe),a(N),a(Be),a(F),a(Me),a(ge),a(z),a(me),a(Ge),a(S),a(ke),a(R)),b(r,c),b(j,c),b(k,c),b(Y,c),b(K,c),b(B,c),b(Q,c),b(le,c),b(X,c),b(H,c),b(se,c),b(ne,c)}}}function nn(v){let r,w="⚠️ Dacă aveți un model cu un număr greșit de labeluri, veți primi o eroare obscură atunci când apelați <code>model.fit()</code> mai târziu. Acest lucru poate fi enervant pentru debbuging, așa că asigurați-vă că faceți această verificare pentru a confirma că aveți numărul așteptat de labeluri.";return{c(){r=m("p"),r.innerHTML=w},l(p){r=d(p,"P",{"data-svelte-h":!0}),J(r)!=="svelte-1u33uus"&&(r.innerHTML=w)},m(p,U){t(p,r,U)},p:Pl,d(p){p&&a(r)}}}function rn(v){let r,w="💡 Dacă directory output pe care îl utilizați există deja, acesta trebuie să fie o clonă locală a repositoriului către care doriți să faceți push. Dacă nu este, veți primi o eroare atunci când apelați <code>model.fit()</code> și va trebui să setați un nume nou.";return{c(){r=m("p"),r.innerHTML=w},l(p){r=d(p,"P",{"data-svelte-h":!0}),J(r)!=="svelte-1bctnmq"&&(r.innerHTML=w)},m(p,U){t(p,r,U)},p:Pl,d(p){p&&a(r)}}}function pn(v){let r,w='Frameworkul tradițional utilizat pentru a evalua predicția clasificării tokenilor este <a href="https://github.com/chakki-works/seqeval" rel="nofollow"><em>seqeval</em></a>. Pentru a utiliza această metrică, trebuie mai întâi să instalăm biblioteca <em>seqeval</em>:',p,U,_,h,g='Apoi îl putem încărca prin intermediul funcției <code>evaluate.load()</code> așa cum am făcut în <a href="/course/chapter3">Capitolul 3</a>:',A;return U=new C({props:{code:"IXBpcCUyMGluc3RhbGwlMjBzZXFldmFs",highlighted:"!pip install seqeval",wrap:!1}}),{c(){r=m("p"),r.innerHTML=w,p=n(),y(U.$$.fragment),_=n(),h=m("p"),h.innerHTML=g},l(j){r=d(j,"P",{"data-svelte-h":!0}),J(r)!=="svelte-r3mgbh"&&(r.innerHTML=w),p=i(j),T(U.$$.fragment,j),_=i(j),h=d(j,"P",{"data-svelte-h":!0}),J(h)!=="svelte-rgwenp"&&(h.innerHTML=g)},m(j,x){t(j,r,x),t(j,p,x),f(U,j,x),t(j,_,x),t(j,h,x),A=!0},i(j){A||(o(U.$$.fragment,j),A=!0)},o(j){M(U.$$.fragment,j),A=!1},d(j){j&&(a(r),a(p),a(_),a(h)),b(U,j)}}}function cn(v){let r,w="Pentru ca <code>Trainer</code> să calculeze o metrică în fiecare epocă, va trebui să definim o funcție <code>compute_metrics()</code> care primește matricele de predicții și labelurile și returnează un dicționar cu numele și valorile metricilor.",p,U,_='Frameworkul tradițional utilizat pentru a evalua predicția clasificării a tokenilor este <a href="https://github.com/chakki-works/seqeval" rel="nofollow"><em>seqeval</em></a>. Pentru a utiliza această metrică, trebuie mai întâi să instalăm biblioteca <em>seqeval</em>:',h,g,A,j,x='Apoi îl putem încărca prin intermediul funcției <code>evaluate.load()</code> așa cum am făcut în <a href="/course/chapter3">Capitolul 3</a>:',Z;return g=new C({props:{code:"IXBpcCUyMGluc3RhbGwlMjBzZXFldmFs",highlighted:"!pip install seqeval",wrap:!1}}),{c(){r=m("p"),r.innerHTML=w,p=n(),U=m("p"),U.innerHTML=_,h=n(),y(g.$$.fragment),A=n(),j=m("p"),j.innerHTML=x},l(I){r=d(I,"P",{"data-svelte-h":!0}),J(r)!=="svelte-vnj596"&&(r.innerHTML=w),p=i(I),U=d(I,"P",{"data-svelte-h":!0}),J(U)!=="svelte-150027e"&&(U.innerHTML=_),h=i(I),T(g.$$.fragment,I),A=i(I),j=d(I,"P",{"data-svelte-h":!0}),J(j)!=="svelte-rgwenp"&&(j.innerHTML=x)},m(I,W){t(I,r,W),t(I,p,W),t(I,U,W),t(I,h,W),f(g,I,W),t(I,A,W),t(I,j,W),Z=!0},i(I){Z||(o(g.$$.fragment,I),Z=!0)},o(I){M(g.$$.fragment,I),Z=!1},d(I){I&&(a(r),a(p),a(U),a(h),a(A),a(j)),b(g,I)}}}function un(v){let r,w="Aceasta trimite înapoi o mulțime de informații! Obținem precizia, recallul și scorul F1 pentru fiecare entitate în parte, precum și în ansamblu. Acum să vedem ce se întâmplă dacă încercăm să folosim predicțiile modelului nostru real pentru a calcula niște scoruri reale.",p,U,_="TensorFlow nu apreciază concatenarea predicțiilor noastre, deoarece acestea au lungimi de secvențe variabile. Aceasta înseamnă că nu putem folosi pur și simplu <code>model.predict()</code> - dar asta nu ne va opri. Vom obține unele predicții pe rând și le vom concatena într-o singură listă mare și lungă, eliminând simbolurile <code>-100</code> care indică mascarea/paddingul, apoi vom calcula metrici pe lista de la sfârșit:",h,g,A,j,x,Z,I="Cum s-a descurcat modelul tău, comparativ cu al nostru? Dacă ați obținut cifre similare, antrenarea a fost un succes!",W;return g=new C({props:{code:"aW1wb3J0JTIwbnVtcHklMjBhcyUyMG5wJTBBJTBBYWxsX3ByZWRpY3Rpb25zJTIwJTNEJTIwJTVCJTVEJTBBYWxsX2xhYmVscyUyMCUzRCUyMCU1QiU1RCUwQWZvciUyMGJhdGNoJTIwaW4lMjB0Zl9ldmFsX2RhdGFzZXQlM0ElMEElMjAlMjAlMjAlMjBsb2dpdHMlMjAlM0QlMjBtb2RlbC5wcmVkaWN0X29uX2JhdGNoKGJhdGNoKSU1QiUyMmxvZ2l0cyUyMiU1RCUwQSUyMCUyMCUyMCUyMGxhYmVscyUyMCUzRCUyMGJhdGNoJTVCJTIybGFiZWxzJTIyJTVEJTBBJTIwJTIwJTIwJTIwcHJlZGljdGlvbnMlMjAlM0QlMjBucC5hcmdtYXgobG9naXRzJTJDJTIwYXhpcyUzRC0xKSUwQSUyMCUyMCUyMCUyMGZvciUyMHByZWRpY3Rpb24lMkMlMjBsYWJlbCUyMGluJTIwemlwKHByZWRpY3Rpb25zJTJDJTIwbGFiZWxzKSUzQSUwQSUyMCUyMCUyMCUyMCUyMCUyMCUyMCUyMGZvciUyMHByZWRpY3RlZF9pZHglMkMlMjBsYWJlbF9pZHglMjBpbiUyMHppcChwcmVkaWN0aW9uJTJDJTIwbGFiZWwpJTNBJTBBJTIwJTIwJTIwJTIwJTIwJTIwJTIwJTIwJTIwJTIwJTIwJTIwaWYlMjBsYWJlbF9pZHglMjAlM0QlM0QlMjAtMTAwJTNBJTBBJTIwJTIwJTIwJTIwJTIwJTIwJTIwJTIwJTIwJTIwJTIwJTIwJTIwJTIwJTIwJTIwY29udGludWUlMEElMjAlMjAlMjAlMjAlMjAlMjAlMjAlMjAlMjAlMjAlMjAlMjBhbGxfcHJlZGljdGlvbnMuYXBwZW5kKGxhYmVsX25hbWVzJTVCcHJlZGljdGVkX2lkeCU1RCklMEElMjAlMjAlMjAlMjAlMjAlMjAlMjAlMjAlMjAlMjAlMjAlMjBhbGxfbGFiZWxzLmFwcGVuZChsYWJlbF9uYW1lcyU1QmxhYmVsX2lkeCU1RCklMEFtZXRyaWMuY29tcHV0ZShwcmVkaWN0aW9ucyUzRCU1QmFsbF9wcmVkaWN0aW9ucyU1RCUyQyUyMHJlZmVyZW5jZXMlM0QlNUJhbGxfbGFiZWxzJTVEKQ==",highlighted:`<span class="hljs-keyword">import</span> numpy <span class="hljs-keyword">as</span> np

all_predictions = []
all_labels = []
<span class="hljs-keyword">for</span> batch <span class="hljs-keyword">in</span> tf_eval_dataset:
    logits = model.predict_on_batch(batch)[<span class="hljs-string">&quot;logits&quot;</span>]
    labels = batch[<span class="hljs-string">&quot;labels&quot;</span>]
    predictions = np.argmax(logits, axis=-<span class="hljs-number">1</span>)
    <span class="hljs-keyword">for</span> prediction, label <span class="hljs-keyword">in</span> <span class="hljs-built_in">zip</span>(predictions, labels):
        <span class="hljs-keyword">for</span> predicted_idx, label_idx <span class="hljs-keyword">in</span> <span class="hljs-built_in">zip</span>(prediction, label):
            <span class="hljs-keyword">if</span> label_idx == -<span class="hljs-number">100</span>:
                <span class="hljs-keyword">continue</span>
            all_predictions.append(label_names[predicted_idx])
            all_labels.append(label_names[label_idx])
metric.compute(predictions=[all_predictions], references=[all_labels])`,wrap:!1}}),j=new C({props:{code:"JTdCJ0xPQyclM0ElMjAlN0IncHJlY2lzaW9uJyUzQSUyMDAuOTElMkMlMjAncmVjYWxsJyUzQSUyMDAuOTIlMkMlMjAnZjEnJTNBJTIwMC45MSUyQyUyMCdudW1iZXInJTNBJTIwMTY2OCU3RCUyQyUwQSUyMCdNSVNDJyUzQSUyMCU3QidwcmVjaXNpb24nJTNBJTIwMC43MCUyQyUyMCdyZWNhbGwnJTNBJTIwMC43OSUyQyUyMCdmMSclM0ElMjAwLjc0JTJDJTIwJ251bWJlciclM0ElMjA3MDIlN0QlMkMlMEElMjAnT1JHJyUzQSUyMCU3QidwcmVjaXNpb24nJTNBJTIwMC44NSUyQyUyMCdyZWNhbGwnJTNBJTIwMC45MCUyQyUyMCdmMSclM0ElMjAwLjg4JTJDJTIwJ251bWJlciclM0ElMjAxNjYxJTdEJTJDJTBBJTIwJ1BFUiclM0ElMjAlN0IncHJlY2lzaW9uJyUzQSUyMDAuOTUlMkMlMjAncmVjYWxsJyUzQSUyMDAuOTUlMkMlMjAnZjEnJTNBJTIwMC45NSUyQyUyMCdudW1iZXInJTNBJTIwMTYxNyU3RCUyQyUwQSUyMCdvdmVyYWxsX3ByZWNpc2lvbiclM0ElMjAwLjg3JTJDJTBBJTIwJ292ZXJhbGxfcmVjYWxsJyUzQSUyMDAuOTElMkMlMEElMjAnb3ZlcmFsbF9mMSclM0ElMjAwLjg5JTJDJTBBJTIwJ292ZXJhbGxfYWNjdXJhY3knJTNBJTIwMC45NyU3RA==",highlighted:`{<span class="hljs-string">&#x27;LOC&#x27;</span>: {<span class="hljs-string">&#x27;precision&#x27;</span>: <span class="hljs-number">0.91</span>, <span class="hljs-string">&#x27;recall&#x27;</span>: <span class="hljs-number">0.92</span>, <span class="hljs-string">&#x27;f1&#x27;</span>: <span class="hljs-number">0.91</span>, <span class="hljs-string">&#x27;number&#x27;</span>: <span class="hljs-number">1668</span>},
 <span class="hljs-string">&#x27;MISC&#x27;</span>: {<span class="hljs-string">&#x27;precision&#x27;</span>: <span class="hljs-number">0.70</span>, <span class="hljs-string">&#x27;recall&#x27;</span>: <span class="hljs-number">0.79</span>, <span class="hljs-string">&#x27;f1&#x27;</span>: <span class="hljs-number">0.74</span>, <span class="hljs-string">&#x27;number&#x27;</span>: <span class="hljs-number">702</span>},
 <span class="hljs-string">&#x27;ORG&#x27;</span>: {<span class="hljs-string">&#x27;precision&#x27;</span>: <span class="hljs-number">0.85</span>, <span class="hljs-string">&#x27;recall&#x27;</span>: <span class="hljs-number">0.90</span>, <span class="hljs-string">&#x27;f1&#x27;</span>: <span class="hljs-number">0.88</span>, <span class="hljs-string">&#x27;number&#x27;</span>: <span class="hljs-number">1661</span>},
 <span class="hljs-string">&#x27;PER&#x27;</span>: {<span class="hljs-string">&#x27;precision&#x27;</span>: <span class="hljs-number">0.95</span>, <span class="hljs-string">&#x27;recall&#x27;</span>: <span class="hljs-number">0.95</span>, <span class="hljs-string">&#x27;f1&#x27;</span>: <span class="hljs-number">0.95</span>, <span class="hljs-string">&#x27;number&#x27;</span>: <span class="hljs-number">1617</span>},
 <span class="hljs-string">&#x27;overall_precision&#x27;</span>: <span class="hljs-number">0.87</span>,
 <span class="hljs-string">&#x27;overall_recall&#x27;</span>: <span class="hljs-number">0.91</span>,
 <span class="hljs-string">&#x27;overall_f1&#x27;</span>: <span class="hljs-number">0.89</span>,
 <span class="hljs-string">&#x27;overall_accuracy&#x27;</span>: <span class="hljs-number">0.97</span>}`,wrap:!1}}),{c(){r=m("p"),r.textContent=w,p=n(),U=m("p"),U.innerHTML=_,h=n(),y(g.$$.fragment),A=n(),y(j.$$.fragment),x=n(),Z=m("p"),Z.textContent=I},l(k){r=d(k,"P",{"data-svelte-h":!0}),J(r)!=="svelte-1tc66cf"&&(r.textContent=w),p=i(k),U=d(k,"P",{"data-svelte-h":!0}),J(U)!=="svelte-ued7o4"&&(U.innerHTML=_),h=i(k),T(g.$$.fragment,k),A=i(k),T(j.$$.fragment,k),x=i(k),Z=d(k,"P",{"data-svelte-h":!0}),J(Z)!=="svelte-685072"&&(Z.textContent=I)},m(k,G){t(k,r,G),t(k,p,G),t(k,U,G),t(k,h,G),f(g,k,G),t(k,A,G),f(j,k,G),t(k,x,G),t(k,Z,G),W=!0},i(k){W||(o(g.$$.fragment,k),o(j.$$.fragment,k),W=!0)},o(k){M(g.$$.fragment,k),M(j.$$.fragment,k),W=!1},d(k){k&&(a(r),a(p),a(U),a(h),a(A),a(x),a(Z)),b(g,k),b(j,k)}}}function on(v){let r,w="Acesta trimite înapoi o mulțime de informații! Noi obținem precizia, recallul și scorul F1 pentru fiecare entitate în parte, precum și scorul general. Pentru calculul nostru metric, vom păstra doar scorul global, dar nu ezitați să modificați funcția <code>compute_metrics()</code> pentru a returna toate metricile pe care doriți să le raportați.",p,U,_="Această funcție <code>compute_metrics()</code> ia mai întâi argmaxul logiturilor pentru a le converti în predicții (ca de obicei, logiturile și probabilitățile sunt în aceeași ordine, deci nu trebuie să aplicăm softmaxul). Apoi trebuie să convertim atât labelurile, cât și predicțiile din numere întregi în șiruri de caractere. Eliminăm toate valorile în care labelul este <code>-100</code>, apoi transmitem rezultatele metodei <code>metric.compute()</code>:",h,g,A,j,x="Acum că acest lucru este făcut, suntem aproape gata să definim <code>Trainer</code>-ul nostru. Avem nevoie doar de un <code>model</code> pentru a face fine-tune!",Z;return g=new C({props:{code:"aW1wb3J0JTIwbnVtcHklMjBhcyUyMG5wJTBBJTBBJTBBZGVmJTIwY29tcHV0ZV9tZXRyaWNzKGV2YWxfcHJlZHMpJTNBJTBBJTIwJTIwJTIwJTIwbG9naXRzJTJDJTIwbGFiZWxzJTIwJTNEJTIwZXZhbF9wcmVkcyUwQSUyMCUyMCUyMCUyMHByZWRpY3Rpb25zJTIwJTNEJTIwbnAuYXJnbWF4KGxvZ2l0cyUyQyUyMGF4aXMlM0QtMSklMEElMEElMjAlMjAlMjAlMjAlMjMlMjBSZW1vdmUlMjBpZ25vcmVkJTIwaW5kZXglMjAoc3BlY2lhbCUyMHRva2VucyklMjBhbmQlMjBjb252ZXJ0JTIwdG8lMjBsYWJlbHMlMEElMjAlMjAlMjAlMjB0cnVlX2xhYmVscyUyMCUzRCUyMCU1QiU1QmxhYmVsX25hbWVzJTVCbCU1RCUyMGZvciUyMGwlMjBpbiUyMGxhYmVsJTIwaWYlMjBsJTIwISUzRCUyMC0xMDAlNUQlMjBmb3IlMjBsYWJlbCUyMGluJTIwbGFiZWxzJTVEJTBBJTIwJTIwJTIwJTIwdHJ1ZV9wcmVkaWN0aW9ucyUyMCUzRCUyMCU1QiUwQSUyMCUyMCUyMCUyMCUyMCUyMCUyMCUyMCU1QmxhYmVsX25hbWVzJTVCcCU1RCUyMGZvciUyMChwJTJDJTIwbCklMjBpbiUyMHppcChwcmVkaWN0aW9uJTJDJTIwbGFiZWwpJTIwaWYlMjBsJTIwISUzRCUyMC0xMDAlNUQlMEElMjAlMjAlMjAlMjAlMjAlMjAlMjAlMjBmb3IlMjBwcmVkaWN0aW9uJTJDJTIwbGFiZWwlMjBpbiUyMHppcChwcmVkaWN0aW9ucyUyQyUyMGxhYmVscyklMEElMjAlMjAlMjAlMjAlNUQlMEElMjAlMjAlMjAlMjBhbGxfbWV0cmljcyUyMCUzRCUyMG1ldHJpYy5jb21wdXRlKHByZWRpY3Rpb25zJTNEdHJ1ZV9wcmVkaWN0aW9ucyUyQyUyMHJlZmVyZW5jZXMlM0R0cnVlX2xhYmVscyklMEElMjAlMjAlMjAlMjByZXR1cm4lMjAlN0IlMEElMjAlMjAlMjAlMjAlMjAlMjAlMjAlMjAlMjJwcmVjaXNpb24lMjIlM0ElMjBhbGxfbWV0cmljcyU1QiUyMm92ZXJhbGxfcHJlY2lzaW9uJTIyJTVEJTJDJTBBJTIwJTIwJTIwJTIwJTIwJTIwJTIwJTIwJTIycmVjYWxsJTIyJTNBJTIwYWxsX21ldHJpY3MlNUIlMjJvdmVyYWxsX3JlY2FsbCUyMiU1RCUyQyUwQSUyMCUyMCUyMCUyMCUyMCUyMCUyMCUyMCUyMmYxJTIyJTNBJTIwYWxsX21ldHJpY3MlNUIlMjJvdmVyYWxsX2YxJTIyJTVEJTJDJTBBJTIwJTIwJTIwJTIwJTIwJTIwJTIwJTIwJTIyYWNjdXJhY3klMjIlM0ElMjBhbGxfbWV0cmljcyU1QiUyMm92ZXJhbGxfYWNjdXJhY3klMjIlNUQlMkMlMEElMjAlMjAlMjAlMjAlN0Q=",highlighted:`<span class="hljs-keyword">import</span> numpy <span class="hljs-keyword">as</span> np


<span class="hljs-keyword">def</span> <span class="hljs-title function_">compute_metrics</span>(<span class="hljs-params">eval_preds</span>):
    logits, labels = eval_preds
    predictions = np.argmax(logits, axis=-<span class="hljs-number">1</span>)

    <span class="hljs-comment"># Remove ignored index (special tokens) and convert to labels</span>
    true_labels = [[label_names[l] <span class="hljs-keyword">for</span> l <span class="hljs-keyword">in</span> label <span class="hljs-keyword">if</span> l != -<span class="hljs-number">100</span>] <span class="hljs-keyword">for</span> label <span class="hljs-keyword">in</span> labels]
    true_predictions = [
        [label_names[p] <span class="hljs-keyword">for</span> (p, l) <span class="hljs-keyword">in</span> <span class="hljs-built_in">zip</span>(prediction, label) <span class="hljs-keyword">if</span> l != -<span class="hljs-number">100</span>]
        <span class="hljs-keyword">for</span> prediction, label <span class="hljs-keyword">in</span> <span class="hljs-built_in">zip</span>(predictions, labels)
    ]
    all_metrics = metric.compute(predictions=true_predictions, references=true_labels)
    <span class="hljs-keyword">return</span> {
        <span class="hljs-string">&quot;precision&quot;</span>: all_metrics[<span class="hljs-string">&quot;overall_precision&quot;</span>],
        <span class="hljs-string">&quot;recall&quot;</span>: all_metrics[<span class="hljs-string">&quot;overall_recall&quot;</span>],
        <span class="hljs-string">&quot;f1&quot;</span>: all_metrics[<span class="hljs-string">&quot;overall_f1&quot;</span>],
        <span class="hljs-string">&quot;accuracy&quot;</span>: all_metrics[<span class="hljs-string">&quot;overall_accuracy&quot;</span>],
    }`,wrap:!1}}),{c(){r=m("p"),r.innerHTML=w,p=n(),U=m("p"),U.innerHTML=_,h=n(),y(g.$$.fragment),A=n(),j=m("p"),j.innerHTML=x},l(I){r=d(I,"P",{"data-svelte-h":!0}),J(r)!=="svelte-aj08nq"&&(r.innerHTML=w),p=i(I),U=d(I,"P",{"data-svelte-h":!0}),J(U)!=="svelte-dv8y0a"&&(U.innerHTML=_),h=i(I),T(g.$$.fragment,I),A=i(I),j=d(I,"P",{"data-svelte-h":!0}),J(j)!=="svelte-zlewbm"&&(j.innerHTML=x)},m(I,W){t(I,r,W),t(I,p,W),t(I,U,W),t(I,h,W),f(g,I,W),t(I,A,W),t(I,j,W),Z=!0},i(I){Z||(o(g.$$.fragment,I),Z=!0)},o(I){M(g.$$.fragment,I),Z=!1},d(I){I&&(a(r),a(p),a(U),a(h),a(A),a(j)),b(g,I)}}}function Vs(v){let r,w,p,U="Deoarece lucrăm la o problemă de clasificare a tokenilor, vom utiliza clasa <code>AutoModelForTokenClassification</code>. Principalul lucru de care trebuie să ne amintim atunci când definim acest model este să transmitem informații privind numărul de labeluri pe care le avem. Cel mai simplu mod de a face acest lucru este să transmiteți acest număr cu argumentul <code>num_labels</code>, dar dacă dorim un inferencea widget frumos care să funcționeze ca cel pe care l-am văzut la începutul acestei secțiuni, este mai bine să setați în schimb corespondențele corecte ale labelurilor.",_,h,g="Acestea ar trebui să fie stabilite de două dicționare, <code>id2label</code> și <code>label2id</code>, care conțin corespondențele de la ID la labeluri și viceversa:",A,j,x,Z,I="Acum putem doar să le transmitem metodei <code>AutoModelForTokenClassification.from_pretrained()</code>, iar acestea vor fi setate în configurația modelului și apoi salvate și încărcate corespunzător în Hub:",W,k,G,O,Zl='La fel ca atunci când am definit <code>AutoModelForSequenceClassification</code> în <a href="/course/chapter3">Capitolul 3</a>, crearea modelului emite un avertisment că unele weights nu au fost utilizate (cele din headul de antrenare) și alte weights sunt inițializate aleatoriu (cele din headul de clasificare a tokenilor noi) și că acest model ar trebui să fie format. Vom face acest lucru într-un minut, dar mai întâi să verificăm de două ori că modelul nostru are numărul corect de labeluri:',ie,Y,re,K,Ie,B,Ae,Q,L,ee,Al="Acum suntem gata să ne antrenăm modelul! Trebuie doar să facem ultimele două lucruri înainte de a defini modelul nostru <code>Trainer</code>: să ne conectăm la Hugging Face și să definim argumentele de antrenare. Dacă lucrați într-un notebook, există o funcție convenabilă pentru a vă ajuta cu acest lucru:",pe,le,$e,V,Wl="Aceasta va afișa un widget în care puteți introduce datele tale de autentificare Hugging Face.",ce,ae,Bl="Dacă nu lucrați într-un notebook, tastați următoarea linie în terminal:",te,X,ue,E,ve="Odată făcut acest lucru, putem defini<code>TrainingArguments</code>:",We,H,oe,N,_e='Ați mai văzut cele mai multe dintre acestea: stabilim niște hiperparametri (cum ar fi learning rate, numărul de epoci pentru care să ne antrenăm și weights decay) și specificăm <code>push_to_hub=True</code> pentru a indica faptul că dorim să salvăm modelul și să îl evaluăm la sfârșitul fiecărei epoci și că dorim să încărcăm rezultatele noastre în Model Hub. Rețineți că puteți specifica numele repositoriului către care doriți să faceți push cu argumentul <code>hub_model_id</code> (în special, va trebui să utilizați acest argument pentru a face push către o organizație). De exemplu, atunci când am trimis modelul către organizația <a href="https://huggingface.co/huggingface-course" rel="nofollow"><code>huggingface-course</code></a>, am adăugat <code>hub_model_id=&quot;huggingface-course/bert-finetuned-ner&quot;</code> la <code>TrainingArguments</code>. În mod implicit, repositoriul utilizat va fi în namespaceul tău și denumit după output directory-ul pe care l-ați setat, deci în cazul nostru va fi <code>&quot;sgugger/bert-finetuned-ner&quot;</code>.',Be,F,Je,Me,se="În final, transmitem totul către <code>Trainer</code> și lansăm antrenarea:",ge,z,Gl,me,ne="Rețineți că, în timpul antrenării, de fiecare dată când modelul este salvat (aici, la fiecare epocă), acesta este încărcat pe Hub în fundal. În acest fel, veți putea să reluați antrenareape o altă mașină, dacă este necesar.",Ge,S,xe="Odată ce antrenamentul este complet, folosim metoda <code>push_to_hub()</code> pentru a ne asigura că încărcăm cea mai recentă versiune a modelului:",ke,R,Ve,D,c="Această comandă returnează URL-ul comitului pe care tocmai l-ai făcut, dacă doriți să o inspectați:",$,ye,Ol,Te,ua="De asemenea, <code>Trainer</code> redactează un model card cu toate rezultatele evaluării și o încarcă. În acest stadiu, puteți utiliza inference widgetul de pe Model Hub pentru a testa modelul și a-l partaja cu prietenii. Ați făcut fine-tune cu succes un model pentru o sarcină de clasificare a tokenilor - felicitări!",ze,Vl,oa="Dacă doriți să vă scufundați puțin mai profund în bucla de antrenare, vă vom arăta acum cum să faceți același lucru utilizând 🤗 Accelerate.",Re,Ye,Qe,Xe,zl='Să aruncăm acum o privire la training loopul complet, astfel încât să puteți personaliza cu ușurință părțile de care aveți nevoie. Va semăna foarte mult cu ceea ce am făcut în <a href="/course/chapter3/4">Capitolul 3</a>, cu câteva modificări pentru evaluare.',Ma,Ee,He,Ne,Rl="Mai întâi trebuie să construim <code>DataLoader</code>s din dataseturile noastre. Vom reutiliza <code>data_collator</code> ca un <code>collate_fn</code> și vom amesteca setul de antrenare, dar nu și setul de validare:",Kl,fe,ma,Fe,Yl="În continuare, reinstanțiem modelul, pentru a ne asigura că nu continuăm fine-tuningul de dinainte, ci pornim din nou de la modelul preantrenat BERT:",da,Se,De,Ql,Ja="Atunci vom avea nevoie de un optimizator. Vom folosi clasicul <code>AdamW</code>, care este ca <code>Adam</code>, dar cu o corecție în modul în care se aplică weight decay-ul:",Le,qe,Pe,Oe,Xl="Odată ce avem toate aceste obiecte, le putem trimite la metoda <code>accelerator.prepare()</code>:",ya,Ke,el,ll,al,El,Ta="Acum că am trimis <code>train_dataloader</code> la <code>accelerator.prepare()</code>, putem utiliza lungimea acestuia pentru a calcula numărul de pași de antrenare. Rețineți că ar trebui să facem întotdeauna acest lucru după ce pregătim dataloaderul, deoarece această metodă îi va modifica lungimea. Utilizăm un classic liner schedule de la rata de învățare la 0:",Ze,tl,sl,nl,Hl="În cele din urmă, pentru a trimite modelul nostru către Hub, va trebui să creăm un obiect <code>Repository</code> într-un folder de lucru. În primul rând, conectați-vă la Hugging Face, dacă nu sunteți deja conectat. Vom determina numele repositoriului pornind de la ID-ul modelului pe care dorim să îl dăm modelului nostru (nu ezitați să înlocuiți <code>repo_name</code> cu propriul nume; trebuie doar să conțină numele vostru de utilizator, ceea ce face funcția <code>get_full_repo_name()</code>):",ea,be,fa,il,rl,Nl,ba="Apoi putem clona acel repositoriu într-un folder local. Dacă există deja, acest folder local ar trebui să fie o clonă existentă a repositoriului cu care lucrăm:",pl,cl,ul,Fl,ja="Acum putem încărca orice salvăm în <code>output_dir</code> prin apelarea metodei <code>repo.push_to_hub()</code>. Acest lucru ne va ajuta să încărcăm modelele intermediare la sfârșitul fiecărei epoci.",ol,Ml,ml,dl,Sl="Acum suntem pregătiți să scriem bucla de antrenare completă. Pentru a simplifica partea sa de evaluare, definim funcția <code>postprocess()</code> care preia predicțiile și labelurile și le convertește în liste de șiruri de caractere, așa cum se așteaptă obiectul nostru <code>metric</code>:",wa,Jl,yl,Tl,Dl="Apoi putem scrie bucla de antrenare. După definirea unei bare de progres pentru a urmări modul în care decurge antrenarea, bucla are trei părți:",la,je,Jt="<li>Antrenarea în sine, care este iterația clasică peste <code>train_dataloader</code>, trecerea înainte prin model, apoi trecerea înapoi și pasul optimizatorului.</li> <li>Evaluarea, în care există o noutate după obținerea outputurilor modelului nostru pe un batch: din moment ce două procese pot ar fi putut face padding inputurilor și labelurile la forme diferite, trebuie să folosim <code>accelerator.pad_across_processes()</code> pentru a face predicțiile și labelurile să aibă aceeași formă înainte de a apela metoda <code>gather()</code>. Dacă nu facem acest lucru, evaluarea va da eroare sau se va bloca pentru totdeauna. Apoi trimitem rezultatele la <code>metric.add_batch()</code> și apelăm <code>metric.compute()</code> odată ce bucla de evaluare s-a încheiat.</li> <li>Salvarea și încărcarea, unde mai întâi salvăm modelul și tokenizerul, apoi apelăm <code>repo.push_to_hub()</code>. Observați că folosim argumentul <code>blocking=False</code> pentru a spune bibliotecii 🤗 Hub să efectueze push-ul într-un proces asincron. În acest fel, antrenamentul continuă normal, iar această instrucțiune (lungă) este executată în fundal.</li>",aa,we,yt="Iată codul complet pentru bucla de antrenare:",ta,Ue,sa,he,Ua="În cazul în care este prima dată când vedeți un model salvat cu 🤗 Accelerate, să ne oprim puțin pentru a inspecta cele trei linii de cod care îl însoțesc:",fl,Ll,na,Ce,ha="Prima linie se explică de la sine: aceasta spune tuturor proceselor să aștepte până când toată lumea se află în etapa respectivă înainte de a continua. Acest lucru are rolul de a ne asigura că avem același model în fiecare proces înainte de a salva. Apoi luăm <code>unwrapped_model</code>, care este modelul de bază pe care l-am definit. Metoda <code>accelerator.prepare()</code> modifică modelul pentru a funcționa în antrenarea distribuită, deci nu va mai avea metoda <code>save_pretrained()</code>; metoda <code>accelerator.unwrap_model()</code> anulează acest pas. În cele din urmă, apelăm metoda <code>save_pretrained()</code>, dar îi spunem să folosească metoda <code>accelerator.save()</code> în loc de <code>torch.save()</code>.",bl,ql,Ca='Odată făcut acest lucru, ar trebui să aveți un model care produce rezultate destul de asemănătoare cu cel antrenat cu <code>Trainer</code>. Puteți verifica modelul pe care l-am antrenat folosind acest cod la [<em>huggingface-course/bert-finetuned-ner-accelerate</em>] (<a href="https://huggingface.co/huggingface-course/bert-finetuned-ner-accelerate" rel="nofollow">https://huggingface.co/huggingface-course/bert-finetuned-ner-accelerate</a>). Și dacă doriți să testați orice modificări ale buclei de antrenare, le puteți implementa direct prin editarea codului prezentat mai sus!',jl;return r=new de({props:{title:"Definirea modelului",local:"defining-the-model",headingTag:"h3"}}),j=new C({props:{code:"aWQybGFiZWwlMjAlM0QlMjAlN0JpJTNBJTIwbGFiZWwlMjBmb3IlMjBpJTJDJTIwbGFiZWwlMjBpbiUyMGVudW1lcmF0ZShsYWJlbF9uYW1lcyklN0QlMEFsYWJlbDJpZCUyMCUzRCUyMCU3QnYlM0ElMjBrJTIwZm9yJTIwayUyQyUyMHYlMjBpbiUyMGlkMmxhYmVsLml0ZW1zKCklN0Q=",highlighted:`id2label = {i: label <span class="hljs-keyword">for</span> i, label <span class="hljs-keyword">in</span> <span class="hljs-built_in">enumerate</span>(label_names)}
label2id = {v: k <span class="hljs-keyword">for</span> k, v <span class="hljs-keyword">in</span> id2label.items()}`,wrap:!1}}),k=new C({props:{code:"ZnJvbSUyMHRyYW5zZm9ybWVycyUyMGltcG9ydCUyMEF1dG9Nb2RlbEZvclRva2VuQ2xhc3NpZmljYXRpb24lMEElMEFtb2RlbCUyMCUzRCUyMEF1dG9Nb2RlbEZvclRva2VuQ2xhc3NpZmljYXRpb24uZnJvbV9wcmV0cmFpbmVkKCUwQSUyMCUyMCUyMCUyMG1vZGVsX2NoZWNrcG9pbnQlMkMlMEElMjAlMjAlMjAlMjBpZDJsYWJlbCUzRGlkMmxhYmVsJTJDJTBBJTIwJTIwJTIwJTIwbGFiZWwyaWQlM0RsYWJlbDJpZCUyQyUwQSk=",highlighted:`<span class="hljs-keyword">from</span> transformers <span class="hljs-keyword">import</span> AutoModelForTokenClassification

model = AutoModelForTokenClassification.from_pretrained(
    model_checkpoint,
    id2label=id2label,
    label2id=label2id,
)`,wrap:!1}}),Y=new C({props:{code:"bW9kZWwuY29uZmlnLm51bV9sYWJlbHM=",highlighted:"model.config.num_labels",wrap:!1}}),K=new C({props:{code:"OQ==",highlighted:'<span class="hljs-number">9</span>',wrap:!1}}),B=new ca({props:{warning:!0,$$slots:{default:[Mn]},$$scope:{ctx:v}}}),Q=new de({props:{title:"Fine-tuningul modelului",local:"fine-tuning-the-model",headingTag:"h3"}}),le=new C({props:{code:"ZnJvbSUyMGh1Z2dpbmdmYWNlX2h1YiUyMGltcG9ydCUyMG5vdGVib29rX2xvZ2luJTBBJTBBbm90ZWJvb2tfbG9naW4oKQ==",highlighted:`<span class="hljs-keyword">from</span> huggingface_hub <span class="hljs-keyword">import</span> notebook_login

notebook_login()`,wrap:!1}}),X=new C({props:{code:"aHVnZ2luZ2ZhY2UtY2xpJTIwbG9naW4=",highlighted:"huggingface-cli login",wrap:!1}}),H=new C({props:{code:"ZnJvbSUyMHRyYW5zZm9ybWVycyUyMGltcG9ydCUyMFRyYWluaW5nQXJndW1lbnRzJTBBJTBBYXJncyUyMCUzRCUyMFRyYWluaW5nQXJndW1lbnRzKCUwQSUyMCUyMCUyMCUyMCUyMmJlcnQtZmluZXR1bmVkLW5lciUyMiUyQyUwQSUyMCUyMCUyMCUyMGV2YWx1YXRpb25fc3RyYXRlZ3klM0QlMjJlcG9jaCUyMiUyQyUwQSUyMCUyMCUyMCUyMHNhdmVfc3RyYXRlZ3klM0QlMjJlcG9jaCUyMiUyQyUwQSUyMCUyMCUyMCUyMGxlYXJuaW5nX3JhdGUlM0QyZS01JTJDJTBBJTIwJTIwJTIwJTIwbnVtX3RyYWluX2Vwb2NocyUzRDMlMkMlMEElMjAlMjAlMjAlMjB3ZWlnaHRfZGVjYXklM0QwLjAxJTJDJTBBJTIwJTIwJTIwJTIwcHVzaF90b19odWIlM0RUcnVlJTJDJTBBKQ==",highlighted:`<span class="hljs-keyword">from</span> transformers <span class="hljs-keyword">import</span> TrainingArguments

args = TrainingArguments(
    <span class="hljs-string">&quot;bert-finetuned-ner&quot;</span>,
    evaluation_strategy=<span class="hljs-string">&quot;epoch&quot;</span>,
    save_strategy=<span class="hljs-string">&quot;epoch&quot;</span>,
    learning_rate=<span class="hljs-number">2e-5</span>,
    num_train_epochs=<span class="hljs-number">3</span>,
    weight_decay=<span class="hljs-number">0.01</span>,
    push_to_hub=<span class="hljs-literal">True</span>,
)`,wrap:!1}}),F=new ca({props:{$$slots:{default:[mn]},$$scope:{ctx:v}}}),z=new C({props:{code:"ZnJvbSUyMHRyYW5zZm9ybWVycyUyMGltcG9ydCUyMFRyYWluZXIlMEElMEF0cmFpbmVyJTIwJTNEJTIwVHJhaW5lciglMEElMjAlMjAlMjAlMjBtb2RlbCUzRG1vZGVsJTJDJTBBJTIwJTIwJTIwJTIwYXJncyUzRGFyZ3MlMkMlMEElMjAlMjAlMjAlMjB0cmFpbl9kYXRhc2V0JTNEdG9rZW5pemVkX2RhdGFzZXRzJTVCJTIydHJhaW4lMjIlNUQlMkMlMEElMjAlMjAlMjAlMjBldmFsX2RhdGFzZXQlM0R0b2tlbml6ZWRfZGF0YXNldHMlNUIlMjJ2YWxpZGF0aW9uJTIyJTVEJTJDJTBBJTIwJTIwJTIwJTIwZGF0YV9jb2xsYXRvciUzRGRhdGFfY29sbGF0b3IlMkMlMEElMjAlMjAlMjAlMjBjb21wdXRlX21ldHJpY3MlM0Rjb21wdXRlX21ldHJpY3MlMkMlMEElMjAlMjAlMjAlMjB0b2tlbml6ZXIlM0R0b2tlbml6ZXIlMkMlMEEpJTBBdHJhaW5lci50cmFpbigp",highlighted:`<span class="hljs-keyword">from</span> transformers <span class="hljs-keyword">import</span> Trainer

trainer = Trainer(
    model=model,
    args=args,
    train_dataset=tokenized_datasets[<span class="hljs-string">&quot;train&quot;</span>],
    eval_dataset=tokenized_datasets[<span class="hljs-string">&quot;validation&quot;</span>],
    data_collator=data_collator,
    compute_metrics=compute_metrics,
    tokenizer=tokenizer,
)
trainer.train()`,wrap:!1}}),R=new C({props:{code:"dHJhaW5lci5wdXNoX3RvX2h1Yihjb21taXRfbWVzc2FnZSUzRCUyMlRyYWluaW5nJTIwY29tcGxldGUlMjIp",highlighted:'trainer.push_to_hub(commit_message=<span class="hljs-string">&quot;Training complete&quot;</span>)',wrap:!1}}),ye=new C({props:{code:"J2h0dHBzJTNBJTJGJTJGaHVnZ2luZ2ZhY2UuY28lMkZzZ3VnZ2VyJTJGYmVydC1maW5ldHVuZWQtbmVyJTJGY29tbWl0JTJGMjZhYjIxZTViMTU2OGY5YWZlY2NkYWVkMmQ4NzE1ZjU3MWQ3ODZlZCc=",highlighted:'<span class="hljs-string">&#x27;https://huggingface.co/sgugger/bert-finetuned-ner/commit/26ab21e5b1568f9afeccdaed2d8715f571d786ed&#x27;</span>',wrap:!1}}),Ye=new de({props:{title:"Un training loop personalizat",local:"a-custom-training-loop",headingTag:"h2"}}),Ee=new de({props:{title:"Pregătiți totul pentru antrenare",local:"preparing-everything-for-training",headingTag:"h3"}}),fe=new C({props:{code:"ZnJvbSUyMHRvcmNoLnV0aWxzLmRhdGElMjBpbXBvcnQlMjBEYXRhTG9hZGVyJTBBJTBBdHJhaW5fZGF0YWxvYWRlciUyMCUzRCUyMERhdGFMb2FkZXIoJTBBJTIwJTIwJTIwJTIwdG9rZW5pemVkX2RhdGFzZXRzJTVCJTIydHJhaW4lMjIlNUQlMkMlMEElMjAlMjAlMjAlMjBzaHVmZmxlJTNEVHJ1ZSUyQyUwQSUyMCUyMCUyMCUyMGNvbGxhdGVfZm4lM0RkYXRhX2NvbGxhdG9yJTJDJTBBJTIwJTIwJTIwJTIwYmF0Y2hfc2l6ZSUzRDglMkMlMEEpJTBBZXZhbF9kYXRhbG9hZGVyJTIwJTNEJTIwRGF0YUxvYWRlciglMEElMjAlMjAlMjAlMjB0b2tlbml6ZWRfZGF0YXNldHMlNUIlMjJ2YWxpZGF0aW9uJTIyJTVEJTJDJTIwY29sbGF0ZV9mbiUzRGRhdGFfY29sbGF0b3IlMkMlMjBiYXRjaF9zaXplJTNEOCUwQSk=",highlighted:`<span class="hljs-keyword">from</span> torch.utils.data <span class="hljs-keyword">import</span> DataLoader

train_dataloader = DataLoader(
    tokenized_datasets[<span class="hljs-string">&quot;train&quot;</span>],
    shuffle=<span class="hljs-literal">True</span>,
    collate_fn=data_collator,
    batch_size=<span class="hljs-number">8</span>,
)
eval_dataloader = DataLoader(
    tokenized_datasets[<span class="hljs-string">&quot;validation&quot;</span>], collate_fn=data_collator, batch_size=<span class="hljs-number">8</span>
)`,wrap:!1}}),Se=new C({props:{code:"bW9kZWwlMjAlM0QlMjBBdXRvTW9kZWxGb3JUb2tlbkNsYXNzaWZpY2F0aW9uLmZyb21fcHJldHJhaW5lZCglMEElMjAlMjAlMjAlMjBtb2RlbF9jaGVja3BvaW50JTJDJTBBJTIwJTIwJTIwJTIwaWQybGFiZWwlM0RpZDJsYWJlbCUyQyUwQSUyMCUyMCUyMCUyMGxhYmVsMmlkJTNEbGFiZWwyaWQlMkMlMEEp",highlighted:`model = AutoModelForTokenClassification.from_pretrained(
    model_checkpoint,
    id2label=id2label,
    label2id=label2id,
)`,wrap:!1}}),qe=new C({props:{code:"ZnJvbSUyMHRvcmNoLm9wdGltJTIwaW1wb3J0JTIwQWRhbVclMEElMEFvcHRpbWl6ZXIlMjAlM0QlMjBBZGFtVyhtb2RlbC5wYXJhbWV0ZXJzKCklMkMlMjBsciUzRDJlLTUp",highlighted:`<span class="hljs-keyword">from</span> torch.optim <span class="hljs-keyword">import</span> AdamW

optimizer = AdamW(model.parameters(), lr=<span class="hljs-number">2e-5</span>)`,wrap:!1}}),Ke=new C({props:{code:"ZnJvbSUyMGFjY2VsZXJhdGUlMjBpbXBvcnQlMjBBY2NlbGVyYXRvciUwQSUwQWFjY2VsZXJhdG9yJTIwJTNEJTIwQWNjZWxlcmF0b3IoKSUwQW1vZGVsJTJDJTIwb3B0aW1pemVyJTJDJTIwdHJhaW5fZGF0YWxvYWRlciUyQyUyMGV2YWxfZGF0YWxvYWRlciUyMCUzRCUyMGFjY2VsZXJhdG9yLnByZXBhcmUoJTBBJTIwJTIwJTIwJTIwbW9kZWwlMkMlMjBvcHRpbWl6ZXIlMkMlMjB0cmFpbl9kYXRhbG9hZGVyJTJDJTIwZXZhbF9kYXRhbG9hZGVyJTBBKQ==",highlighted:`<span class="hljs-keyword">from</span> accelerate <span class="hljs-keyword">import</span> Accelerator

accelerator = Accelerator()
model, optimizer, train_dataloader, eval_dataloader = accelerator.prepare(
    model, optimizer, train_dataloader, eval_dataloader
)`,wrap:!1}}),ll=new ca({props:{$$slots:{default:[dn]},$$scope:{ctx:v}}}),tl=new C({props:{code:"ZnJvbSUyMHRyYW5zZm9ybWVycyUyMGltcG9ydCUyMGdldF9zY2hlZHVsZXIlMEElMEFudW1fdHJhaW5fZXBvY2hzJTIwJTNEJTIwMyUwQW51bV91cGRhdGVfc3RlcHNfcGVyX2Vwb2NoJTIwJTNEJTIwbGVuKHRyYWluX2RhdGFsb2FkZXIpJTBBbnVtX3RyYWluaW5nX3N0ZXBzJTIwJTNEJTIwbnVtX3RyYWluX2Vwb2NocyUyMColMjBudW1fdXBkYXRlX3N0ZXBzX3Blcl9lcG9jaCUwQSUwQWxyX3NjaGVkdWxlciUyMCUzRCUyMGdldF9zY2hlZHVsZXIoJTBBJTIwJTIwJTIwJTIwJTIybGluZWFyJTIyJTJDJTBBJTIwJTIwJTIwJTIwb3B0aW1pemVyJTNEb3B0aW1pemVyJTJDJTBBJTIwJTIwJTIwJTIwbnVtX3dhcm11cF9zdGVwcyUzRDAlMkMlMEElMjAlMjAlMjAlMjBudW1fdHJhaW5pbmdfc3RlcHMlM0RudW1fdHJhaW5pbmdfc3RlcHMlMkMlMEEp",highlighted:`<span class="hljs-keyword">from</span> transformers <span class="hljs-keyword">import</span> get_scheduler

num_train_epochs = <span class="hljs-number">3</span>
num_update_steps_per_epoch = <span class="hljs-built_in">len</span>(train_dataloader)
num_training_steps = num_train_epochs * num_update_steps_per_epoch

lr_scheduler = get_scheduler(
    <span class="hljs-string">&quot;linear&quot;</span>,
    optimizer=optimizer,
    num_warmup_steps=<span class="hljs-number">0</span>,
    num_training_steps=num_training_steps,
)`,wrap:!1}}),be=new C({props:{code:"ZnJvbSUyMGh1Z2dpbmdmYWNlX2h1YiUyMGltcG9ydCUyMFJlcG9zaXRvcnklMkMlMjBnZXRfZnVsbF9yZXBvX25hbWUlMEElMEFtb2RlbF9uYW1lJTIwJTNEJTIwJTIyYmVydC1maW5ldHVuZWQtbmVyLWFjY2VsZXJhdGUlMjIlMEFyZXBvX25hbWUlMjAlM0QlMjBnZXRfZnVsbF9yZXBvX25hbWUobW9kZWxfbmFtZSklMEFyZXBvX25hbWU=",highlighted:`<span class="hljs-keyword">from</span> huggingface_hub <span class="hljs-keyword">import</span> Repository, get_full_repo_name

model_name = <span class="hljs-string">&quot;bert-finetuned-ner-accelerate&quot;</span>
repo_name = get_full_repo_name(model_name)
repo_name`,wrap:!1}}),il=new C({props:{code:"J3NndWdnZXIlMkZiZXJ0LWZpbmV0dW5lZC1uZXItYWNjZWxlcmF0ZSc=",highlighted:'<span class="hljs-string">&#x27;sgugger/bert-finetuned-ner-accelerate&#x27;</span>',wrap:!1}}),cl=new C({props:{code:"b3V0cHV0X2RpciUyMCUzRCUyMCUyMmJlcnQtZmluZXR1bmVkLW5lci1hY2NlbGVyYXRlJTIyJTBBcmVwbyUyMCUzRCUyMFJlcG9zaXRvcnkob3V0cHV0X2RpciUyQyUyMGNsb25lX2Zyb20lM0RyZXBvX25hbWUp",highlighted:`output_dir = <span class="hljs-string">&quot;bert-finetuned-ner-accelerate&quot;</span>
repo = Repository(output_dir, clone_from=repo_name)`,wrap:!1}}),Ml=new de({props:{title:"Loopul de antrenare",local:"training-loop",headingTag:"h3"}}),Jl=new C({props:{code:"ZGVmJTIwcG9zdHByb2Nlc3MocHJlZGljdGlvbnMlMkMlMjBsYWJlbHMpJTNBJTBBJTIwJTIwJTIwJTIwcHJlZGljdGlvbnMlMjAlM0QlMjBwcmVkaWN0aW9ucy5kZXRhY2goKS5jcHUoKS5jbG9uZSgpLm51bXB5KCklMEElMjAlMjAlMjAlMjBsYWJlbHMlMjAlM0QlMjBsYWJlbHMuZGV0YWNoKCkuY3B1KCkuY2xvbmUoKS5udW1weSgpJTBBJTBBJTIwJTIwJTIwJTIwJTIzJTIwUmVtb3ZlJTIwaWdub3JlZCUyMGluZGV4JTIwKHNwZWNpYWwlMjB0b2tlbnMpJTIwYW5kJTIwY29udmVydCUyMHRvJTIwbGFiZWxzJTBBJTIwJTIwJTIwJTIwdHJ1ZV9sYWJlbHMlMjAlM0QlMjAlNUIlNUJsYWJlbF9uYW1lcyU1QmwlNUQlMjBmb3IlMjBsJTIwaW4lMjBsYWJlbCUyMGlmJTIwbCUyMCElM0QlMjAtMTAwJTVEJTIwZm9yJTIwbGFiZWwlMjBpbiUyMGxhYmVscyU1RCUwQSUyMCUyMCUyMCUyMHRydWVfcHJlZGljdGlvbnMlMjAlM0QlMjAlNUIlMEElMjAlMjAlMjAlMjAlMjAlMjAlMjAlMjAlNUJsYWJlbF9uYW1lcyU1QnAlNUQlMjBmb3IlMjAocCUyQyUyMGwpJTIwaW4lMjB6aXAocHJlZGljdGlvbiUyQyUyMGxhYmVsKSUyMGlmJTIwbCUyMCElM0QlMjAtMTAwJTVEJTBBJTIwJTIwJTIwJTIwJTIwJTIwJTIwJTIwZm9yJTIwcHJlZGljdGlvbiUyQyUyMGxhYmVsJTIwaW4lMjB6aXAocHJlZGljdGlvbnMlMkMlMjBsYWJlbHMpJTBBJTIwJTIwJTIwJTIwJTVEJTBBJTIwJTIwJTIwJTIwcmV0dXJuJTIwdHJ1ZV9sYWJlbHMlMkMlMjB0cnVlX3ByZWRpY3Rpb25z",highlighted:`<span class="hljs-keyword">def</span> <span class="hljs-title function_">postprocess</span>(<span class="hljs-params">predictions, labels</span>):
    predictions = predictions.detach().cpu().clone().numpy()
    labels = labels.detach().cpu().clone().numpy()

    <span class="hljs-comment"># Remove ignored index (special tokens) and convert to labels</span>
    true_labels = [[label_names[l] <span class="hljs-keyword">for</span> l <span class="hljs-keyword">in</span> label <span class="hljs-keyword">if</span> l != -<span class="hljs-number">100</span>] <span class="hljs-keyword">for</span> label <span class="hljs-keyword">in</span> labels]
    true_predictions = [
        [label_names[p] <span class="hljs-keyword">for</span> (p, l) <span class="hljs-keyword">in</span> <span class="hljs-built_in">zip</span>(prediction, label) <span class="hljs-keyword">if</span> l != -<span class="hljs-number">100</span>]
        <span class="hljs-keyword">for</span> prediction, label <span class="hljs-keyword">in</span> <span class="hljs-built_in">zip</span>(predictions, labels)
    ]
    <span class="hljs-keyword">return</span> true_labels, true_predictions`,wrap:!1}}),Ue=new C({props:{code:"ZnJvbSUyMHRxZG0uYXV0byUyMGltcG9ydCUyMHRxZG0lMEFpbXBvcnQlMjB0b3JjaCUwQSUwQXByb2dyZXNzX2JhciUyMCUzRCUyMHRxZG0ocmFuZ2UobnVtX3RyYWluaW5nX3N0ZXBzKSklMEElMEFmb3IlMjBlcG9jaCUyMGluJTIwcmFuZ2UobnVtX3RyYWluX2Vwb2NocyklM0ElMEElMjAlMjAlMjAlMjAlMjMlMjBUcmFpbmluZyUwQSUyMCUyMCUyMCUyMG1vZGVsLnRyYWluKCklMEElMjAlMjAlMjAlMjBmb3IlMjBiYXRjaCUyMGluJTIwdHJhaW5fZGF0YWxvYWRlciUzQSUwQSUyMCUyMCUyMCUyMCUyMCUyMCUyMCUyMG91dHB1dHMlMjAlM0QlMjBtb2RlbCgqKmJhdGNoKSUwQSUyMCUyMCUyMCUyMCUyMCUyMCUyMCUyMGxvc3MlMjAlM0QlMjBvdXRwdXRzLmxvc3MlMEElMjAlMjAlMjAlMjAlMjAlMjAlMjAlMjBhY2NlbGVyYXRvci5iYWNrd2FyZChsb3NzKSUwQSUwQSUyMCUyMCUyMCUyMCUyMCUyMCUyMCUyMG9wdGltaXplci5zdGVwKCklMEElMjAlMjAlMjAlMjAlMjAlMjAlMjAlMjBscl9zY2hlZHVsZXIuc3RlcCgpJTBBJTIwJTIwJTIwJTIwJTIwJTIwJTIwJTIwb3B0aW1pemVyLnplcm9fZ3JhZCgpJTBBJTIwJTIwJTIwJTIwJTIwJTIwJTIwJTIwcHJvZ3Jlc3NfYmFyLnVwZGF0ZSgxKSUwQSUwQSUyMCUyMCUyMCUyMCUyMyUyMEV2YWx1YXRpb24lMEElMjAlMjAlMjAlMjBtb2RlbC5ldmFsKCklMEElMjAlMjAlMjAlMjBmb3IlMjBiYXRjaCUyMGluJTIwZXZhbF9kYXRhbG9hZGVyJTNBJTBBJTIwJTIwJTIwJTIwJTIwJTIwJTIwJTIwd2l0aCUyMHRvcmNoLm5vX2dyYWQoKSUzQSUwQSUyMCUyMCUyMCUyMCUyMCUyMCUyMCUyMCUyMCUyMCUyMCUyMG91dHB1dHMlMjAlM0QlMjBtb2RlbCgqKmJhdGNoKSUwQSUwQSUyMCUyMCUyMCUyMCUyMCUyMCUyMCUyMHByZWRpY3Rpb25zJTIwJTNEJTIwb3V0cHV0cy5sb2dpdHMuYXJnbWF4KGRpbSUzRC0xKSUwQSUyMCUyMCUyMCUyMCUyMCUyMCUyMCUyMGxhYmVscyUyMCUzRCUyMGJhdGNoJTVCJTIybGFiZWxzJTIyJTVEJTBBJTBBJTIwJTIwJTIwJTIwJTIwJTIwJTIwJTIwJTIzJTIwTmVjZXNzYXJ5JTIwdG8lMjBwYWQlMjBwcmVkaWN0aW9ucyUyMGFuZCUyMGxhYmVscyUyMGZvciUyMGJlaW5nJTIwZ2F0aGVyZWQlMEElMjAlMjAlMjAlMjAlMjAlMjAlMjAlMjBwcmVkaWN0aW9ucyUyMCUzRCUyMGFjY2VsZXJhdG9yLnBhZF9hY3Jvc3NfcHJvY2Vzc2VzKHByZWRpY3Rpb25zJTJDJTIwZGltJTNEMSUyQyUyMHBhZF9pbmRleCUzRC0xMDApJTBBJTIwJTIwJTIwJTIwJTIwJTIwJTIwJTIwbGFiZWxzJTIwJTNEJTIwYWNjZWxlcmF0b3IucGFkX2Fjcm9zc19wcm9jZXNzZXMobGFiZWxzJTJDJTIwZGltJTNEMSUyQyUyMHBhZF9pbmRleCUzRC0xMDApJTBBJTBBJTIwJTIwJTIwJTIwJTIwJTIwJTIwJTIwcHJlZGljdGlvbnNfZ2F0aGVyZWQlMjAlM0QlMjBhY2NlbGVyYXRvci5nYXRoZXIocHJlZGljdGlvbnMpJTBBJTIwJTIwJTIwJTIwJTIwJTIwJTIwJTIwbGFiZWxzX2dhdGhlcmVkJTIwJTNEJTIwYWNjZWxlcmF0b3IuZ2F0aGVyKGxhYmVscyklMEElMEElMjAlMjAlMjAlMjAlMjAlMjAlMjAlMjB0cnVlX3ByZWRpY3Rpb25zJTJDJTIwdHJ1ZV9sYWJlbHMlMjAlM0QlMjBwb3N0cHJvY2VzcyhwcmVkaWN0aW9uc19nYXRoZXJlZCUyQyUyMGxhYmVsc19nYXRoZXJlZCklMEElMjAlMjAlMjAlMjAlMjAlMjAlMjAlMjBtZXRyaWMuYWRkX2JhdGNoKHByZWRpY3Rpb25zJTNEdHJ1ZV9wcmVkaWN0aW9ucyUyQyUyMHJlZmVyZW5jZXMlM0R0cnVlX2xhYmVscyklMEElMEElMjAlMjAlMjAlMjByZXN1bHRzJTIwJTNEJTIwbWV0cmljLmNvbXB1dGUoKSUwQSUyMCUyMCUyMCUyMHByaW50KCUwQSUyMCUyMCUyMCUyMCUyMCUyMCUyMCUyMGYlMjJlcG9jaCUyMCU3QmVwb2NoJTdEJTNBJTIyJTJDJTBBJTIwJTIwJTIwJTIwJTIwJTIwJTIwJTIwJTdCJTBBJTIwJTIwJTIwJTIwJTIwJTIwJTIwJTIwJTIwJTIwJTIwJTIwa2V5JTNBJTIwcmVzdWx0cyU1QmYlMjJvdmVyYWxsXyU3QmtleSU3RCUyMiU1RCUwQSUyMCUyMCUyMCUyMCUyMCUyMCUyMCUyMCUyMCUyMCUyMCUyMGZvciUyMGtleSUyMGluJTIwJTVCJTIycHJlY2lzaW9uJTIyJTJDJTIwJTIycmVjYWxsJTIyJTJDJTIwJTIyZjElMjIlMkMlMjAlMjJhY2N1cmFjeSUyMiU1RCUwQSUyMCUyMCUyMCUyMCUyMCUyMCUyMCUyMCU3RCUyQyUwQSUyMCUyMCUyMCUyMCklMEElMEElMjAlMjAlMjAlMjAlMjMlMjBTYXZlJTIwYW5kJTIwdXBsb2FkJTBBJTIwJTIwJTIwJTIwYWNjZWxlcmF0b3Iud2FpdF9mb3JfZXZlcnlvbmUoKSUwQSUyMCUyMCUyMCUyMHVud3JhcHBlZF9tb2RlbCUyMCUzRCUyMGFjY2VsZXJhdG9yLnVud3JhcF9tb2RlbChtb2RlbCklMEElMjAlMjAlMjAlMjB1bndyYXBwZWRfbW9kZWwuc2F2ZV9wcmV0cmFpbmVkKG91dHB1dF9kaXIlMkMlMjBzYXZlX2Z1bmN0aW9uJTNEYWNjZWxlcmF0b3Iuc2F2ZSklMEElMjAlMjAlMjAlMjBpZiUyMGFjY2VsZXJhdG9yLmlzX21haW5fcHJvY2VzcyUzQSUwQSUyMCUyMCUyMCUyMCUyMCUyMCUyMCUyMHRva2VuaXplci5zYXZlX3ByZXRyYWluZWQob3V0cHV0X2RpciklMEElMjAlMjAlMjAlMjAlMjAlMjAlMjAlMjByZXBvLnB1c2hfdG9faHViKCUwQSUyMCUyMCUyMCUyMCUyMCUyMCUyMCUyMCUyMCUyMCUyMCUyMGNvbW1pdF9tZXNzYWdlJTNEZiUyMlRyYWluaW5nJTIwaW4lMjBwcm9ncmVzcyUyMGVwb2NoJTIwJTdCZXBvY2glN0QlMjIlMkMlMjBibG9ja2luZyUzREZhbHNlJTBBJTIwJTIwJTIwJTIwJTIwJTIwJTIwJTIwKQ==",highlighted:`<span class="hljs-keyword">from</span> tqdm.auto <span class="hljs-keyword">import</span> tqdm
<span class="hljs-keyword">import</span> torch

progress_bar = tqdm(<span class="hljs-built_in">range</span>(num_training_steps))

<span class="hljs-keyword">for</span> epoch <span class="hljs-keyword">in</span> <span class="hljs-built_in">range</span>(num_train_epochs):
    <span class="hljs-comment"># Training</span>
    model.train()
    <span class="hljs-keyword">for</span> batch <span class="hljs-keyword">in</span> train_dataloader:
        outputs = model(**batch)
        loss = outputs.loss
        accelerator.backward(loss)

        optimizer.step()
        lr_scheduler.step()
        optimizer.zero_grad()
        progress_bar.update(<span class="hljs-number">1</span>)

    <span class="hljs-comment"># Evaluation</span>
    model.<span class="hljs-built_in">eval</span>()
    <span class="hljs-keyword">for</span> batch <span class="hljs-keyword">in</span> eval_dataloader:
        <span class="hljs-keyword">with</span> torch.no_grad():
            outputs = model(**batch)

        predictions = outputs.logits.argmax(dim=-<span class="hljs-number">1</span>)
        labels = batch[<span class="hljs-string">&quot;labels&quot;</span>]

        <span class="hljs-comment"># Necessary to pad predictions and labels for being gathered</span>
        predictions = accelerator.pad_across_processes(predictions, dim=<span class="hljs-number">1</span>, pad_index=-<span class="hljs-number">100</span>)
        labels = accelerator.pad_across_processes(labels, dim=<span class="hljs-number">1</span>, pad_index=-<span class="hljs-number">100</span>)

        predictions_gathered = accelerator.gather(predictions)
        labels_gathered = accelerator.gather(labels)

        true_predictions, true_labels = postprocess(predictions_gathered, labels_gathered)
        metric.add_batch(predictions=true_predictions, references=true_labels)

    results = metric.compute()
    <span class="hljs-built_in">print</span>(
        <span class="hljs-string">f&quot;epoch <span class="hljs-subst">{epoch}</span>:&quot;</span>,
        {
            key: results[<span class="hljs-string">f&quot;overall_<span class="hljs-subst">{key}</span>&quot;</span>]
            <span class="hljs-keyword">for</span> key <span class="hljs-keyword">in</span> [<span class="hljs-string">&quot;precision&quot;</span>, <span class="hljs-string">&quot;recall&quot;</span>, <span class="hljs-string">&quot;f1&quot;</span>, <span class="hljs-string">&quot;accuracy&quot;</span>]
        },
    )

    <span class="hljs-comment"># Save and upload</span>
    accelerator.wait_for_everyone()
    unwrapped_model = accelerator.unwrap_model(model)
    unwrapped_model.save_pretrained(output_dir, save_function=accelerator.save)
    <span class="hljs-keyword">if</span> accelerator.is_main_process:
        tokenizer.save_pretrained(output_dir)
        repo.push_to_hub(
            commit_message=<span class="hljs-string">f&quot;Training in progress epoch <span class="hljs-subst">{epoch}</span>&quot;</span>, blocking=<span class="hljs-literal">False</span>
        )`,wrap:!1}}),Ll=new C({props:{code:"YWNjZWxlcmF0b3Iud2FpdF9mb3JfZXZlcnlvbmUoKSUwQXVud3JhcHBlZF9tb2RlbCUyMCUzRCUyMGFjY2VsZXJhdG9yLnVud3JhcF9tb2RlbChtb2RlbCklMEF1bndyYXBwZWRfbW9kZWwuc2F2ZV9wcmV0cmFpbmVkKG91dHB1dF9kaXIlMkMlMjBzYXZlX2Z1bmN0aW9uJTNEYWNjZWxlcmF0b3Iuc2F2ZSk=",highlighted:`accelerator.wait_for_everyone()
unwrapped_model = accelerator.unwrap_model(model)
unwrapped_model.save_pretrained(output_dir, save_function=accelerator.save)`,wrap:!1}}),{c(){y(r.$$.fragment),w=n(),p=m("p"),p.innerHTML=U,_=n(),h=m("p"),h.innerHTML=g,A=n(),y(j.$$.fragment),x=n(),Z=m("p"),Z.innerHTML=I,W=n(),y(k.$$.fragment),G=n(),O=m("p"),O.innerHTML=Zl,ie=n(),y(Y.$$.fragment),re=n(),y(K.$$.fragment),Ie=n(),y(B.$$.fragment),Ae=n(),y(Q.$$.fragment),L=n(),ee=m("p"),ee.innerHTML=Al,pe=n(),y(le.$$.fragment),$e=n(),V=m("p"),V.textContent=Wl,ce=n(),ae=m("p"),ae.textContent=Bl,te=n(),y(X.$$.fragment),ue=n(),E=m("p"),E.innerHTML=ve,We=n(),y(H.$$.fragment),oe=n(),N=m("p"),N.innerHTML=_e,Be=n(),y(F.$$.fragment),Je=n(),Me=m("p"),Me.innerHTML=se,ge=n(),y(z.$$.fragment),Gl=n(),me=m("p"),me.textContent=ne,Ge=n(),S=m("p"),S.innerHTML=xe,ke=n(),y(R.$$.fragment),Ve=n(),D=m("p"),D.textContent=c,$=n(),y(ye.$$.fragment),Ol=n(),Te=m("p"),Te.innerHTML=ua,ze=n(),Vl=m("p"),Vl.textContent=oa,Re=n(),y(Ye.$$.fragment),Qe=n(),Xe=m("p"),Xe.innerHTML=zl,Ma=n(),y(Ee.$$.fragment),He=n(),Ne=m("p"),Ne.innerHTML=Rl,Kl=n(),y(fe.$$.fragment),ma=n(),Fe=m("p"),Fe.textContent=Yl,da=n(),y(Se.$$.fragment),De=n(),Ql=m("p"),Ql.innerHTML=Ja,Le=n(),y(qe.$$.fragment),Pe=n(),Oe=m("p"),Oe.innerHTML=Xl,ya=n(),y(Ke.$$.fragment),el=n(),y(ll.$$.fragment),al=n(),El=m("p"),El.innerHTML=Ta,Ze=n(),y(tl.$$.fragment),sl=n(),nl=m("p"),nl.innerHTML=Hl,ea=n(),y(be.$$.fragment),fa=n(),y(il.$$.fragment),rl=n(),Nl=m("p"),Nl.textContent=ba,pl=n(),y(cl.$$.fragment),ul=n(),Fl=m("p"),Fl.innerHTML=ja,ol=n(),y(Ml.$$.fragment),ml=n(),dl=m("p"),dl.innerHTML=Sl,wa=n(),y(Jl.$$.fragment),yl=n(),Tl=m("p"),Tl.textContent=Dl,la=n(),je=m("ul"),je.innerHTML=Jt,aa=n(),we=m("p"),we.textContent=yt,ta=n(),y(Ue.$$.fragment),sa=n(),he=m("p"),he.textContent=Ua,fl=n(),y(Ll.$$.fragment),na=n(),Ce=m("p"),Ce.innerHTML=ha,bl=n(),ql=m("p"),ql.innerHTML=Ca},l(l){T(r.$$.fragment,l),w=i(l),p=d(l,"P",{"data-svelte-h":!0}),J(p)!=="svelte-12gm8a1"&&(p.innerHTML=U),_=i(l),h=d(l,"P",{"data-svelte-h":!0}),J(h)!=="svelte-m6e466"&&(h.innerHTML=g),A=i(l),T(j.$$.fragment,l),x=i(l),Z=d(l,"P",{"data-svelte-h":!0}),J(Z)!=="svelte-18nvctp"&&(Z.innerHTML=I),W=i(l),T(k.$$.fragment,l),G=i(l),O=d(l,"P",{"data-svelte-h":!0}),J(O)!=="svelte-1cswnjk"&&(O.innerHTML=Zl),ie=i(l),T(Y.$$.fragment,l),re=i(l),T(K.$$.fragment,l),Ie=i(l),T(B.$$.fragment,l),Ae=i(l),T(Q.$$.fragment,l),L=i(l),ee=d(l,"P",{"data-svelte-h":!0}),J(ee)!=="svelte-8b4w8n"&&(ee.innerHTML=Al),pe=i(l),T(le.$$.fragment,l),$e=i(l),V=d(l,"P",{"data-svelte-h":!0}),J(V)!=="svelte-i33qye"&&(V.textContent=Wl),ce=i(l),ae=d(l,"P",{"data-svelte-h":!0}),J(ae)!=="svelte-fhjhmt"&&(ae.textContent=Bl),te=i(l),T(X.$$.fragment,l),ue=i(l),E=d(l,"P",{"data-svelte-h":!0}),J(E)!=="svelte-1hweile"&&(E.innerHTML=ve),We=i(l),T(H.$$.fragment,l),oe=i(l),N=d(l,"P",{"data-svelte-h":!0}),J(N)!=="svelte-ac20qp"&&(N.innerHTML=_e),Be=i(l),T(F.$$.fragment,l),Je=i(l),Me=d(l,"P",{"data-svelte-h":!0}),J(Me)!=="svelte-nhfggc"&&(Me.innerHTML=se),ge=i(l),T(z.$$.fragment,l),Gl=i(l),me=d(l,"P",{"data-svelte-h":!0}),J(me)!=="svelte-z5wfqv"&&(me.textContent=ne),Ge=i(l),S=d(l,"P",{"data-svelte-h":!0}),J(S)!=="svelte-zshepi"&&(S.innerHTML=xe),ke=i(l),T(R.$$.fragment,l),Ve=i(l),D=d(l,"P",{"data-svelte-h":!0}),J(D)!=="svelte-1s03p2"&&(D.textContent=c),$=i(l),T(ye.$$.fragment,l),Ol=i(l),Te=d(l,"P",{"data-svelte-h":!0}),J(Te)!=="svelte-1cltpa1"&&(Te.innerHTML=ua),ze=i(l),Vl=d(l,"P",{"data-svelte-h":!0}),J(Vl)!=="svelte-dqqlvn"&&(Vl.textContent=oa),Re=i(l),T(Ye.$$.fragment,l),Qe=i(l),Xe=d(l,"P",{"data-svelte-h":!0}),J(Xe)!=="svelte-lbvpyf"&&(Xe.innerHTML=zl),Ma=i(l),T(Ee.$$.fragment,l),He=i(l),Ne=d(l,"P",{"data-svelte-h":!0}),J(Ne)!=="svelte-aut5so"&&(Ne.innerHTML=Rl),Kl=i(l),T(fe.$$.fragment,l),ma=i(l),Fe=d(l,"P",{"data-svelte-h":!0}),J(Fe)!=="svelte-1i49gnc"&&(Fe.textContent=Yl),da=i(l),T(Se.$$.fragment,l),De=i(l),Ql=d(l,"P",{"data-svelte-h":!0}),J(Ql)!=="svelte-18tkmnf"&&(Ql.innerHTML=Ja),Le=i(l),T(qe.$$.fragment,l),Pe=i(l),Oe=d(l,"P",{"data-svelte-h":!0}),J(Oe)!=="svelte-6dkqxg"&&(Oe.innerHTML=Xl),ya=i(l),T(Ke.$$.fragment,l),el=i(l),T(ll.$$.fragment,l),al=i(l),El=d(l,"P",{"data-svelte-h":!0}),J(El)!=="svelte-mhrm85"&&(El.innerHTML=Ta),Ze=i(l),T(tl.$$.fragment,l),sl=i(l),nl=d(l,"P",{"data-svelte-h":!0}),J(nl)!=="svelte-1ke12il"&&(nl.innerHTML=Hl),ea=i(l),T(be.$$.fragment,l),fa=i(l),T(il.$$.fragment,l),rl=i(l),Nl=d(l,"P",{"data-svelte-h":!0}),J(Nl)!=="svelte-1pms8dw"&&(Nl.textContent=ba),pl=i(l),T(cl.$$.fragment,l),ul=i(l),Fl=d(l,"P",{"data-svelte-h":!0}),J(Fl)!=="svelte-1wk5dqw"&&(Fl.innerHTML=ja),ol=i(l),T(Ml.$$.fragment,l),ml=i(l),dl=d(l,"P",{"data-svelte-h":!0}),J(dl)!=="svelte-1xihqkl"&&(dl.innerHTML=Sl),wa=i(l),T(Jl.$$.fragment,l),yl=i(l),Tl=d(l,"P",{"data-svelte-h":!0}),J(Tl)!=="svelte-8gz10g"&&(Tl.textContent=Dl),la=i(l),je=d(l,"UL",{"data-svelte-h":!0}),J(je)!=="svelte-1lrrgek"&&(je.innerHTML=Jt),aa=i(l),we=d(l,"P",{"data-svelte-h":!0}),J(we)!=="svelte-1halqwm"&&(we.textContent=yt),ta=i(l),T(Ue.$$.fragment,l),sa=i(l),he=d(l,"P",{"data-svelte-h":!0}),J(he)!=="svelte-155hsmd"&&(he.textContent=Ua),fl=i(l),T(Ll.$$.fragment,l),na=i(l),Ce=d(l,"P",{"data-svelte-h":!0}),J(Ce)!=="svelte-spfwoc"&&(Ce.innerHTML=ha),bl=i(l),ql=d(l,"P",{"data-svelte-h":!0}),J(ql)!=="svelte-ofl4kk"&&(ql.innerHTML=Ca)},m(l,u){f(r,l,u),t(l,w,u),t(l,p,u),t(l,_,u),t(l,h,u),t(l,A,u),f(j,l,u),t(l,x,u),t(l,Z,u),t(l,W,u),f(k,l,u),t(l,G,u),t(l,O,u),t(l,ie,u),f(Y,l,u),t(l,re,u),f(K,l,u),t(l,Ie,u),f(B,l,u),t(l,Ae,u),f(Q,l,u),t(l,L,u),t(l,ee,u),t(l,pe,u),f(le,l,u),t(l,$e,u),t(l,V,u),t(l,ce,u),t(l,ae,u),t(l,te,u),f(X,l,u),t(l,ue,u),t(l,E,u),t(l,We,u),f(H,l,u),t(l,oe,u),t(l,N,u),t(l,Be,u),f(F,l,u),t(l,Je,u),t(l,Me,u),t(l,ge,u),f(z,l,u),t(l,Gl,u),t(l,me,u),t(l,Ge,u),t(l,S,u),t(l,ke,u),f(R,l,u),t(l,Ve,u),t(l,D,u),t(l,$,u),f(ye,l,u),t(l,Ol,u),t(l,Te,u),t(l,ze,u),t(l,Vl,u),t(l,Re,u),f(Ye,l,u),t(l,Qe,u),t(l,Xe,u),t(l,Ma,u),f(Ee,l,u),t(l,He,u),t(l,Ne,u),t(l,Kl,u),f(fe,l,u),t(l,ma,u),t(l,Fe,u),t(l,da,u),f(Se,l,u),t(l,De,u),t(l,Ql,u),t(l,Le,u),f(qe,l,u),t(l,Pe,u),t(l,Oe,u),t(l,ya,u),f(Ke,l,u),t(l,el,u),f(ll,l,u),t(l,al,u),t(l,El,u),t(l,Ze,u),f(tl,l,u),t(l,sl,u),t(l,nl,u),t(l,ea,u),f(be,l,u),t(l,fa,u),f(il,l,u),t(l,rl,u),t(l,Nl,u),t(l,pl,u),f(cl,l,u),t(l,ul,u),t(l,Fl,u),t(l,ol,u),f(Ml,l,u),t(l,ml,u),t(l,dl,u),t(l,wa,u),f(Jl,l,u),t(l,yl,u),t(l,Tl,u),t(l,la,u),t(l,je,u),t(l,aa,u),t(l,we,u),t(l,ta,u),f(Ue,l,u),t(l,sa,u),t(l,he,u),t(l,fl,u),f(Ll,l,u),t(l,na,u),t(l,Ce,u),t(l,bl,u),t(l,ql,u),jl=!0},i(l){jl||(o(r.$$.fragment,l),o(j.$$.fragment,l),o(k.$$.fragment,l),o(Y.$$.fragment,l),o(K.$$.fragment,l),o(B.$$.fragment,l),o(Q.$$.fragment,l),o(le.$$.fragment,l),o(X.$$.fragment,l),o(H.$$.fragment,l),o(F.$$.fragment,l),o(z.$$.fragment,l),o(R.$$.fragment,l),o(ye.$$.fragment,l),o(Ye.$$.fragment,l),o(Ee.$$.fragment,l),o(fe.$$.fragment,l),o(Se.$$.fragment,l),o(qe.$$.fragment,l),o(Ke.$$.fragment,l),o(ll.$$.fragment,l),o(tl.$$.fragment,l),o(be.$$.fragment,l),o(il.$$.fragment,l),o(cl.$$.fragment,l),o(Ml.$$.fragment,l),o(Jl.$$.fragment,l),o(Ue.$$.fragment,l),o(Ll.$$.fragment,l),jl=!0)},o(l){M(r.$$.fragment,l),M(j.$$.fragment,l),M(k.$$.fragment,l),M(Y.$$.fragment,l),M(K.$$.fragment,l),M(B.$$.fragment,l),M(Q.$$.fragment,l),M(le.$$.fragment,l),M(X.$$.fragment,l),M(H.$$.fragment,l),M(F.$$.fragment,l),M(z.$$.fragment,l),M(R.$$.fragment,l),M(ye.$$.fragment,l),M(Ye.$$.fragment,l),M(Ee.$$.fragment,l),M(fe.$$.fragment,l),M(Se.$$.fragment,l),M(qe.$$.fragment,l),M(Ke.$$.fragment,l),M(ll.$$.fragment,l),M(tl.$$.fragment,l),M(be.$$.fragment,l),M(il.$$.fragment,l),M(cl.$$.fragment,l),M(Ml.$$.fragment,l),M(Jl.$$.fragment,l),M(Ue.$$.fragment,l),M(Ll.$$.fragment,l),jl=!1},d(l){l&&(a(w),a(p),a(_),a(h),a(A),a(x),a(Z),a(W),a(G),a(O),a(ie),a(re),a(Ie),a(Ae),a(L),a(ee),a(pe),a($e),a(V),a(ce),a(ae),a(te),a(ue),a(E),a(We),a(oe),a(N),a(Be),a(Je),a(Me),a(ge),a(Gl),a(me),a(Ge),a(S),a(ke),a(Ve),a(D),a($),a(Ol),a(Te),a(ze),a(Vl),a(Re),a(Qe),a(Xe),a(Ma),a(He),a(Ne),a(Kl),a(ma),a(Fe),a(da),a(De),a(Ql),a(Le),a(Pe),a(Oe),a(ya),a(el),a(al),a(El),a(Ze),a(sl),a(nl),a(ea),a(fa),a(rl),a(Nl),a(pl),a(ul),a(Fl),a(ol),a(ml),a(dl),a(wa),a(yl),a(Tl),a(la),a(je),a(aa),a(we),a(ta),a(sa),a(he),a(fl),a(na),a(Ce),a(bl),a(ql)),b(r,l),b(j,l),b(k,l),b(Y,l),b(K,l),b(B,l),b(Q,l),b(le,l),b(X,l),b(H,l),b(F,l),b(z,l),b(R,l),b(ye,l),b(Ye,l),b(Ee,l),b(fe,l),b(Se,l),b(qe,l),b(Ke,l),b(ll,l),b(tl,l),b(be,l),b(il,l),b(cl,l),b(Ml,l),b(Jl,l),b(Ue,l),b(Ll,l)}}}function Mn(v){let r,w="⚠️ Dacă aveți un model cu un număr greșit de labeluri, veți primi o eroare obscură atunci când apelați metoda <code>Trainer.train()</code> mai târziu (ceva de genul “CUDA error: device-side assert triggered”). Aceasta este cauza numărul unu a erorilor raportate de utilizatori pentru astfel de erori, așa că asigurați-vă că faceți această verificare pentru a confirma că aveți numărul de labeluri așteptat.";return{c(){r=m("p"),r.innerHTML=w},l(p){r=d(p,"P",{"data-svelte-h":!0}),J(r)!=="svelte-19nswjr"&&(r.innerHTML=w)},m(p,U){t(p,r,U)},p:Pl,d(p){p&&a(r)}}}function mn(v){let r,w="💡 Dacă output directory-ul pe care îl utilizați există deja, acesta trebuie să fie o clonă locală a repositoriul către care doriți să faceți push. Dacă nu este așa, veți primi o eroare la definirea <code>Trainer</code> și va trebui să setați un nume nou.";return{c(){r=m("p"),r.innerHTML=w},l(p){r=d(p,"P",{"data-svelte-h":!0}),J(r)!=="svelte-c0raz5"&&(r.innerHTML=w)},m(p,U){t(p,r,U)},p:Pl,d(p){p&&a(r)}}}function dn(v){let r,w='🚨 Dacă vă antrenați pe un TPU, va trebui să mutați tot codul începând de la celula de mai sus într-o funcție de antrenament dedicată. Consultați <a href="/course/chapter3">Capitolul 3</a> pentru mai multe detalii.';return{c(){r=m("p"),r.innerHTML=w},l(p){r=d(p,"P",{"data-svelte-h":!0}),J(r)!=="svelte-m0im9q"&&(r.innerHTML=w)},m(p,U){t(p,r,U)},p:Pl,d(p){p&&a(r)}}}function Jn(v){let r,w,p,U,_,h,g,A,j,x,Z,I,W="Prima aplicație pe care o vom explora este clasificarea tokenilor. Această sarcină generică cuprinde orice problemă care poate fi formulată ca “atribuirea unui label fiecărui token dintr-o propoziție”, cum ar fi:",k,G,O="<li><strong>Named entity recognition(NER)</strong>: Găsirea entităților (cum ar fi persoane, locații sau organizații) într-o propoziție. Acest lucru poate fi formulat ca atribuirea unui label fiecărui token, având o clasă pentru fiecare entitate și o clasă pentru “nicio entitate”.</li> <li><strong>Part-of-speech tagging (POS)</strong>: Marchează fiecare cuvânt dintr-o propoziție ca corespunzând unei anumite părți de vorbire (cum ar fi substantiv, verb, adjectiv etc.).</li> <li><strong>Chunking</strong>: Găsirea tokenilor care aparțin aceleiași entități. Această sarcină (care poate fi combinată cu POS sau NER) poate fi formulată ca atribuirea unui label (de obicei <code>B-</code>) tuturor tokenilor care se află la începutul unui chunk, a unui alt label (de obicei <code>I-</code>) la tokeni care se află în interiorul unui chunk și a unui al treilea label (de obicei <code>O</code>) la tokeni care nu aparțin niciunui chunk.</li>",Zl,ie,Y,re,K="Desigur, există multe alte tipuri de probleme de clasificare a tokenilor; acestea sunt doar câteva exemple reprezentative. În această secțiune, vom pune la punct un model (BERT) pe o sarcină NER, care va fi apoi capabil să calculeze predicții precum aceasta:",Ie,B,Ae,Q,L,ee='<img class="block dark:hidden lg:w-3/5" src="https://huggingface.co/datasets/huggingface-course/documentation-images/resolve/main/en/chapter7/model-eval-bert-finetuned-ner.png" alt="One-hot encoding labels pentru răspunderea la întrebări."/> <img class="hidden dark:block lg:w-3/5" src="https://huggingface.co/datasets/huggingface-course/documentation-images/resolve/main/en/chapter7/model-eval-bert-finetuned-ner-dark.png" alt="One-hot encoded labels pentru răspunderea la întrebări."/>',Al,pe,le='Puteți găsi modelul pe care îl vom antrena și încărca în Hub și puteți verifica de două ori predicțiile sale <a href="https://huggingface.co/huggingface-course/bert-finetuned-ner?text=My+name+is+Sylvain+and+I+work+at+Hugging+Face+in+Brooklyn" rel="nofollow">aici</a>.',$e,V,Wl,ce,ae='În primul rând, avem nevoie de un dataset adecvat pentru clasificarea simbolurilor. În această secțiune vom utiliza [datasetul CoNLL-2003] (<a href="https://huggingface.co/datasets/conll2003" rel="nofollow">https://huggingface.co/datasets/conll2003</a>), care conține știri de la Reuters.',Bl,te,X,ue,E,ve,We="Pentru a încărca datasetul CoNLL-2003, folosim metoda <code>load_dataset()</code> din biblioteca 🤗 Datasets:",H,oe,N,_e,Be='Acest lucru va descărca și va stoca în cache datasetul, așa cum am văzut în <a href="/course/chapter3">Capitolul 3</a> pentru setul de date GLUE MRPC. Inspectarea acestui obiect ne arată coloanele prezente și împărțirea între seturile de antrenare, validare și testare:',F,Je,Me,se,ge,z,Gl="În special, putem vedea că datasetul conține labeluri pentru cele trei sarcini pe care le-am menționat mai devreme: NER, POS și Chunking. O mare diferență față de alte datseturi este că textele de intrare nu sunt prezentate ca propoziții sau documente, ci ca liste de cuvinte (ultima coloană se numește <code>tokens</code>, dar conține cuvinte în sensul că acestea sunt inputuri pre-tokenizate care mai trebuie să treacă prin tokenizer pentru tokenizarea subcuvintelor).",me,ne,Ge="Să aruncăm o privire la primul element al setului de formare:",S,xe,ke,R,Ve,D,c="Deoarece dorim să efectuăm named entity recognition, ne vom uita la etichetele NER:",$,ye,Ol,Te,ua,ze,Vl="Acestea sunt labelurile ca numere întregi pregătite pentru antrenare, dar nu sunt neapărat utile atunci când dorim să inspectăm datele. La fel ca în cazul clasificării textului, putem accesa corespondența dintre aceste numere întregi și numele labelurilor consultând atributul <code>features</code> al datasetului nostru:",oa,Re,Ye,Qe,Xe,zl,Ma="Deci, această coloană conține elemente care sunt secvențe a <code>ClassLabel</code>. Tipul elementelor din secvență se află în atributul <code>feature</code> al acestei <code>ner_feature</code>, iar noi putem accesa lista de nume consultând atributul <code>names</code> al acelei <code>feature</code>:",Ee,He,Ne,Rl,Kl,fe,ma='Am văzut deja aceste labeluri atunci când am cercetat pipelineul <code>token-classification</code> în <a href="/course/chapter6/3">Capitolul 6</a>, dar pentru o reîmprospătare rapidă:',Fe,Yl,da="<li><code>O</code> înseamnă că cuvântul nu corespunde niciunei entități.</li> <li><code>B-PER</code>/<code>I-PER</code> înseamnă că cuvântul corespunde începutului/este în interiorul unei entități de tip <em>persoană</em>.</li> <li><code>B-ORG</code>/<code>I-ORG</code> înseamnă că cuvântul corespunde începutului/este în interiorul unei entități de tip <em>organizaționale</em>.</li> <li><code>B-LOC</code>/<code>I-LOC</code> înseamnă că cuvântul corespunde începutului/este în interiorul unei entități de tip  <em>locație</em>.</li> <li><code>B-MISC</code>/<code>I-MISC</code> înseamnă că cuvântul corespunde începutului/este în interiorul unei entități de tip *miscellaneous.</li>",Se,De,Ql="Acum, decodificarea labelurilor pe care le-am văzut mai devreme ne dă următorul rezultat:",Ja,Le,qe,Pe,Oe,Xl,ya="Și pentru un exemplu de amestecare a labelurilor <code>B-</code> și <code>I-</code>, iată ce ne oferă același cod pentru elementul din setul de antrenare de la indexul 4:",Ke,el,ll,al,El="După cum putem vedea, entităților care cuprind două cuvinte, precum “Uniunea Europeană” și “Werner Zwingmann”, li se atribuie un label <code>B-</code> pentru primul cuvânt și un label <code>I-</code> pentru al doilea.",Ta,Ze,tl,sl,nl,Hl,ea,be,fa='Ca de obicei, textele noastre trebuie să fie convertite în ID-uri token înainte ca modelul să le poată înțelege. După cum am văzut în <a href="/course/chapter6/">Capitolul 6</a>, o mare diferență în cazul sarcinilor de clasificare a tokenilor este că avem inputuri pre-tokenizate. Din fericire, API-ul tokenizerului poate face față acestei situații destul de ușor; trebuie doar să avertizăm <code>tokenizerul</code> cu un indicator special.',il,rl,Nl="Pentru început, hai să creăm obiectul <code>tokenizer</code>. După cum am mai spus, vom utiliza un model BERT preantrenat, deci vom începe prin a descărca și a stoca în cache tokenizerul asociat:",ba,pl,cl,ul,Fl='Puteți înlocui <code>model_checkpoint</code> cu orice alt model preferat din <a href="https://huggingface.co/models" rel="nofollow">Hub</a> sau cu un folder local în care ați salvat un model preantreant și un tokenizer. Singura constrângere este că tokenizerul trebuie să fie susținut de biblioteca 🤗 Tokenizers, pentru ca să existe o versiune “rapidă” disponibilă. Puteți vedea toate arhitecturile care vin cu o versiune rapidă în [acest tabel mare] (<a href="https://huggingface.co/transformers/#supported-frameworks" rel="nofollow">https://huggingface.co/transformers/#supported-frameworks</a>), iar pentru a verifica dacă obiectul <code>tokenizer</code> pe care îl utilizați este într-adevăr susținut de 🤗 Tokenizers, vă puteți uita la atributul său <code>is_fast</code>:',ja,ol,Ml,ml,dl,Sl,wa="Pentru a tokeniza un input pre-tokenizat, putem utiliza <code>tokenizer</code> ca de obicei și să adăugăm <code>is_split_into_words=True</code>:",Jl,yl,Tl,Dl,la,je,Jt="După cum putem vedea, tokenizerul a adăugat tokenii speciali utilizați de model (<code>[CLS]</code> la început și <code>[SEP]</code> la sfârșit) și a lăsat majoritatea cuvintelor neatinse. Cu toate acestea, cuvântul <code>lamb</code> a fost tokenizat în două subcuvinte, <code>la</code> și <code>##mb</code>. Acest lucru introduce o neconcordanță între inputurile noastre și labeluri: lista de labeluri are doar 9 elemente, în timp ce inputurile noastre au acum 12 tokeni. Să luăm în considerare tokenii speciali este ușor (știm că sunt la început și la sfârșit), dar trebuie să ne asigurăm că aliniem toate labelurile cu cuvintele corespunzătoare.",aa,we,yt='Din fericire, pentru că folosim un tokenizer rapid, avem acces la superputerile 🤗 Tokenizers, ceea ce înseamnă că putem mapa cu ușurință fiecare token la cuvântul corespunzător (după cum se vede în <a href="/course/chapter6/3">Capitolul 6</a>):',ta,Ue,sa,he,Ua,fl,Ll="Cu puțină muncă, putem apoi extinde lista de labeluri pentru a se potrivi cu tokenii. Prima regulă pe care o vom aplica este că tokenii special primesc un label <code>-100</code>. Acest lucru se datorează faptului că în mod implicit <code>-100</code> este un indice care este ignorat în funcția de pierdere pe care o vom utiliza (cross-entropy). Apoi, fiecare token primește același label ca și tokenul care a inițiat cuvântul în care se află, deoarece fac parte din aceeași entitate. Pentru tokenii din interiorul unui cuvânt, dar care nu se află la început, înlocuim <code>B-</code> cu <code>I-</code> (deoarece tokenul nu începe entitatea):",na,Ce,ha,bl,ql="Hai să îl încercăm cu prima noastră propoziție:",Ca,jl,l,u,ft,Ia,ns="După cum putem vedea, funcția noastră a adăugat <code>-100</code> pentru cei doi tokeni speciali de la început și de la sfârșit, și un nou <code>0</code> pentru cuvântul nostru care a fost împărțit în doi tokeni.",bt,ia,jt,$a,is="Pentru a preprocesa întregul nostru dataset, trebuie să tokenizăm toate inputurile și să aplicăm <code>align_labels_with_tokens()</code> pe toate labelurile. Pentru a profita de viteza tokenizerului nostru rapid, este mai bine să tokenizăm multe texte în același timp, așa că vom scrie o funcție care procesează o listă de exemple și vom folosi metoda <code>Dataset.map()</code> cu opțiunea <code>batched=True</code>. Singurul lucru diferit față de exemplul nostru anterior este că funcția <code>word_ids()</code> trebuie să obțină indexul exemplului din care dorim ID-urile cuvintelor atunci când inputurile către tokenizer sunt liste de texte (sau, în cazul nostru, liste de liste de cuvinte), așa că adăugăm și acest lucru:",wt,ga,Ut,ka,rs="Rețineți că nu am completat încă inputurile; vom face acest lucru mai târziu, atunci când vom crea batchurile cu un data collator.",ht,va,ps="Acum putem aplica toate aceste preprocesări dintr-o dată celorlalte fracțiuni ale datasetului nostru:",Ct,_a,It,xa,cs='Am făcut partea cea mai grea! Acum, că datele au fost preprocesate, antrenarea efectivă va semăna mult cu ceea ce am făcut în <a href="/course/chapter3">Capitolul 3</a>.',$t,wl,Ul,pt,Za,gt,Aa,us='Nu putem folosi doar un <code>DataCollatorWithPadding</code> ca în <a href="/course/chapter3">Capitolul 3</a> deoarece acesta doar adaugă padding inputurilor(input IDs, attention mask, and token type IDs). Aici labelurile noastre ar trebui să fie padded exact în același mod ca și inputurile, astfel încât să rămână de aceeași dimensiune, folosind <code>-100</code> ca valoare, astfel încât predicțiile corespunzătoare să fie ignorate în calculul pierderilor.',kt,Wa,os='Toate acestea sunt realizate de un <a href="https://huggingface.co/transformers/main_classes/data_collator.html#datacollatorfortokenclassification" rel="nofollow"><code>DataCollatorForTokenClassification</code></a>. La fel ca <code>DataCollatorWithPadding</code>, acesta ia <code>tokenizer</code>-ul folosit pentru preprocesarea inputurilor:',vt,hl,Cl,ct,Ba,Ms="Pentru a testa acest lucru pe câteva sampleuri, îl putem apela doar pe o listă de exemple din setul nostru de antrenat tokenizat:",_t,Ga,xt,Va,Zt,za,ms="Hai să comparăm acest lucru cu labelurile pentru primul și al doilea element din datasetul nostru:",At,Ra,Wt,Ya,Bt,Il,$l,ut,ot,Qa,Gt,gl,kl,Mt,Xa,Vt,Ea,ds="Această metrică nu se comportă ca precizia standard: de fapt, va lua listele de labeluri ca șiruri de caractere, nu ca numere întregi, deci va trebui să decodificăm complet predicțiile și labelurile înainte de a le trece în metrice. Să vedem cum funcționează. În primul rând, vom obține labelurile pentru primul nostru exemplu de antrenare:",zt,Ha,Rt,Na,Yt,Fa,Js="Putem apoi crea predicții false pentru acestea prin simpla schimbare a valorii la indexul 2:",Qt,Sa,Xt,Da,ys="Rețineți că metrica ia o listă de predicții (nu doar una) și o listă de labels. Iată rezultatul:",Et,La,Ht,vl,_l,mt,dt,qa,Nt,Pa,Ts="V-am arătat deja cum puteți utiliza modelul pe care l-am ajustat pe Model Hub cu inference widget. Pentru a-l utiliza la nivel local într-un <code>pipeline</code>, trebuie doar să specificați identificatorul de model corespunzător:",Ft,Oa,St,Ka,Dt,et,fs="Grozav! Modelul nostru funcționează la fel de bine ca cel implicit pentru aceast pipeline!",Lt,lt,qt,Tt,Pt;_=new Fs({props:{fw:v[0]}}),g=new de({props:{title:"Clasificarea tokenilor",local:"token-classification",headingTag:"h1"}});const bs=[Ls,Ds],at=[];function js(e,s){return e[0]==="pt"?0:1}j=js(v),x=at[j]=bs[j](v),ie=new Bs({props:{id:"wVHdVlPScxA"}}),V=new de({props:{title:"Pregătirea datelor",local:"preparing-the-data",headingTag:"h2"}}),te=new ca({props:{$$slots:{default:[qs]},$$scope:{ctx:v}}}),ue=new de({props:{title:"Datasetul CoNLL-2003",local:"the-conll-2003-dataset",headingTag:"h3"}}),oe=new C({props:{code:"ZnJvbSUyMGRhdGFzZXRzJTIwaW1wb3J0JTIwbG9hZF9kYXRhc2V0JTBBJTBBcmF3X2RhdGFzZXRzJTIwJTNEJTIwbG9hZF9kYXRhc2V0KCUyMmNvbmxsMjAwMyUyMik=",highlighted:`<span class="hljs-keyword">from</span> datasets <span class="hljs-keyword">import</span> load_dataset

raw_datasets = load_dataset(<span class="hljs-string">&quot;conll2003&quot;</span>)`,wrap:!1}}),Je=new C({props:{code:"cmF3X2RhdGFzZXRz",highlighted:"raw_datasets",wrap:!1}}),se=new C({props:{code:"RGF0YXNldERpY3QoJTdCJTBBJTIwJTIwJTIwJTIwdHJhaW4lM0ElMjBEYXRhc2V0KCU3QiUwQSUyMCUyMCUyMCUyMCUyMCUyMCUyMCUyMGZlYXR1cmVzJTNBJTIwJTVCJ2NodW5rX3RhZ3MnJTJDJTIwJ2lkJyUyQyUyMCduZXJfdGFncyclMkMlMjAncG9zX3RhZ3MnJTJDJTIwJ3Rva2VucyclNUQlMkMlMEElMjAlMjAlMjAlMjAlMjAlMjAlMjAlMjBudW1fcm93cyUzQSUyMDE0MDQxJTBBJTIwJTIwJTIwJTIwJTdEKSUwQSUyMCUyMCUyMCUyMHZhbGlkYXRpb24lM0ElMjBEYXRhc2V0KCU3QiUwQSUyMCUyMCUyMCUyMCUyMCUyMCUyMCUyMGZlYXR1cmVzJTNBJTIwJTVCJ2NodW5rX3RhZ3MnJTJDJTIwJ2lkJyUyQyUyMCduZXJfdGFncyclMkMlMjAncG9zX3RhZ3MnJTJDJTIwJ3Rva2VucyclNUQlMkMlMEElMjAlMjAlMjAlMjAlMjAlMjAlMjAlMjBudW1fcm93cyUzQSUyMDMyNTAlMEElMjAlMjAlMjAlMjAlN0QpJTBBJTIwJTIwJTIwJTIwdGVzdCUzQSUyMERhdGFzZXQoJTdCJTBBJTIwJTIwJTIwJTIwJTIwJTIwJTIwJTIwZmVhdHVyZXMlM0ElMjAlNUInY2h1bmtfdGFncyclMkMlMjAnaWQnJTJDJTIwJ25lcl90YWdzJyUyQyUyMCdwb3NfdGFncyclMkMlMjAndG9rZW5zJyU1RCUyQyUwQSUyMCUyMCUyMCUyMCUyMCUyMCUyMCUyMG51bV9yb3dzJTNBJTIwMzQ1MyUwQSUyMCUyMCUyMCUyMCU3RCklMEElN0Qp",highlighted:`DatasetDict({
    train: Dataset({
        features: [<span class="hljs-string">&#x27;chunk_tags&#x27;</span>, <span class="hljs-string">&#x27;id&#x27;</span>, <span class="hljs-string">&#x27;ner_tags&#x27;</span>, <span class="hljs-string">&#x27;pos_tags&#x27;</span>, <span class="hljs-string">&#x27;tokens&#x27;</span>],
        num_rows: <span class="hljs-number">14041</span>
    })
    validation: Dataset({
        features: [<span class="hljs-string">&#x27;chunk_tags&#x27;</span>, <span class="hljs-string">&#x27;id&#x27;</span>, <span class="hljs-string">&#x27;ner_tags&#x27;</span>, <span class="hljs-string">&#x27;pos_tags&#x27;</span>, <span class="hljs-string">&#x27;tokens&#x27;</span>],
        num_rows: <span class="hljs-number">3250</span>
    })
    test: Dataset({
        features: [<span class="hljs-string">&#x27;chunk_tags&#x27;</span>, <span class="hljs-string">&#x27;id&#x27;</span>, <span class="hljs-string">&#x27;ner_tags&#x27;</span>, <span class="hljs-string">&#x27;pos_tags&#x27;</span>, <span class="hljs-string">&#x27;tokens&#x27;</span>],
        num_rows: <span class="hljs-number">3453</span>
    })
})`,wrap:!1}}),xe=new C({props:{code:"cmF3X2RhdGFzZXRzJTVCJTIydHJhaW4lMjIlNUQlNUIwJTVEJTVCJTIydG9rZW5zJTIyJTVE",highlighted:'raw_datasets[<span class="hljs-string">&quot;train&quot;</span>][<span class="hljs-number">0</span>][<span class="hljs-string">&quot;tokens&quot;</span>]',wrap:!1}}),R=new C({props:{code:"JTVCJ0VVJyUyQyUyMCdyZWplY3RzJyUyQyUyMCdHZXJtYW4nJTJDJTIwJ2NhbGwnJTJDJTIwJ3RvJyUyQyUyMCdib3ljb3R0JyUyQyUyMCdCcml0aXNoJyUyQyUyMCdsYW1iJyUyQyUyMCcuJyU1RA==",highlighted:'[<span class="hljs-string">&#x27;EU&#x27;</span>, <span class="hljs-string">&#x27;rejects&#x27;</span>, <span class="hljs-string">&#x27;German&#x27;</span>, <span class="hljs-string">&#x27;call&#x27;</span>, <span class="hljs-string">&#x27;to&#x27;</span>, <span class="hljs-string">&#x27;boycott&#x27;</span>, <span class="hljs-string">&#x27;British&#x27;</span>, <span class="hljs-string">&#x27;lamb&#x27;</span>, <span class="hljs-string">&#x27;.&#x27;</span>]',wrap:!1}}),ye=new C({props:{code:"cmF3X2RhdGFzZXRzJTVCJTIydHJhaW4lMjIlNUQlNUIwJTVEJTVCJTIybmVyX3RhZ3MlMjIlNUQ=",highlighted:'raw_datasets[<span class="hljs-string">&quot;train&quot;</span>][<span class="hljs-number">0</span>][<span class="hljs-string">&quot;ner_tags&quot;</span>]',wrap:!1}}),Te=new C({props:{code:"JTVCMyUyQyUyMDAlMkMlMjA3JTJDJTIwMCUyQyUyMDAlMkMlMjAwJTJDJTIwNyUyQyUyMDAlMkMlMjAwJTVE",highlighted:'[<span class="hljs-number">3</span>, <span class="hljs-number">0</span>, <span class="hljs-number">7</span>, <span class="hljs-number">0</span>, <span class="hljs-number">0</span>, <span class="hljs-number">0</span>, <span class="hljs-number">7</span>, <span class="hljs-number">0</span>, <span class="hljs-number">0</span>]',wrap:!1}}),Re=new C({props:{code:"bmVyX2ZlYXR1cmUlMjAlM0QlMjByYXdfZGF0YXNldHMlNUIlMjJ0cmFpbiUyMiU1RC5mZWF0dXJlcyU1QiUyMm5lcl90YWdzJTIyJTVEJTBBbmVyX2ZlYXR1cmU=",highlighted:`ner_feature = raw_datasets[<span class="hljs-string">&quot;train&quot;</span>].features[<span class="hljs-string">&quot;ner_tags&quot;</span>]
ner_feature`,wrap:!1}}),Qe=new C({props:{code:"U2VxdWVuY2UoZmVhdHVyZSUzRENsYXNzTGFiZWwobnVtX2NsYXNzZXMlM0Q5JTJDJTIwbmFtZXMlM0QlNUInTyclMkMlMjAnQi1QRVInJTJDJTIwJ0ktUEVSJyUyQyUyMCdCLU9SRyclMkMlMjAnSS1PUkcnJTJDJTIwJ0ItTE9DJyUyQyUyMCdJLUxPQyclMkMlMjAnQi1NSVNDJyUyQyUyMCdJLU1JU0MnJTVEJTJDJTIwbmFtZXNfZmlsZSUzRE5vbmUlMkMlMjBpZCUzRE5vbmUpJTJDJTIwbGVuZ3RoJTNELTElMkMlMjBpZCUzRE5vbmUp",highlighted:'<span class="hljs-type">Sequence</span>(feature=ClassLabel(num_classes=<span class="hljs-number">9</span>, names=[<span class="hljs-string">&#x27;O&#x27;</span>, <span class="hljs-string">&#x27;B-PER&#x27;</span>, <span class="hljs-string">&#x27;I-PER&#x27;</span>, <span class="hljs-string">&#x27;B-ORG&#x27;</span>, <span class="hljs-string">&#x27;I-ORG&#x27;</span>, <span class="hljs-string">&#x27;B-LOC&#x27;</span>, <span class="hljs-string">&#x27;I-LOC&#x27;</span>, <span class="hljs-string">&#x27;B-MISC&#x27;</span>, <span class="hljs-string">&#x27;I-MISC&#x27;</span>], names_file=<span class="hljs-literal">None</span>, <span class="hljs-built_in">id</span>=<span class="hljs-literal">None</span>), length=-<span class="hljs-number">1</span>, <span class="hljs-built_in">id</span>=<span class="hljs-literal">None</span>)',wrap:!1}}),He=new C({props:{code:"bGFiZWxfbmFtZXMlMjAlM0QlMjBuZXJfZmVhdHVyZS5mZWF0dXJlLm5hbWVzJTBBbGFiZWxfbmFtZXM=",highlighted:`label_names = ner_feature.feature.names
label_names`,wrap:!1}}),Rl=new C({props:{code:"JTVCJ08nJTJDJTIwJ0ItUEVSJyUyQyUyMCdJLVBFUiclMkMlMjAnQi1PUkcnJTJDJTIwJ0ktT1JHJyUyQyUyMCdCLUxPQyclMkMlMjAnSS1MT0MnJTJDJTIwJ0ItTUlTQyclMkMlMjAnSS1NSVNDJyU1RA==",highlighted:'[<span class="hljs-string">&#x27;O&#x27;</span>, <span class="hljs-string">&#x27;B-PER&#x27;</span>, <span class="hljs-string">&#x27;I-PER&#x27;</span>, <span class="hljs-string">&#x27;B-ORG&#x27;</span>, <span class="hljs-string">&#x27;I-ORG&#x27;</span>, <span class="hljs-string">&#x27;B-LOC&#x27;</span>, <span class="hljs-string">&#x27;I-LOC&#x27;</span>, <span class="hljs-string">&#x27;B-MISC&#x27;</span>, <span class="hljs-string">&#x27;I-MISC&#x27;</span>]',wrap:!1}}),Le=new C({props:{code:"d29yZHMlMjAlM0QlMjByYXdfZGF0YXNldHMlNUIlMjJ0cmFpbiUyMiU1RCU1QjAlNUQlNUIlMjJ0b2tlbnMlMjIlNUQlMEFsYWJlbHMlMjAlM0QlMjByYXdfZGF0YXNldHMlNUIlMjJ0cmFpbiUyMiU1RCU1QjAlNUQlNUIlMjJuZXJfdGFncyUyMiU1RCUwQWxpbmUxJTIwJTNEJTIwJTIyJTIyJTBBbGluZTIlMjAlM0QlMjAlMjIlMjIlMEFmb3IlMjB3b3JkJTJDJTIwbGFiZWwlMjBpbiUyMHppcCh3b3JkcyUyQyUyMGxhYmVscyklM0ElMEElMjAlMjAlMjAlMjBmdWxsX2xhYmVsJTIwJTNEJTIwbGFiZWxfbmFtZXMlNUJsYWJlbCU1RCUwQSUyMCUyMCUyMCUyMG1heF9sZW5ndGglMjAlM0QlMjBtYXgobGVuKHdvcmQpJTJDJTIwbGVuKGZ1bGxfbGFiZWwpKSUwQSUyMCUyMCUyMCUyMGxpbmUxJTIwJTJCJTNEJTIwd29yZCUyMCUyQiUyMCUyMiUyMCUyMiUyMColMjAobWF4X2xlbmd0aCUyMC0lMjBsZW4od29yZCklMjAlMkIlMjAxKSUwQSUyMCUyMCUyMCUyMGxpbmUyJTIwJTJCJTNEJTIwZnVsbF9sYWJlbCUyMCUyQiUyMCUyMiUyMCUyMiUyMColMjAobWF4X2xlbmd0aCUyMC0lMjBsZW4oZnVsbF9sYWJlbCklMjAlMkIlMjAxKSUwQSUwQXByaW50KGxpbmUxKSUwQXByaW50KGxpbmUyKQ==",highlighted:`words = raw_datasets[<span class="hljs-string">&quot;train&quot;</span>][<span class="hljs-number">0</span>][<span class="hljs-string">&quot;tokens&quot;</span>]
labels = raw_datasets[<span class="hljs-string">&quot;train&quot;</span>][<span class="hljs-number">0</span>][<span class="hljs-string">&quot;ner_tags&quot;</span>]
line1 = <span class="hljs-string">&quot;&quot;</span>
line2 = <span class="hljs-string">&quot;&quot;</span>
<span class="hljs-keyword">for</span> word, label <span class="hljs-keyword">in</span> <span class="hljs-built_in">zip</span>(words, labels):
    full_label = label_names[label]
    max_length = <span class="hljs-built_in">max</span>(<span class="hljs-built_in">len</span>(word), <span class="hljs-built_in">len</span>(full_label))
    line1 += word + <span class="hljs-string">&quot; &quot;</span> * (max_length - <span class="hljs-built_in">len</span>(word) + <span class="hljs-number">1</span>)
    line2 += full_label + <span class="hljs-string">&quot; &quot;</span> * (max_length - <span class="hljs-built_in">len</span>(full_label) + <span class="hljs-number">1</span>)

<span class="hljs-built_in">print</span>(line1)
<span class="hljs-built_in">print</span>(line2)`,wrap:!1}}),Pe=new C({props:{code:"J0VVJTIwJTIwJTIwJTIwcmVqZWN0cyUyMEdlcm1hbiUyMGNhbGwlMjB0byUyMGJveWNvdHQlMjBCcml0aXNoJTIwbGFtYiUyMC4nJTBBJ0ItT1JHJTIwTyUyMCUyMCUyMCUyMCUyMCUyMCUyMEItTUlTQyUyME8lMjAlMjAlMjAlMjBPJTIwJTIwTyUyMCUyMCUyMCUyMCUyMCUyMCUyMEItTUlTQyUyMCUyME8lMjAlMjAlMjAlMjBPJw==",highlighted:`<span class="hljs-string">&#x27;EU    rejects German call to boycott British lamb .&#x27;</span>
<span class="hljs-string">&#x27;B-ORG O       B-MISC O    O  O       B-MISC  O    O&#x27;</span>`,wrap:!1}}),el=new C({props:{code:"J0dlcm1hbnklMjAlNUMncyUyMHJlcHJlc2VudGF0aXZlJTIwdG8lMjB0aGUlMjBFdXJvcGVhbiUyMFVuaW9uJTIwJTVDJ3MlMjB2ZXRlcmluYXJ5JTIwY29tbWl0dGVlJTIwV2VybmVyJTIwWndpbmdtYW5uJTIwc2FpZCUyMG9uJTIwV2VkbmVzZGF5JTIwY29uc3VtZXJzJTIwc2hvdWxkJTIwYnV5JTIwc2hlZXBtZWF0JTIwZnJvbSUyMGNvdW50cmllcyUyMG90aGVyJTIwdGhhbiUyMEJyaXRhaW4lMjB1bnRpbCUyMHRoZSUyMHNjaWVudGlmaWMlMjBhZHZpY2UlMjB3YXMlMjBjbGVhcmVyJTIwLiclMEEnQi1MT0MlMjAlMjAlMjBPJTIwJTIwTyUyMCUyMCUyMCUyMCUyMCUyMCUyMCUyMCUyMCUyMCUyMCUyMCUyMCUyME8lMjAlMjBPJTIwJTIwJTIwQi1PUkclMjAlMjAlMjAlMjBJLU9SRyUyME8lMjAlMjBPJTIwJTIwJTIwJTIwJTIwJTIwJTIwJTIwJTIwJTIwTyUyMCUyMCUyMCUyMCUyMCUyMCUyMCUyMCUyMEItUEVSJTIwJTIwSS1QRVIlMjAlMjAlMjAlMjAlMjBPJTIwJTIwJTIwJTIwTyUyMCUyME8lMjAlMjAlMjAlMjAlMjAlMjAlMjAlMjAlMjBPJTIwJTIwJTIwJTIwJTIwJTIwJTIwJTIwJTIwTyUyMCUyMCUyMCUyMCUyMCUyME8lMjAlMjAlMjBPJTIwJTIwJTIwJTIwJTIwJTIwJTIwJTIwJTIwTyUyMCUyMCUyMCUyME8lMjAlMjAlMjAlMjAlMjAlMjAlMjAlMjAlMjBPJTIwJTIwJTIwJTIwJTIwTyUyMCUyMCUyMCUyMEItTE9DJTIwJTIwJTIwTyUyMCUyMCUyMCUyMCUyME8lMjAlMjAlMjBPJTIwJTIwJTIwJTIwJTIwJTIwJTIwJTIwJTIwJTIwTyUyMCUyMCUyMCUyMCUyMCUyME8lMjAlMjAlMjBPJTIwJTIwJTIwJTIwJTIwJTIwJTIwTyc=",highlighted:`<span class="hljs-string">&#x27;Germany \\&#x27;s representative to the European Union \\&#x27;s veterinary committee Werner Zwingmann said on Wednesday consumers should buy sheepmeat from countries other than Britain until the scientific advice was clearer .&#x27;</span>
<span class="hljs-string">&#x27;B-LOC   O  O              O  O   B-ORG    I-ORG O  O          O         B-PER  I-PER     O    O  O         O         O      O   O         O    O         O     O    B-LOC   O     O   O          O      O   O       O&#x27;</span>`,wrap:!1}}),Ze=new ca({props:{$$slots:{default:[Ps]},$$scope:{ctx:v}}}),sl=new de({props:{title:"Procesarea datelor",local:"processing-the-data",headingTag:"h3"}}),Hl=new Bs({props:{id:"iY2AZYdZAr0"}}),pl=new C({props:{code:"ZnJvbSUyMHRyYW5zZm9ybWVycyUyMGltcG9ydCUyMEF1dG9Ub2tlbml6ZXIlMEElMEFtb2RlbF9jaGVja3BvaW50JTIwJTNEJTIwJTIyYmVydC1iYXNlLWNhc2VkJTIyJTBBdG9rZW5pemVyJTIwJTNEJTIwQXV0b1Rva2VuaXplci5mcm9tX3ByZXRyYWluZWQobW9kZWxfY2hlY2twb2ludCk=",highlighted:`<span class="hljs-keyword">from</span> transformers <span class="hljs-keyword">import</span> AutoTokenizer

model_checkpoint = <span class="hljs-string">&quot;bert-base-cased&quot;</span>
tokenizer = AutoTokenizer.from_pretrained(model_checkpoint)`,wrap:!1}}),ol=new C({props:{code:"dG9rZW5pemVyLmlzX2Zhc3Q=",highlighted:"tokenizer.is_fast",wrap:!1}}),ml=new C({props:{code:"VHJ1ZQ==",highlighted:'<span class="hljs-literal">True</span>',wrap:!1}}),yl=new C({props:{code:"aW5wdXRzJTIwJTNEJTIwdG9rZW5pemVyKHJhd19kYXRhc2V0cyU1QiUyMnRyYWluJTIyJTVEJTVCMCU1RCU1QiUyMnRva2VucyUyMiU1RCUyQyUyMGlzX3NwbGl0X2ludG9fd29yZHMlM0RUcnVlKSUwQWlucHV0cy50b2tlbnMoKQ==",highlighted:`inputs = tokenizer(raw_datasets[<span class="hljs-string">&quot;train&quot;</span>][<span class="hljs-number">0</span>][<span class="hljs-string">&quot;tokens&quot;</span>], is_split_into_words=<span class="hljs-literal">True</span>)
inputs.tokens()`,wrap:!1}}),Dl=new C({props:{code:"JTVCJyU1QkNMUyU1RCclMkMlMjAnRVUnJTJDJTIwJ3JlamVjdHMnJTJDJTIwJ0dlcm1hbiclMkMlMjAnY2FsbCclMkMlMjAndG8nJTJDJTIwJ2JveWNvdHQnJTJDJTIwJ0JyaXRpc2gnJTJDJTIwJ2xhJyUyQyUyMCclMjMlMjNtYiclMkMlMjAnLiclMkMlMjAnJTVCU0VQJTVEJyU1RA==",highlighted:'[<span class="hljs-string">&#x27;[CLS]&#x27;</span>, <span class="hljs-string">&#x27;EU&#x27;</span>, <span class="hljs-string">&#x27;rejects&#x27;</span>, <span class="hljs-string">&#x27;German&#x27;</span>, <span class="hljs-string">&#x27;call&#x27;</span>, <span class="hljs-string">&#x27;to&#x27;</span>, <span class="hljs-string">&#x27;boycott&#x27;</span>, <span class="hljs-string">&#x27;British&#x27;</span>, <span class="hljs-string">&#x27;la&#x27;</span>, <span class="hljs-string">&#x27;##mb&#x27;</span>, <span class="hljs-string">&#x27;.&#x27;</span>, <span class="hljs-string">&#x27;[SEP]&#x27;</span>]',wrap:!1}}),Ue=new C({props:{code:"aW5wdXRzLndvcmRfaWRzKCk=",highlighted:"inputs.word_ids()",wrap:!1}}),he=new C({props:{code:"JTVCTm9uZSUyQyUyMDAlMkMlMjAxJTJDJTIwMiUyQyUyMDMlMkMlMjA0JTJDJTIwNSUyQyUyMDYlMkMlMjA3JTJDJTIwNyUyQyUyMDglMkMlMjBOb25lJTVE",highlighted:'[<span class="hljs-literal">None</span>, <span class="hljs-number">0</span>, <span class="hljs-number">1</span>, <span class="hljs-number">2</span>, <span class="hljs-number">3</span>, <span class="hljs-number">4</span>, <span class="hljs-number">5</span>, <span class="hljs-number">6</span>, <span class="hljs-number">7</span>, <span class="hljs-number">7</span>, <span class="hljs-number">8</span>, <span class="hljs-literal">None</span>]',wrap:!1}}),Ce=new C({props:{code:"ZGVmJTIwYWxpZ25fbGFiZWxzX3dpdGhfdG9rZW5zKGxhYmVscyUyQyUyMHdvcmRfaWRzKSUzQSUwQSUyMCUyMCUyMCUyMG5ld19sYWJlbHMlMjAlM0QlMjAlNUIlNUQlMEElMjAlMjAlMjAlMjBjdXJyZW50X3dvcmQlMjAlM0QlMjBOb25lJTBBJTIwJTIwJTIwJTIwZm9yJTIwd29yZF9pZCUyMGluJTIwd29yZF9pZHMlM0ElMEElMjAlMjAlMjAlMjAlMjAlMjAlMjAlMjBpZiUyMHdvcmRfaWQlMjAhJTNEJTIwY3VycmVudF93b3JkJTNBJTBBJTIwJTIwJTIwJTIwJTIwJTIwJTIwJTIwJTIwJTIwJTIwJTIwJTIzJTIwU3RhcnQlMjBvZiUyMGElMjBuZXclMjB3b3JkISUwQSUyMCUyMCUyMCUyMCUyMCUyMCUyMCUyMCUyMCUyMCUyMCUyMGN1cnJlbnRfd29yZCUyMCUzRCUyMHdvcmRfaWQlMEElMjAlMjAlMjAlMjAlMjAlMjAlMjAlMjAlMjAlMjAlMjAlMjBsYWJlbCUyMCUzRCUyMC0xMDAlMjBpZiUyMHdvcmRfaWQlMjBpcyUyME5vbmUlMjBlbHNlJTIwbGFiZWxzJTVCd29yZF9pZCU1RCUwQSUyMCUyMCUyMCUyMCUyMCUyMCUyMCUyMCUyMCUyMCUyMCUyMG5ld19sYWJlbHMuYXBwZW5kKGxhYmVsKSUwQSUyMCUyMCUyMCUyMCUyMCUyMCUyMCUyMGVsaWYlMjB3b3JkX2lkJTIwaXMlMjBOb25lJTNBJTBBJTIwJTIwJTIwJTIwJTIwJTIwJTIwJTIwJTIwJTIwJTIwJTIwJTIzJTIwU3BlY2lhbCUyMHRva2VuJTBBJTIwJTIwJTIwJTIwJTIwJTIwJTIwJTIwJTIwJTIwJTIwJTIwbmV3X2xhYmVscy5hcHBlbmQoLTEwMCklMEElMjAlMjAlMjAlMjAlMjAlMjAlMjAlMjBlbHNlJTNBJTBBJTIwJTIwJTIwJTIwJTIwJTIwJTIwJTIwJTIwJTIwJTIwJTIwJTIzJTIwU2FtZSUyMHdvcmQlMjBhcyUyMHByZXZpb3VzJTIwdG9rZW4lMEElMjAlMjAlMjAlMjAlMjAlMjAlMjAlMjAlMjAlMjAlMjAlMjBsYWJlbCUyMCUzRCUyMGxhYmVscyU1QndvcmRfaWQlNUQlMEElMjAlMjAlMjAlMjAlMjAlMjAlMjAlMjAlMjAlMjAlMjAlMjAlMjMlMjBJZiUyMHRoZSUyMGxhYmVsJTIwaXMlMjBCLVhYWCUyMHdlJTIwY2hhbmdlJTIwaXQlMjB0byUyMEktWFhYJTBBJTIwJTIwJTIwJTIwJTIwJTIwJTIwJTIwJTIwJTIwJTIwJTIwaWYlMjBsYWJlbCUyMCUyNSUyMDIlMjAlM0QlM0QlMjAxJTNBJTBBJTIwJTIwJTIwJTIwJTIwJTIwJTIwJTIwJTIwJTIwJTIwJTIwJTIwJTIwJTIwJTIwbGFiZWwlMjAlMkIlM0QlMjAxJTBBJTIwJTIwJTIwJTIwJTIwJTIwJTIwJTIwJTIwJTIwJTIwJTIwbmV3X2xhYmVscy5hcHBlbmQobGFiZWwpJTBBJTBBJTIwJTIwJTIwJTIwcmV0dXJuJTIwbmV3X2xhYmVscw==",highlighted:`<span class="hljs-keyword">def</span> <span class="hljs-title function_">align_labels_with_tokens</span>(<span class="hljs-params">labels, word_ids</span>):
    new_labels = []
    current_word = <span class="hljs-literal">None</span>
    <span class="hljs-keyword">for</span> word_id <span class="hljs-keyword">in</span> word_ids:
        <span class="hljs-keyword">if</span> word_id != current_word:
            <span class="hljs-comment"># Start of a new word!</span>
            current_word = word_id
            label = -<span class="hljs-number">100</span> <span class="hljs-keyword">if</span> word_id <span class="hljs-keyword">is</span> <span class="hljs-literal">None</span> <span class="hljs-keyword">else</span> labels[word_id]
            new_labels.append(label)
        <span class="hljs-keyword">elif</span> word_id <span class="hljs-keyword">is</span> <span class="hljs-literal">None</span>:
            <span class="hljs-comment"># Special token</span>
            new_labels.append(-<span class="hljs-number">100</span>)
        <span class="hljs-keyword">else</span>:
            <span class="hljs-comment"># Same word as previous token</span>
            label = labels[word_id]
            <span class="hljs-comment"># If the label is B-XXX we change it to I-XXX</span>
            <span class="hljs-keyword">if</span> label % <span class="hljs-number">2</span> == <span class="hljs-number">1</span>:
                label += <span class="hljs-number">1</span>
            new_labels.append(label)

    <span class="hljs-keyword">return</span> new_labels`,wrap:!1}}),jl=new C({props:{code:"bGFiZWxzJTIwJTNEJTIwcmF3X2RhdGFzZXRzJTVCJTIydHJhaW4lMjIlNUQlNUIwJTVEJTVCJTIybmVyX3RhZ3MlMjIlNUQlMEF3b3JkX2lkcyUyMCUzRCUyMGlucHV0cy53b3JkX2lkcygpJTBBcHJpbnQobGFiZWxzKSUwQXByaW50KGFsaWduX2xhYmVsc193aXRoX3Rva2VucyhsYWJlbHMlMkMlMjB3b3JkX2lkcykp",highlighted:`labels = raw_datasets[<span class="hljs-string">&quot;train&quot;</span>][<span class="hljs-number">0</span>][<span class="hljs-string">&quot;ner_tags&quot;</span>]
word_ids = inputs.word_ids()
<span class="hljs-built_in">print</span>(labels)
<span class="hljs-built_in">print</span>(align_labels_with_tokens(labels, word_ids))`,wrap:!1}}),u=new C({props:{code:"JTVCMyUyQyUyMDAlMkMlMjA3JTJDJTIwMCUyQyUyMDAlMkMlMjAwJTJDJTIwNyUyQyUyMDAlMkMlMjAwJTVEJTBBJTVCLTEwMCUyQyUyMDMlMkMlMjAwJTJDJTIwNyUyQyUyMDAlMkMlMjAwJTJDJTIwMCUyQyUyMDclMkMlMjAwJTJDJTIwMCUyQyUyMDAlMkMlMjAtMTAwJTVE",highlighted:`[<span class="hljs-number">3</span>, <span class="hljs-number">0</span>, <span class="hljs-number">7</span>, <span class="hljs-number">0</span>, <span class="hljs-number">0</span>, <span class="hljs-number">0</span>, <span class="hljs-number">7</span>, <span class="hljs-number">0</span>, <span class="hljs-number">0</span>]
[-<span class="hljs-number">100</span>, <span class="hljs-number">3</span>, <span class="hljs-number">0</span>, <span class="hljs-number">7</span>, <span class="hljs-number">0</span>, <span class="hljs-number">0</span>, <span class="hljs-number">0</span>, <span class="hljs-number">7</span>, <span class="hljs-number">0</span>, <span class="hljs-number">0</span>, <span class="hljs-number">0</span>, -<span class="hljs-number">100</span>]`,wrap:!1}}),ia=new ca({props:{$$slots:{default:[Os]},$$scope:{ctx:v}}}),ga=new C({props:{code:"ZGVmJTIwdG9rZW5pemVfYW5kX2FsaWduX2xhYmVscyhleGFtcGxlcyklM0ElMEElMjAlMjAlMjAlMjB0b2tlbml6ZWRfaW5wdXRzJTIwJTNEJTIwdG9rZW5pemVyKCUwQSUyMCUyMCUyMCUyMCUyMCUyMCUyMCUyMGV4YW1wbGVzJTVCJTIydG9rZW5zJTIyJTVEJTJDJTIwdHJ1bmNhdGlvbiUzRFRydWUlMkMlMjBpc19zcGxpdF9pbnRvX3dvcmRzJTNEVHJ1ZSUwQSUyMCUyMCUyMCUyMCklMEElMjAlMjAlMjAlMjBhbGxfbGFiZWxzJTIwJTNEJTIwZXhhbXBsZXMlNUIlMjJuZXJfdGFncyUyMiU1RCUwQSUyMCUyMCUyMCUyMG5ld19sYWJlbHMlMjAlM0QlMjAlNUIlNUQlMEElMjAlMjAlMjAlMjBmb3IlMjBpJTJDJTIwbGFiZWxzJTIwaW4lMjBlbnVtZXJhdGUoYWxsX2xhYmVscyklM0ElMEElMjAlMjAlMjAlMjAlMjAlMjAlMjAlMjB3b3JkX2lkcyUyMCUzRCUyMHRva2VuaXplZF9pbnB1dHMud29yZF9pZHMoaSklMEElMjAlMjAlMjAlMjAlMjAlMjAlMjAlMjBuZXdfbGFiZWxzLmFwcGVuZChhbGlnbl9sYWJlbHNfd2l0aF90b2tlbnMobGFiZWxzJTJDJTIwd29yZF9pZHMpKSUwQSUwQSUyMCUyMCUyMCUyMHRva2VuaXplZF9pbnB1dHMlNUIlMjJsYWJlbHMlMjIlNUQlMjAlM0QlMjBuZXdfbGFiZWxzJTBBJTIwJTIwJTIwJTIwcmV0dXJuJTIwdG9rZW5pemVkX2lucHV0cw==",highlighted:`<span class="hljs-keyword">def</span> <span class="hljs-title function_">tokenize_and_align_labels</span>(<span class="hljs-params">examples</span>):
    tokenized_inputs = tokenizer(
        examples[<span class="hljs-string">&quot;tokens&quot;</span>], truncation=<span class="hljs-literal">True</span>, is_split_into_words=<span class="hljs-literal">True</span>
    )
    all_labels = examples[<span class="hljs-string">&quot;ner_tags&quot;</span>]
    new_labels = []
    <span class="hljs-keyword">for</span> i, labels <span class="hljs-keyword">in</span> <span class="hljs-built_in">enumerate</span>(all_labels):
        word_ids = tokenized_inputs.word_ids(i)
        new_labels.append(align_labels_with_tokens(labels, word_ids))

    tokenized_inputs[<span class="hljs-string">&quot;labels&quot;</span>] = new_labels
    <span class="hljs-keyword">return</span> tokenized_inputs`,wrap:!1}}),_a=new C({props:{code:"dG9rZW5pemVkX2RhdGFzZXRzJTIwJTNEJTIwcmF3X2RhdGFzZXRzLm1hcCglMEElMjAlMjAlMjAlMjB0b2tlbml6ZV9hbmRfYWxpZ25fbGFiZWxzJTJDJTBBJTIwJTIwJTIwJTIwYmF0Y2hlZCUzRFRydWUlMkMlMEElMjAlMjAlMjAlMjByZW1vdmVfY29sdW1ucyUzRHJhd19kYXRhc2V0cyU1QiUyMnRyYWluJTIyJTVELmNvbHVtbl9uYW1lcyUyQyUwQSk=",highlighted:`tokenized_datasets = raw_datasets.<span class="hljs-built_in">map</span>(
    tokenize_and_align_labels,
    batched=<span class="hljs-literal">True</span>,
    remove_columns=raw_datasets[<span class="hljs-string">&quot;train&quot;</span>].column_names,
)`,wrap:!1}});const ws=[en,Ks],tt=[];function Us(e,s){return e[0]==="pt"?0:1}wl=Us(v),Ul=tt[wl]=ws[wl](v),Za=new de({props:{title:"Data collation",local:"data-collation",headingTag:"h3"}});const hs=[an,ln],st=[];function Cs(e,s){return e[0]==="pt"?0:1}hl=Cs(v),Cl=st[hl]=hs[hl](v),Ga=new C({props:{code:"YmF0Y2glMjAlM0QlMjBkYXRhX2NvbGxhdG9yKCU1QnRva2VuaXplZF9kYXRhc2V0cyU1QiUyMnRyYWluJTIyJTVEJTVCaSU1RCUyMGZvciUyMGklMjBpbiUyMHJhbmdlKDIpJTVEKSUwQWJhdGNoJTVCJTIybGFiZWxzJTIyJTVE",highlighted:`batch = data_collator([tokenized_datasets[<span class="hljs-string">&quot;train&quot;</span>][i] <span class="hljs-keyword">for</span> i <span class="hljs-keyword">in</span> <span class="hljs-built_in">range</span>(<span class="hljs-number">2</span>)])
batch[<span class="hljs-string">&quot;labels&quot;</span>]`,wrap:!1}}),Va=new C({props:{code:"dGVuc29yKCU1QiU1Qi0xMDAlMkMlMjAlMjAlMjAlMjAzJTJDJTIwJTIwJTIwJTIwMCUyQyUyMCUyMCUyMCUyMDclMkMlMjAlMjAlMjAlMjAwJTJDJTIwJTIwJTIwJTIwMCUyQyUyMCUyMCUyMCUyMDAlMkMlMjAlMjAlMjAlMjA3JTJDJTIwJTIwJTIwJTIwMCUyQyUyMCUyMCUyMCUyMDAlMkMlMjAlMjAlMjAlMjAwJTJDJTIwLTEwMCU1RCUyQyUwQSUyMCUyMCUyMCUyMCUyMCUyMCUyMCUyMCU1Qi0xMDAlMkMlMjAlMjAlMjAlMjAxJTJDJTIwJTIwJTIwJTIwMiUyQyUyMC0xMDAlMkMlMjAtMTAwJTJDJTIwLTEwMCUyQyUyMC0xMDAlMkMlMjAtMTAwJTJDJTIwLTEwMCUyQyUyMC0xMDAlMkMlMjAtMTAwJTJDJTIwLTEwMCU1RCU1RCk=",highlighted:`tensor([[-<span class="hljs-number">100</span>,    <span class="hljs-number">3</span>,    <span class="hljs-number">0</span>,    <span class="hljs-number">7</span>,    <span class="hljs-number">0</span>,    <span class="hljs-number">0</span>,    <span class="hljs-number">0</span>,    <span class="hljs-number">7</span>,    <span class="hljs-number">0</span>,    <span class="hljs-number">0</span>,    <span class="hljs-number">0</span>, -<span class="hljs-number">100</span>],
        [-<span class="hljs-number">100</span>,    <span class="hljs-number">1</span>,    <span class="hljs-number">2</span>, -<span class="hljs-number">100</span>, -<span class="hljs-number">100</span>, -<span class="hljs-number">100</span>, -<span class="hljs-number">100</span>, -<span class="hljs-number">100</span>, -<span class="hljs-number">100</span>, -<span class="hljs-number">100</span>, -<span class="hljs-number">100</span>, -<span class="hljs-number">100</span>]])`,wrap:!1}}),Ra=new C({props:{code:"Zm9yJTIwaSUyMGluJTIwcmFuZ2UoMiklM0ElMEElMjAlMjAlMjAlMjBwcmludCh0b2tlbml6ZWRfZGF0YXNldHMlNUIlMjJ0cmFpbiUyMiU1RCU1QmklNUQlNUIlMjJsYWJlbHMlMjIlNUQp",highlighted:`<span class="hljs-keyword">for</span> i <span class="hljs-keyword">in</span> <span class="hljs-built_in">range</span>(<span class="hljs-number">2</span>):
    <span class="hljs-built_in">print</span>(tokenized_datasets[<span class="hljs-string">&quot;train&quot;</span>][i][<span class="hljs-string">&quot;labels&quot;</span>])`,wrap:!1}}),Ya=new C({props:{code:"JTVCLTEwMCUyQyUyMDMlMkMlMjAwJTJDJTIwNyUyQyUyMDAlMkMlMjAwJTJDJTIwMCUyQyUyMDclMkMlMjAwJTJDJTIwMCUyQyUyMDAlMkMlMjAtMTAwJTVEJTBBJTVCLTEwMCUyQyUyMDElMkMlMjAyJTJDJTIwLTEwMCU1RA==",highlighted:`[-<span class="hljs-number">100</span>, <span class="hljs-number">3</span>, <span class="hljs-number">0</span>, <span class="hljs-number">7</span>, <span class="hljs-number">0</span>, <span class="hljs-number">0</span>, <span class="hljs-number">0</span>, <span class="hljs-number">7</span>, <span class="hljs-number">0</span>, <span class="hljs-number">0</span>, <span class="hljs-number">0</span>, -<span class="hljs-number">100</span>]
[-<span class="hljs-number">100</span>, <span class="hljs-number">1</span>, <span class="hljs-number">2</span>, -<span class="hljs-number">100</span>]`,wrap:!1}});const Is=[sn,tn],nt=[];function $s(e,s){return e[0]==="pt"?0:1}Il=$s(v),$l=nt[Il]=Is[Il](v);let q=v[0]==="tf"&&Gs(v);Qa=new de({props:{title:"Metrici",local:"metrics",headingTag:"h3"}});const gs=[cn,pn],it=[];function ks(e,s){return e[0]==="pt"?0:1}gl=ks(v),kl=it[gl]=gs[gl](v),Xa=new C({props:{code:"aW1wb3J0JTIwZXZhbHVhdGUlMEElMEFtZXRyaWMlMjAlM0QlMjBldmFsdWF0ZS5sb2FkKCUyMnNlcWV2YWwlMjIp",highlighted:`<span class="hljs-keyword">import</span> evaluate

metric = evaluate.load(<span class="hljs-string">&quot;seqeval&quot;</span>)`,wrap:!1}}),Ha=new C({props:{code:"bGFiZWxzJTIwJTNEJTIwcmF3X2RhdGFzZXRzJTVCJTIydHJhaW4lMjIlNUQlNUIwJTVEJTVCJTIybmVyX3RhZ3MlMjIlNUQlMEFsYWJlbHMlMjAlM0QlMjAlNUJsYWJlbF9uYW1lcyU1QmklNUQlMjBmb3IlMjBpJTIwaW4lMjBsYWJlbHMlNUQlMEFsYWJlbHM=",highlighted:`labels = raw_datasets[<span class="hljs-string">&quot;train&quot;</span>][<span class="hljs-number">0</span>][<span class="hljs-string">&quot;ner_tags&quot;</span>]
labels = [label_names[i] <span class="hljs-keyword">for</span> i <span class="hljs-keyword">in</span> labels]
labels`,wrap:!1}}),Na=new C({props:{code:"JTVCJ0ItT1JHJyUyQyUyMCdPJyUyQyUyMCdCLU1JU0MnJTJDJTIwJ08nJTJDJTIwJ08nJTJDJTIwJ08nJTJDJTIwJ0ItTUlTQyclMkMlMjAnTyclMkMlMjAnTyclNUQ=",highlighted:'[<span class="hljs-string">&#x27;B-ORG&#x27;</span>, <span class="hljs-string">&#x27;O&#x27;</span>, <span class="hljs-string">&#x27;B-MISC&#x27;</span>, <span class="hljs-string">&#x27;O&#x27;</span>, <span class="hljs-string">&#x27;O&#x27;</span>, <span class="hljs-string">&#x27;O&#x27;</span>, <span class="hljs-string">&#x27;B-MISC&#x27;</span>, <span class="hljs-string">&#x27;O&#x27;</span>, <span class="hljs-string">&#x27;O&#x27;</span>]',wrap:!1}}),Sa=new C({props:{code:"cHJlZGljdGlvbnMlMjAlM0QlMjBsYWJlbHMuY29weSgpJTBBcHJlZGljdGlvbnMlNUIyJTVEJTIwJTNEJTIwJTIyTyUyMiUwQW1ldHJpYy5jb21wdXRlKHByZWRpY3Rpb25zJTNEJTVCcHJlZGljdGlvbnMlNUQlMkMlMjByZWZlcmVuY2VzJTNEJTVCbGFiZWxzJTVEKQ==",highlighted:`predictions = labels.copy()
predictions[<span class="hljs-number">2</span>] = <span class="hljs-string">&quot;O&quot;</span>
metric.compute(predictions=[predictions], references=[labels])`,wrap:!1}}),La=new C({props:{code:"JTdCJ01JU0MnJTNBJTIwJTdCJ3ByZWNpc2lvbiclM0ElMjAxLjAlMkMlMjAncmVjYWxsJyUzQSUyMDAuNSUyQyUyMCdmMSclM0ElMjAwLjY3JTJDJTIwJ251bWJlciclM0ElMjAyJTdEJTJDJTBBJTIwJ09SRyclM0ElMjAlN0IncHJlY2lzaW9uJyUzQSUyMDEuMCUyQyUyMCdyZWNhbGwnJTNBJTIwMS4wJTJDJTIwJ2YxJyUzQSUyMDEuMCUyQyUyMCdudW1iZXInJTNBJTIwMSU3RCUyQyUwQSUyMCdvdmVyYWxsX3ByZWNpc2lvbiclM0ElMjAxLjAlMkMlMEElMjAnb3ZlcmFsbF9yZWNhbGwnJTNBJTIwMC42NyUyQyUwQSUyMCdvdmVyYWxsX2YxJyUzQSUyMDAuOCUyQyUwQSUyMCdvdmVyYWxsX2FjY3VyYWN5JyUzQSUyMDAuODklN0Q=",highlighted:`{<span class="hljs-string">&#x27;MISC&#x27;</span>: {<span class="hljs-string">&#x27;precision&#x27;</span>: <span class="hljs-number">1.0</span>, <span class="hljs-string">&#x27;recall&#x27;</span>: <span class="hljs-number">0.5</span>, <span class="hljs-string">&#x27;f1&#x27;</span>: <span class="hljs-number">0.67</span>, <span class="hljs-string">&#x27;number&#x27;</span>: <span class="hljs-number">2</span>},
 <span class="hljs-string">&#x27;ORG&#x27;</span>: {<span class="hljs-string">&#x27;precision&#x27;</span>: <span class="hljs-number">1.0</span>, <span class="hljs-string">&#x27;recall&#x27;</span>: <span class="hljs-number">1.0</span>, <span class="hljs-string">&#x27;f1&#x27;</span>: <span class="hljs-number">1.0</span>, <span class="hljs-string">&#x27;number&#x27;</span>: <span class="hljs-number">1</span>},
 <span class="hljs-string">&#x27;overall_precision&#x27;</span>: <span class="hljs-number">1.0</span>,
 <span class="hljs-string">&#x27;overall_recall&#x27;</span>: <span class="hljs-number">0.67</span>,
 <span class="hljs-string">&#x27;overall_f1&#x27;</span>: <span class="hljs-number">0.8</span>,
 <span class="hljs-string">&#x27;overall_accuracy&#x27;</span>: <span class="hljs-number">0.89</span>}`,wrap:!1}});const vs=[on,un],rt=[];function _s(e,s){return e[0]==="pt"?0:1}vl=_s(v),_l=rt[vl]=vs[vl](v);let P=v[0]==="pt"&&Vs(v);return qa=new de({props:{title:"Utilizarea model fine-tuned",local:"using-the-fine-tuned-model",headingTag:"h2"}}),Oa=new C({props:{code:"ZnJvbSUyMHRyYW5zZm9ybWVycyUyMGltcG9ydCUyMHBpcGVsaW5lJTBBJTBBJTIzJTIwUmVwbGFjZSUyMHRoaXMlMjB3aXRoJTIweW91ciUyMG93biUyMGNoZWNrcG9pbnQlMEFtb2RlbF9jaGVja3BvaW50JTIwJTNEJTIwJTIyaHVnZ2luZ2ZhY2UtY291cnNlJTJGYmVydC1maW5ldHVuZWQtbmVyJTIyJTBBdG9rZW5fY2xhc3NpZmllciUyMCUzRCUyMHBpcGVsaW5lKCUwQSUyMCUyMCUyMCUyMCUyMnRva2VuLWNsYXNzaWZpY2F0aW9uJTIyJTJDJTIwbW9kZWwlM0Rtb2RlbF9jaGVja3BvaW50JTJDJTIwYWdncmVnYXRpb25fc3RyYXRlZ3klM0QlMjJzaW1wbGUlMjIlMEEpJTBBdG9rZW5fY2xhc3NpZmllciglMjJNeSUyMG5hbWUlMjBpcyUyMFN5bHZhaW4lMjBhbmQlMjBJJTIwd29yayUyMGF0JTIwSHVnZ2luZyUyMEZhY2UlMjBpbiUyMEJyb29rbHluLiUyMik=",highlighted:`<span class="hljs-keyword">from</span> transformers <span class="hljs-keyword">import</span> pipeline

<span class="hljs-comment"># Replace this with your own checkpoint</span>
model_checkpoint = <span class="hljs-string">&quot;huggingface-course/bert-finetuned-ner&quot;</span>
token_classifier = pipeline(
    <span class="hljs-string">&quot;token-classification&quot;</span>, model=model_checkpoint, aggregation_strategy=<span class="hljs-string">&quot;simple&quot;</span>
)
token_classifier(<span class="hljs-string">&quot;My name is Sylvain and I work at Hugging Face in Brooklyn.&quot;</span>)`,wrap:!1}}),Ka=new C({props:{code:"JTVCJTdCJ2VudGl0eV9ncm91cCclM0ElMjAnUEVSJyUyQyUyMCdzY29yZSclM0ElMjAwLjk5ODg1MDYlMkMlMjAnd29yZCclM0ElMjAnU3lsdmFpbiclMkMlMjAnc3RhcnQnJTNBJTIwMTElMkMlMjAnZW5kJyUzQSUyMDE4JTdEJTJDJTBBJTIwJTdCJ2VudGl0eV9ncm91cCclM0ElMjAnT1JHJyUyQyUyMCdzY29yZSclM0ElMjAwLjk2NDc2MjUlMkMlMjAnd29yZCclM0ElMjAnSHVnZ2luZyUyMEZhY2UnJTJDJTIwJ3N0YXJ0JyUzQSUyMDMzJTJDJTIwJ2VuZCclM0ElMjA0NSU3RCUyQyUwQSUyMCU3QidlbnRpdHlfZ3JvdXAnJTNBJTIwJ0xPQyclMkMlMjAnc2NvcmUnJTNBJTIwMC45OTg2MTE4JTJDJTIwJ3dvcmQnJTNBJTIwJ0Jyb29rbHluJyUyQyUyMCdzdGFydCclM0ElMjA0OSUyQyUyMCdlbmQnJTNBJTIwNTclN0QlNUQ=",highlighted:`[{<span class="hljs-string">&#x27;entity_group&#x27;</span>: <span class="hljs-string">&#x27;PER&#x27;</span>, <span class="hljs-string">&#x27;score&#x27;</span>: <span class="hljs-number">0.9988506</span>, <span class="hljs-string">&#x27;word&#x27;</span>: <span class="hljs-string">&#x27;Sylvain&#x27;</span>, <span class="hljs-string">&#x27;start&#x27;</span>: <span class="hljs-number">11</span>, <span class="hljs-string">&#x27;end&#x27;</span>: <span class="hljs-number">18</span>},
 {<span class="hljs-string">&#x27;entity_group&#x27;</span>: <span class="hljs-string">&#x27;ORG&#x27;</span>, <span class="hljs-string">&#x27;score&#x27;</span>: <span class="hljs-number">0.9647625</span>, <span class="hljs-string">&#x27;word&#x27;</span>: <span class="hljs-string">&#x27;Hugging Face&#x27;</span>, <span class="hljs-string">&#x27;start&#x27;</span>: <span class="hljs-number">33</span>, <span class="hljs-string">&#x27;end&#x27;</span>: <span class="hljs-number">45</span>},
 {<span class="hljs-string">&#x27;entity_group&#x27;</span>: <span class="hljs-string">&#x27;LOC&#x27;</span>, <span class="hljs-string">&#x27;score&#x27;</span>: <span class="hljs-number">0.9986118</span>, <span class="hljs-string">&#x27;word&#x27;</span>: <span class="hljs-string">&#x27;Brooklyn&#x27;</span>, <span class="hljs-string">&#x27;start&#x27;</span>: <span class="hljs-number">49</span>, <span class="hljs-string">&#x27;end&#x27;</span>: <span class="hljs-number">57</span>}]`,wrap:!1}}),lt=new Ss({props:{source:"https://github.com/huggingface/course/blob/main/chapters/rum/chapter7/2.mdx"}}),{c(){r=m("meta"),w=n(),p=m("p"),U=n(),y(_.$$.fragment),h=n(),y(g.$$.fragment),A=n(),x.c(),Z=n(),I=m("p"),I.textContent=W,k=n(),G=m("ul"),G.innerHTML=O,Zl=n(),y(ie.$$.fragment),Y=n(),re=m("p"),re.textContent=K,Ie=n(),B=m("iframe"),Q=n(),L=m("a"),L.innerHTML=ee,Al=n(),pe=m("p"),pe.innerHTML=le,$e=n(),y(V.$$.fragment),Wl=n(),ce=m("p"),ce.innerHTML=ae,Bl=n(),y(te.$$.fragment),X=n(),y(ue.$$.fragment),E=n(),ve=m("p"),ve.innerHTML=We,H=n(),y(oe.$$.fragment),N=n(),_e=m("p"),_e.innerHTML=Be,F=n(),y(Je.$$.fragment),Me=n(),y(se.$$.fragment),ge=n(),z=m("p"),z.innerHTML=Gl,me=n(),ne=m("p"),ne.textContent=Ge,S=n(),y(xe.$$.fragment),ke=n(),y(R.$$.fragment),Ve=n(),D=m("p"),D.textContent=c,$=n(),y(ye.$$.fragment),Ol=n(),y(Te.$$.fragment),ua=n(),ze=m("p"),ze.innerHTML=Vl,oa=n(),y(Re.$$.fragment),Ye=n(),y(Qe.$$.fragment),Xe=n(),zl=m("p"),zl.innerHTML=Ma,Ee=n(),y(He.$$.fragment),Ne=n(),y(Rl.$$.fragment),Kl=n(),fe=m("p"),fe.innerHTML=ma,Fe=n(),Yl=m("ul"),Yl.innerHTML=da,Se=n(),De=m("p"),De.textContent=Ql,Ja=n(),y(Le.$$.fragment),qe=n(),y(Pe.$$.fragment),Oe=n(),Xl=m("p"),Xl.innerHTML=ya,Ke=n(),y(el.$$.fragment),ll=n(),al=m("p"),al.innerHTML=El,Ta=n(),y(Ze.$$.fragment),tl=n(),y(sl.$$.fragment),nl=n(),y(Hl.$$.fragment),ea=n(),be=m("p"),be.innerHTML=fa,il=n(),rl=m("p"),rl.innerHTML=Nl,ba=n(),y(pl.$$.fragment),cl=n(),ul=m("p"),ul.innerHTML=Fl,ja=n(),y(ol.$$.fragment),Ml=n(),y(ml.$$.fragment),dl=n(),Sl=m("p"),Sl.innerHTML=wa,Jl=n(),y(yl.$$.fragment),Tl=n(),y(Dl.$$.fragment),la=n(),je=m("p"),je.innerHTML=Jt,aa=n(),we=m("p"),we.innerHTML=yt,ta=n(),y(Ue.$$.fragment),sa=n(),y(he.$$.fragment),Ua=n(),fl=m("p"),fl.innerHTML=Ll,na=n(),y(Ce.$$.fragment),ha=n(),bl=m("p"),bl.textContent=ql,Ca=n(),y(jl.$$.fragment),l=n(),y(u.$$.fragment),ft=n(),Ia=m("p"),Ia.innerHTML=ns,bt=n(),y(ia.$$.fragment),jt=n(),$a=m("p"),$a.innerHTML=is,wt=n(),y(ga.$$.fragment),Ut=n(),ka=m("p"),ka.textContent=rs,ht=n(),va=m("p"),va.textContent=ps,Ct=n(),y(_a.$$.fragment),It=n(),xa=m("p"),xa.innerHTML=cs,$t=n(),Ul.c(),pt=n(),y(Za.$$.fragment),gt=n(),Aa=m("p"),Aa.innerHTML=us,kt=n(),Wa=m("p"),Wa.innerHTML=os,vt=n(),Cl.c(),ct=n(),Ba=m("p"),Ba.textContent=Ms,_t=n(),y(Ga.$$.fragment),xt=n(),y(Va.$$.fragment),Zt=n(),za=m("p"),za.textContent=ms,At=n(),y(Ra.$$.fragment),Wt=n(),y(Ya.$$.fragment),Bt=n(),$l.c(),ut=n(),q&&q.c(),ot=n(),y(Qa.$$.fragment),Gt=n(),kl.c(),Mt=n(),y(Xa.$$.fragment),Vt=n(),Ea=m("p"),Ea.textContent=ds,zt=n(),y(Ha.$$.fragment),Rt=n(),y(Na.$$.fragment),Yt=n(),Fa=m("p"),Fa.textContent=Js,Qt=n(),y(Sa.$$.fragment),Xt=n(),Da=m("p"),Da.textContent=ys,Et=n(),y(La.$$.fragment),Ht=n(),_l.c(),mt=n(),P&&P.c(),dt=n(),y(qa.$$.fragment),Nt=n(),Pa=m("p"),Pa.innerHTML=Ts,Ft=n(),y(Oa.$$.fragment),St=n(),y(Ka.$$.fragment),Dt=n(),et=m("p"),et.textContent=fs,Lt=n(),y(lt.$$.fragment),qt=n(),Tt=m("p"),this.h()},l(e){const s=Hs("svelte-u9bgzb",document.head);r=d(s,"META",{name:!0,content:!0}),s.forEach(a),w=i(e),p=d(e,"P",{}),ss(p).forEach(a),U=i(e),T(_.$$.fragment,e),h=i(e),T(g.$$.fragment,e),A=i(e),x.l(e),Z=i(e),I=d(e,"P",{"data-svelte-h":!0}),J(I)!=="svelte-e3t8pz"&&(I.textContent=W),k=i(e),G=d(e,"UL",{"data-svelte-h":!0}),J(G)!=="svelte-1bj813b"&&(G.innerHTML=O),Zl=i(e),T(ie.$$.fragment,e),Y=i(e),re=d(e,"P",{"data-svelte-h":!0}),J(re)!=="svelte-os5tmx"&&(re.textContent=K),Ie=i(e),B=d(e,"IFRAME",{src:!0,frameborder:!0,height:!0,title:!0,class:!0,allow:!0,sandbox:!0}),ss(B).forEach(a),Q=i(e),L=d(e,"A",{class:!0,href:!0,"data-svelte-h":!0}),J(L)!=="svelte-axdp0m"&&(L.innerHTML=ee),Al=i(e),pe=d(e,"P",{"data-svelte-h":!0}),J(pe)!=="svelte-1cx3ce1"&&(pe.innerHTML=le),$e=i(e),T(V.$$.fragment,e),Wl=i(e),ce=d(e,"P",{"data-svelte-h":!0}),J(ce)!=="svelte-f7bnx7"&&(ce.innerHTML=ae),Bl=i(e),T(te.$$.fragment,e),X=i(e),T(ue.$$.fragment,e),E=i(e),ve=d(e,"P",{"data-svelte-h":!0}),J(ve)!=="svelte-14m336l"&&(ve.innerHTML=We),H=i(e),T(oe.$$.fragment,e),N=i(e),_e=d(e,"P",{"data-svelte-h":!0}),J(_e)!=="svelte-fc76rg"&&(_e.innerHTML=Be),F=i(e),T(Je.$$.fragment,e),Me=i(e),T(se.$$.fragment,e),ge=i(e),z=d(e,"P",{"data-svelte-h":!0}),J(z)!=="svelte-t95m6i"&&(z.innerHTML=Gl),me=i(e),ne=d(e,"P",{"data-svelte-h":!0}),J(ne)!=="svelte-12rlajc"&&(ne.textContent=Ge),S=i(e),T(xe.$$.fragment,e),ke=i(e),T(R.$$.fragment,e),Ve=i(e),D=d(e,"P",{"data-svelte-h":!0}),J(D)!=="svelte-gzer0i"&&(D.textContent=c),$=i(e),T(ye.$$.fragment,e),Ol=i(e),T(Te.$$.fragment,e),ua=i(e),ze=d(e,"P",{"data-svelte-h":!0}),J(ze)!=="svelte-aog8ay"&&(ze.innerHTML=Vl),oa=i(e),T(Re.$$.fragment,e),Ye=i(e),T(Qe.$$.fragment,e),Xe=i(e),zl=d(e,"P",{"data-svelte-h":!0}),J(zl)!=="svelte-b4ilrp"&&(zl.innerHTML=Ma),Ee=i(e),T(He.$$.fragment,e),Ne=i(e),T(Rl.$$.fragment,e),Kl=i(e),fe=d(e,"P",{"data-svelte-h":!0}),J(fe)!=="svelte-12pubyt"&&(fe.innerHTML=ma),Fe=i(e),Yl=d(e,"UL",{"data-svelte-h":!0}),J(Yl)!=="svelte-1mbtne9"&&(Yl.innerHTML=da),Se=i(e),De=d(e,"P",{"data-svelte-h":!0}),J(De)!=="svelte-1sfxr"&&(De.textContent=Ql),Ja=i(e),T(Le.$$.fragment,e),qe=i(e),T(Pe.$$.fragment,e),Oe=i(e),Xl=d(e,"P",{"data-svelte-h":!0}),J(Xl)!=="svelte-1l1cgyu"&&(Xl.innerHTML=ya),Ke=i(e),T(el.$$.fragment,e),ll=i(e),al=d(e,"P",{"data-svelte-h":!0}),J(al)!=="svelte-46vgei"&&(al.innerHTML=El),Ta=i(e),T(Ze.$$.fragment,e),tl=i(e),T(sl.$$.fragment,e),nl=i(e),T(Hl.$$.fragment,e),ea=i(e),be=d(e,"P",{"data-svelte-h":!0}),J(be)!=="svelte-vzve4l"&&(be.innerHTML=fa),il=i(e),rl=d(e,"P",{"data-svelte-h":!0}),J(rl)!=="svelte-1gf0ux1"&&(rl.innerHTML=Nl),ba=i(e),T(pl.$$.fragment,e),cl=i(e),ul=d(e,"P",{"data-svelte-h":!0}),J(ul)!=="svelte-88obr"&&(ul.innerHTML=Fl),ja=i(e),T(ol.$$.fragment,e),Ml=i(e),T(ml.$$.fragment,e),dl=i(e),Sl=d(e,"P",{"data-svelte-h":!0}),J(Sl)!=="svelte-1gik6df"&&(Sl.innerHTML=wa),Jl=i(e),T(yl.$$.fragment,e),Tl=i(e),T(Dl.$$.fragment,e),la=i(e),je=d(e,"P",{"data-svelte-h":!0}),J(je)!=="svelte-ccno60"&&(je.innerHTML=Jt),aa=i(e),we=d(e,"P",{"data-svelte-h":!0}),J(we)!=="svelte-14bogks"&&(we.innerHTML=yt),ta=i(e),T(Ue.$$.fragment,e),sa=i(e),T(he.$$.fragment,e),Ua=i(e),fl=d(e,"P",{"data-svelte-h":!0}),J(fl)!=="svelte-c279tm"&&(fl.innerHTML=Ll),na=i(e),T(Ce.$$.fragment,e),ha=i(e),bl=d(e,"P",{"data-svelte-h":!0}),J(bl)!=="svelte-1d0989m"&&(bl.textContent=ql),Ca=i(e),T(jl.$$.fragment,e),l=i(e),T(u.$$.fragment,e),ft=i(e),Ia=d(e,"P",{"data-svelte-h":!0}),J(Ia)!=="svelte-1l9wpjm"&&(Ia.innerHTML=ns),bt=i(e),T(ia.$$.fragment,e),jt=i(e),$a=d(e,"P",{"data-svelte-h":!0}),J($a)!=="svelte-1rbx9dc"&&($a.innerHTML=is),wt=i(e),T(ga.$$.fragment,e),Ut=i(e),ka=d(e,"P",{"data-svelte-h":!0}),J(ka)!=="svelte-fn5vfl"&&(ka.textContent=rs),ht=i(e),va=d(e,"P",{"data-svelte-h":!0}),J(va)!=="svelte-6h3yam"&&(va.textContent=ps),Ct=i(e),T(_a.$$.fragment,e),It=i(e),xa=d(e,"P",{"data-svelte-h":!0}),J(xa)!=="svelte-cuzj35"&&(xa.innerHTML=cs),$t=i(e),Ul.l(e),pt=i(e),T(Za.$$.fragment,e),gt=i(e),Aa=d(e,"P",{"data-svelte-h":!0}),J(Aa)!=="svelte-j66ch7"&&(Aa.innerHTML=us),kt=i(e),Wa=d(e,"P",{"data-svelte-h":!0}),J(Wa)!=="svelte-d3lg7x"&&(Wa.innerHTML=os),vt=i(e),Cl.l(e),ct=i(e),Ba=d(e,"P",{"data-svelte-h":!0}),J(Ba)!=="svelte-1rla9yt"&&(Ba.textContent=Ms),_t=i(e),T(Ga.$$.fragment,e),xt=i(e),T(Va.$$.fragment,e),Zt=i(e),za=d(e,"P",{"data-svelte-h":!0}),J(za)!=="svelte-9q6tb7"&&(za.textContent=ms),At=i(e),T(Ra.$$.fragment,e),Wt=i(e),T(Ya.$$.fragment,e),Bt=i(e),$l.l(e),ut=i(e),q&&q.l(e),ot=i(e),T(Qa.$$.fragment,e),Gt=i(e),kl.l(e),Mt=i(e),T(Xa.$$.fragment,e),Vt=i(e),Ea=d(e,"P",{"data-svelte-h":!0}),J(Ea)!=="svelte-318yqu"&&(Ea.textContent=ds),zt=i(e),T(Ha.$$.fragment,e),Rt=i(e),T(Na.$$.fragment,e),Yt=i(e),Fa=d(e,"P",{"data-svelte-h":!0}),J(Fa)!=="svelte-1nxi4jg"&&(Fa.textContent=Js),Qt=i(e),T(Sa.$$.fragment,e),Xt=i(e),Da=d(e,"P",{"data-svelte-h":!0}),J(Da)!=="svelte-o0ltnx"&&(Da.textContent=ys),Et=i(e),T(La.$$.fragment,e),Ht=i(e),_l.l(e),mt=i(e),P&&P.l(e),dt=i(e),T(qa.$$.fragment,e),Nt=i(e),Pa=d(e,"P",{"data-svelte-h":!0}),J(Pa)!=="svelte-1ly6cn5"&&(Pa.innerHTML=Ts),Ft=i(e),T(Oa.$$.fragment,e),St=i(e),T(Ka.$$.fragment,e),Dt=i(e),et=d(e,"P",{"data-svelte-h":!0}),J(et)!=="svelte-1da8ckl"&&(et.textContent=fs),Lt=i(e),T(lt.$$.fragment,e),qt=i(e),Tt=d(e,"P",{}),ss(Tt).forEach(a),this.h()},h(){xl(r,"name","hf:doc:metadata"),xl(r,"content",yn),Ys(B.src,Ae="https://course-demos-bert-finetuned-ner.hf.space")||xl(B,"src",Ae),xl(B,"frameborder","0"),xl(B,"height","350"),xl(B,"title","Gradio app"),xl(B,"class","block dark:hidden container p-0 flex-grow space-iframe"),xl(B,"allow","accelerometer; ambient-light-sensor; autoplay; battery; camera; document-domain; encrypted-media; fullscreen; geolocation; gyroscope; layout-animations; legacy-image-formats; magnetometer; microphone; midi; oversized-images; payment; picture-in-picture; publickey-credentials-get; sync-xhr; usb; vr ; wake-lock; xr-spatial-tracking"),xl(B,"sandbox","allow-forms allow-modals allow-popups allow-popups-to-escape-sandbox allow-same-origin allow-scripts allow-downloads"),xl(L,"class","flex justify-center"),xl(L,"href","/huggingface-course/bert-finetuned-ner")},m(e,s){Ns(document.head,r),t(e,w,s),t(e,p,s),t(e,U,s),f(_,e,s),t(e,h,s),f(g,e,s),t(e,A,s),at[j].m(e,s),t(e,Z,s),t(e,I,s),t(e,k,s),t(e,G,s),t(e,Zl,s),f(ie,e,s),t(e,Y,s),t(e,re,s),t(e,Ie,s),t(e,B,s),t(e,Q,s),t(e,L,s),t(e,Al,s),t(e,pe,s),t(e,$e,s),f(V,e,s),t(e,Wl,s),t(e,ce,s),t(e,Bl,s),f(te,e,s),t(e,X,s),f(ue,e,s),t(e,E,s),t(e,ve,s),t(e,H,s),f(oe,e,s),t(e,N,s),t(e,_e,s),t(e,F,s),f(Je,e,s),t(e,Me,s),f(se,e,s),t(e,ge,s),t(e,z,s),t(e,me,s),t(e,ne,s),t(e,S,s),f(xe,e,s),t(e,ke,s),f(R,e,s),t(e,Ve,s),t(e,D,s),t(e,$,s),f(ye,e,s),t(e,Ol,s),f(Te,e,s),t(e,ua,s),t(e,ze,s),t(e,oa,s),f(Re,e,s),t(e,Ye,s),f(Qe,e,s),t(e,Xe,s),t(e,zl,s),t(e,Ee,s),f(He,e,s),t(e,Ne,s),f(Rl,e,s),t(e,Kl,s),t(e,fe,s),t(e,Fe,s),t(e,Yl,s),t(e,Se,s),t(e,De,s),t(e,Ja,s),f(Le,e,s),t(e,qe,s),f(Pe,e,s),t(e,Oe,s),t(e,Xl,s),t(e,Ke,s),f(el,e,s),t(e,ll,s),t(e,al,s),t(e,Ta,s),f(Ze,e,s),t(e,tl,s),f(sl,e,s),t(e,nl,s),f(Hl,e,s),t(e,ea,s),t(e,be,s),t(e,il,s),t(e,rl,s),t(e,ba,s),f(pl,e,s),t(e,cl,s),t(e,ul,s),t(e,ja,s),f(ol,e,s),t(e,Ml,s),f(ml,e,s),t(e,dl,s),t(e,Sl,s),t(e,Jl,s),f(yl,e,s),t(e,Tl,s),f(Dl,e,s),t(e,la,s),t(e,je,s),t(e,aa,s),t(e,we,s),t(e,ta,s),f(Ue,e,s),t(e,sa,s),f(he,e,s),t(e,Ua,s),t(e,fl,s),t(e,na,s),f(Ce,e,s),t(e,ha,s),t(e,bl,s),t(e,Ca,s),f(jl,e,s),t(e,l,s),f(u,e,s),t(e,ft,s),t(e,Ia,s),t(e,bt,s),f(ia,e,s),t(e,jt,s),t(e,$a,s),t(e,wt,s),f(ga,e,s),t(e,Ut,s),t(e,ka,s),t(e,ht,s),t(e,va,s),t(e,Ct,s),f(_a,e,s),t(e,It,s),t(e,xa,s),t(e,$t,s),tt[wl].m(e,s),t(e,pt,s),f(Za,e,s),t(e,gt,s),t(e,Aa,s),t(e,kt,s),t(e,Wa,s),t(e,vt,s),st[hl].m(e,s),t(e,ct,s),t(e,Ba,s),t(e,_t,s),f(Ga,e,s),t(e,xt,s),f(Va,e,s),t(e,Zt,s),t(e,za,s),t(e,At,s),f(Ra,e,s),t(e,Wt,s),f(Ya,e,s),t(e,Bt,s),nt[Il].m(e,s),t(e,ut,s),q&&q.m(e,s),t(e,ot,s),f(Qa,e,s),t(e,Gt,s),it[gl].m(e,s),t(e,Mt,s),f(Xa,e,s),t(e,Vt,s),t(e,Ea,s),t(e,zt,s),f(Ha,e,s),t(e,Rt,s),f(Na,e,s),t(e,Yt,s),t(e,Fa,s),t(e,Qt,s),f(Sa,e,s),t(e,Xt,s),t(e,Da,s),t(e,Et,s),f(La,e,s),t(e,Ht,s),rt[vl].m(e,s),t(e,mt,s),P&&P.m(e,s),t(e,dt,s),f(qa,e,s),t(e,Nt,s),t(e,Pa,s),t(e,Ft,s),f(Oa,e,s),t(e,St,s),f(Ka,e,s),t(e,Dt,s),t(e,et,s),t(e,Lt,s),f(lt,e,s),t(e,qt,s),t(e,Tt,s),Pt=!0},p(e,[s]){const xs={};s&1&&(xs.fw=e[0]),_.$set(xs);let Ot=j;j=js(e),j!==Ot&&(pa(),M(at[Ot],1,1,()=>{at[Ot]=null}),ra(),x=at[j],x||(x=at[j]=bs[j](e),x.c()),o(x,1),x.m(Z.parentNode,Z));const Zs={};s&2&&(Zs.$$scope={dirty:s,ctx:e}),te.$set(Zs);const As={};s&2&&(As.$$scope={dirty:s,ctx:e}),Ze.$set(As);const Ws={};s&2&&(Ws.$$scope={dirty:s,ctx:e}),ia.$set(Ws);let Kt=wl;wl=Us(e),wl!==Kt&&(pa(),M(tt[Kt],1,1,()=>{tt[Kt]=null}),ra(),Ul=tt[wl],Ul||(Ul=tt[wl]=ws[wl](e),Ul.c()),o(Ul,1),Ul.m(pt.parentNode,pt));let es=hl;hl=Cs(e),hl!==es&&(pa(),M(st[es],1,1,()=>{st[es]=null}),ra(),Cl=st[hl],Cl||(Cl=st[hl]=hs[hl](e),Cl.c()),o(Cl,1),Cl.m(ct.parentNode,ct));let ls=Il;Il=$s(e),Il!==ls&&(pa(),M(nt[ls],1,1,()=>{nt[ls]=null}),ra(),$l=nt[Il],$l||($l=nt[Il]=Is[Il](e),$l.c()),o($l,1),$l.m(ut.parentNode,ut)),e[0]==="tf"?q?s&1&&o(q,1):(q=Gs(e),q.c(),o(q,1),q.m(ot.parentNode,ot)):q&&(pa(),M(q,1,1,()=>{q=null}),ra());let as=gl;gl=ks(e),gl!==as&&(pa(),M(it[as],1,1,()=>{it[as]=null}),ra(),kl=it[gl],kl||(kl=it[gl]=gs[gl](e),kl.c()),o(kl,1),kl.m(Mt.parentNode,Mt));let ts=vl;vl=_s(e),vl!==ts&&(pa(),M(rt[ts],1,1,()=>{rt[ts]=null}),ra(),_l=rt[vl],_l||(_l=rt[vl]=vs[vl](e),_l.c()),o(_l,1),_l.m(mt.parentNode,mt)),e[0]==="pt"?P?s&1&&o(P,1):(P=Vs(e),P.c(),o(P,1),P.m(dt.parentNode,dt)):P&&(pa(),M(P,1,1,()=>{P=null}),ra())},i(e){Pt||(o(_.$$.fragment,e),o(g.$$.fragment,e),o(x),o(ie.$$.fragment,e),o(V.$$.fragment,e),o(te.$$.fragment,e),o(ue.$$.fragment,e),o(oe.$$.fragment,e),o(Je.$$.fragment,e),o(se.$$.fragment,e),o(xe.$$.fragment,e),o(R.$$.fragment,e),o(ye.$$.fragment,e),o(Te.$$.fragment,e),o(Re.$$.fragment,e),o(Qe.$$.fragment,e),o(He.$$.fragment,e),o(Rl.$$.fragment,e),o(Le.$$.fragment,e),o(Pe.$$.fragment,e),o(el.$$.fragment,e),o(Ze.$$.fragment,e),o(sl.$$.fragment,e),o(Hl.$$.fragment,e),o(pl.$$.fragment,e),o(ol.$$.fragment,e),o(ml.$$.fragment,e),o(yl.$$.fragment,e),o(Dl.$$.fragment,e),o(Ue.$$.fragment,e),o(he.$$.fragment,e),o(Ce.$$.fragment,e),o(jl.$$.fragment,e),o(u.$$.fragment,e),o(ia.$$.fragment,e),o(ga.$$.fragment,e),o(_a.$$.fragment,e),o(Ul),o(Za.$$.fragment,e),o(Cl),o(Ga.$$.fragment,e),o(Va.$$.fragment,e),o(Ra.$$.fragment,e),o(Ya.$$.fragment,e),o($l),o(q),o(Qa.$$.fragment,e),o(kl),o(Xa.$$.fragment,e),o(Ha.$$.fragment,e),o(Na.$$.fragment,e),o(Sa.$$.fragment,e),o(La.$$.fragment,e),o(_l),o(P),o(qa.$$.fragment,e),o(Oa.$$.fragment,e),o(Ka.$$.fragment,e),o(lt.$$.fragment,e),Pt=!0)},o(e){M(_.$$.fragment,e),M(g.$$.fragment,e),M(x),M(ie.$$.fragment,e),M(V.$$.fragment,e),M(te.$$.fragment,e),M(ue.$$.fragment,e),M(oe.$$.fragment,e),M(Je.$$.fragment,e),M(se.$$.fragment,e),M(xe.$$.fragment,e),M(R.$$.fragment,e),M(ye.$$.fragment,e),M(Te.$$.fragment,e),M(Re.$$.fragment,e),M(Qe.$$.fragment,e),M(He.$$.fragment,e),M(Rl.$$.fragment,e),M(Le.$$.fragment,e),M(Pe.$$.fragment,e),M(el.$$.fragment,e),M(Ze.$$.fragment,e),M(sl.$$.fragment,e),M(Hl.$$.fragment,e),M(pl.$$.fragment,e),M(ol.$$.fragment,e),M(ml.$$.fragment,e),M(yl.$$.fragment,e),M(Dl.$$.fragment,e),M(Ue.$$.fragment,e),M(he.$$.fragment,e),M(Ce.$$.fragment,e),M(jl.$$.fragment,e),M(u.$$.fragment,e),M(ia.$$.fragment,e),M(ga.$$.fragment,e),M(_a.$$.fragment,e),M(Ul),M(Za.$$.fragment,e),M(Cl),M(Ga.$$.fragment,e),M(Va.$$.fragment,e),M(Ra.$$.fragment,e),M(Ya.$$.fragment,e),M($l),M(q),M(Qa.$$.fragment,e),M(kl),M(Xa.$$.fragment,e),M(Ha.$$.fragment,e),M(Na.$$.fragment,e),M(Sa.$$.fragment,e),M(La.$$.fragment,e),M(_l),M(P),M(qa.$$.fragment,e),M(Oa.$$.fragment,e),M(Ka.$$.fragment,e),M(lt.$$.fragment,e),Pt=!1},d(e){e&&(a(w),a(p),a(U),a(h),a(A),a(Z),a(I),a(k),a(G),a(Zl),a(Y),a(re),a(Ie),a(B),a(Q),a(L),a(Al),a(pe),a($e),a(Wl),a(ce),a(Bl),a(X),a(E),a(ve),a(H),a(N),a(_e),a(F),a(Me),a(ge),a(z),a(me),a(ne),a(S),a(ke),a(Ve),a(D),a($),a(Ol),a(ua),a(ze),a(oa),a(Ye),a(Xe),a(zl),a(Ee),a(Ne),a(Kl),a(fe),a(Fe),a(Yl),a(Se),a(De),a(Ja),a(qe),a(Oe),a(Xl),a(Ke),a(ll),a(al),a(Ta),a(tl),a(nl),a(ea),a(be),a(il),a(rl),a(ba),a(cl),a(ul),a(ja),a(Ml),a(dl),a(Sl),a(Jl),a(Tl),a(la),a(je),a(aa),a(we),a(ta),a(sa),a(Ua),a(fl),a(na),a(ha),a(bl),a(Ca),a(l),a(ft),a(Ia),a(bt),a(jt),a($a),a(wt),a(Ut),a(ka),a(ht),a(va),a(Ct),a(It),a(xa),a($t),a(pt),a(gt),a(Aa),a(kt),a(Wa),a(vt),a(ct),a(Ba),a(_t),a(xt),a(Zt),a(za),a(At),a(Wt),a(Bt),a(ut),a(ot),a(Gt),a(Mt),a(Vt),a(Ea),a(zt),a(Rt),a(Yt),a(Fa),a(Qt),a(Xt),a(Da),a(Et),a(Ht),a(mt),a(dt),a(Nt),a(Pa),a(Ft),a(St),a(Dt),a(et),a(Lt),a(qt),a(Tt)),a(r),b(_,e),b(g,e),at[j].d(e),b(ie,e),b(V,e),b(te,e),b(ue,e),b(oe,e),b(Je,e),b(se,e),b(xe,e),b(R,e),b(ye,e),b(Te,e),b(Re,e),b(Qe,e),b(He,e),b(Rl,e),b(Le,e),b(Pe,e),b(el,e),b(Ze,e),b(sl,e),b(Hl,e),b(pl,e),b(ol,e),b(ml,e),b(yl,e),b(Dl,e),b(Ue,e),b(he,e),b(Ce,e),b(jl,e),b(u,e),b(ia,e),b(ga,e),b(_a,e),tt[wl].d(e),b(Za,e),st[hl].d(e),b(Ga,e),b(Va,e),b(Ra,e),b(Ya,e),nt[Il].d(e),q&&q.d(e),b(Qa,e),it[gl].d(e),b(Xa,e),b(Ha,e),b(Na,e),b(Sa,e),b(La,e),rt[vl].d(e),P&&P.d(e),b(qa,e),b(Oa,e),b(Ka,e),b(lt,e)}}}const yn='{"title":"Clasificarea tokenilor","local":"token-classification","sections":[{"title":"Pregătirea datelor","local":"preparing-the-data","sections":[{"title":"Datasetul CoNLL-2003","local":"the-conll-2003-dataset","sections":[],"depth":3},{"title":"Procesarea datelor","local":"processing-the-data","sections":[],"depth":3}],"depth":2},{"title":"Fine-tuningul modelului cu Trainer API","local":"fine-tuning-the-model-with-the-trainer-api","sections":[],"depth":2},{"title":"Fine-tuningul modelului cu Keras","local":"fine-tuning-the-model-with-keras","sections":[{"title":"Data collation","local":"data-collation","sections":[],"depth":3},{"title":"Definirea modelului","local":"defining-the-model","sections":[],"depth":3},{"title":"Fine-tuningul modelului","local":"fine-tuning-the-model","sections":[],"depth":3},{"title":"Metrici","local":"metrics","sections":[],"depth":3},{"title":"Definirea modelului","local":"defining-the-model","sections":[],"depth":3},{"title":"Fine-tuningul modelului","local":"fine-tuning-the-model","sections":[],"depth":3}],"depth":2},{"title":"Un training loop personalizat","local":"a-custom-training-loop","sections":[{"title":"Pregătiți totul pentru antrenare","local":"preparing-everything-for-training","sections":[],"depth":3},{"title":"Loopul de antrenare","local":"training-loop","sections":[],"depth":3}],"depth":2},{"title":"Utilizarea model fine-tuned","local":"using-the-fine-tuned-model","sections":[],"depth":2}],"depth":1}';function Tn(v,r,w){let p="pt";return Qs(()=>{const U=new URLSearchParams(window.location.search);w(0,p=U.get("fw")||"pt")}),[p]}class $n extends Xs{constructor(r){super(),Es(this,r,Tn,Jn,Rs,{})}}export{$n as component};