course/pr_1069/rum/_app/immutable/nodes/58.8a2e68dc.js

import{s as It,o as jt,n as Pe}from"../chunks/scheduler.37c15a92.js";import{S as Ct,i as $t,g as u,s,r as o,A as gt,h as r,f as a,c as i,j as Ut,u as p,x as J,k as wt,y as ht,a as l,v as d,d as m,t as M,w as f}from"../chunks/index.2bf4358c.js";import{T as We}from"../chunks/Tip.363c041f.js";import{Y as bt}from"../chunks/Youtube.1e50a667.js";import{C as y}from"../chunks/CodeBlock.4e987730.js";import{C as _t}from"../chunks/CourseFloatingBanner.6add7356.js";import{H as Ve,E as qt}from"../chunks/getInferenceSnippets.24b50994.js";function Qt(w){let n,T="✎ Dacă vă întrebați de ce există un caracter <code>!</code> în comenzile shell de mai sus, aceasta este pentru că le rulăm într-un notebook Jupyter. Pur și simplu eliminați prefixul dacă doriți să descărcați și să dezarhivați datasetul într-un terminal.";return{c(){n=u("p"),n.innerHTML=T},l(c){n=r(c,"P",{"data-svelte-h":!0}),J(n)!=="svelte-401xui"&&(n.innerHTML=T)},m(c,U){l(c,n,U)},p:Pe,d(c){c&&a(n)}}}function At(w){let n,T='Argumentul <code>data_files</code> al funcției <code>load_dataset()</code> este destul de flexibil și poate fi fie o singură cale de fișier, o listă de căi de fișiere, sau un dicționar care mapează numele spliturilor la căile fișierelor. De asemenea, puteți folosi glob pentru fișiere care se potrivesc unui model specificat conform regulilor folosite de shell-ul Unix (de exemplu, puteți face glob pentru toate fișierele JSON dintr-un director ca un singur split prin setarea <code>data_files=&quot;*.json&quot;</code>). Consultați <a href="https://huggingface.co/docs/datasets/loading#local-and-remote-files" rel="nofollow">documentația</a> 🤗 Datasets pentru mai multe detalii.';return{c(){n=u("p"),n.innerHTML=T},l(c){n=r(c,"P",{"data-svelte-h":!0}),J(n)!=="svelte-9otge6"&&(n.innerHTML=T)},m(c,U){l(c,n,U)},p:Pe,d(c){c&&a(n)}}}function vt(w){let n,T='✏️ <strong>Încercați!</strong> Alegeți un alt dataset găzduit pe GitHub sau <a href="https://archive.ics.uci.edu/ml/index.php" rel="nofollow">UCI Machine Learning Repository</a> și încercați să îl încărcați atât local cât și remote folosind tehnicile introduse mai sus. Pentru puncte bonus, încercați să încărcați un dataset care este stocat în format CSV sau text (consultați <a href="https://huggingface.co/docs/datasets/loading#local-and-remote-files" rel="nofollow">documentația</a> pentru mai multe informații despre aceste formate).';return{c(){n=u("p"),n.innerHTML=T},l(c){n=r(c,"P",{"data-svelte-h":!0}),J(n)!=="svelte-1hqket7"&&(n.innerHTML=T)},m(c,U){l(c,n,U)},p:Pe,d(c){c&&a(n)}}}function Rt(w){let n,T,c,U,$,re,g,ce,h,Oe='Știți cum să folosiți <a href="https://huggingface.co/datasets" rel="nofollow">Hugging Face Hub</a> pentru a descărca dataseturi, dar vă veți găsi adesea lucrând cu date care sunt stocate fie pe laptopul dumneavoastră, fie pe un server remote. În această secțiune vă vom arăta cum poate fi utilizat 🤗 Datasets pentru a încărca dataseturi care nu sunt disponibile pe Hugging Face Hub.',oe,b,pe,_,de,q,Ke="🤗 Datasets oferă scripturi de încărcare pentru a gestiona încărcarea dataseturilor locale și remote. Suportă mai multe formate de date comune, cum ar fi:",me,Q,et='<thead><tr><th align="center">Data format</th> <th align="center">Loading script</th> <th align="center">Example</th></tr></thead> <tbody><tr><td align="center">CSV &amp; TSV</td> <td align="center"><code>csv</code></td> <td align="center"><code>load_dataset(&quot;csv&quot;, data_files=&quot;my_file.csv&quot;)</code></td></tr> <tr><td align="center">Text files</td> <td align="center"><code>text</code></td> <td align="center"><code>load_dataset(&quot;text&quot;, data_files=&quot;my_file.txt&quot;)</code></td></tr> <tr><td align="center">JSON &amp; JSON Lines</td> <td align="center"><code>json</code></td> <td align="center"><code>load_dataset(&quot;json&quot;, data_files=&quot;my_file.jsonl&quot;)</code></td></tr> <tr><td align="center">Pickled DataFrames</td> <td align="center"><code>pandas</code></td> <td align="center"><code>load_dataset(&quot;pandas&quot;, data_files=&quot;my_dataframe.pkl&quot;)</code></td></tr></tbody>',Me,A,tt="Așa cum se arată în tabel, pentru fiecare format de date trebuie doar să specificăm tipul scriptului de încărcare în funcția <code>load_dataset()</code>, alături de un argument <code>data_files</code> care specifică calea către unul sau mai multe fișiere. Să începem prin încărcarea unui dataset din fișiere locale; mai târziu vom vedea cum să facem același lucru cu fișiere remote.",fe,v,Je,R,at='Pentru acest exemplu vom folosi <a href="https://github.com/crux82/squad-it/" rel="nofollow">datasetul SQuAD-it</a>, care este un dataset la scară largă pentru întrebări și răspunsuri în italiană.',Te,x,lt="Seturile de antrenare și test sunt găzduite pe GitHub, deci le putem descărca cu o comandă simplă <code>wget</code>:",ye,z,Ue,X,st="Aceasta va descărca două fișiere comprimate numite <em>SQuAD_it-train.json.gz</em> și <em>SQuAD_it-test.json.gz</em>, pe care le putem decomprima cu comanda Linux <code>gzip</code>:",we,B,Ie,G,je,S,it="Putem vedea că fișierele comprimate au fost înlocuite cu <em>SQuAD_it-train.json</em> și <em>SQuAD_it-test.json</em>, și că datele sunt stocate în formatul JSON.",Ce,I,$e,Z,nt="Pentru a încărca un fișier JSON cu funcția <code>load_dataset()</code>, trebuie doar să știm dacă avem de-a face cu JSON obișnuit (similar cu un dicționar imbricat) sau JSON Lines (JSON separat pe linii). Ca multe dataseturi de întrebări și răspunsuri, SQuAD-it folosește formatul imbricat, cu tot textul stocat într-un câmp <code>data</code>. Aceasta înseamnă că putem încărca datasetul specificând argumentul <code>field</code> după cum urmează:",ge,D,he,N,ut="În mod implicit, încărcarea fișierelor locale creează un obiect <code>DatasetDict</code> cu un split <code>train</code>. Putem vedea acest lucru prin inspectarea obiectului <code>squad_it_dataset</code>:",be,k,_e,E,qe,F,rt="Aceasta ne arată numărul de rânduri și numele coloanelor asociate cu setul de antrenare. Putem vizualiza unul dintre exemple prin indexarea în splitul <code>train</code> după cum urmează:",Qe,H,Ae,L,ve,Y,ct="Excelent, am încărcat primul nostru dataset local! Dar în timp ce acest lucru a funcționat pentru setul de antrenare, ceea ce dorim cu adevărat este să includem atât spliturile <code>train</code> cât și <code>test</code> într-un singur obiect <code>DatasetDict</code> astfel încât să putem aplica funcțiile <code>Dataset.map()</code> pe ambele splituri deodată. Pentru a face acest lucru, putem furniza un dicționar argumentului <code>data_files</code> care mapează fiecare nume de split la un fișier asociat cu acel split:",Re,V,xe,W,ze,P,ot="Acesta este exact ceea ce am dorit. Acum, putem aplica diverse tehnici de preprocesare pentru a curăța datele, tokeniza recenziile și așa mai departe.",Xe,j,Be,O,pt="Scripturile de încărcare din 🤗 Datasets suportă de fapt decomprimarea automată a fișierelor de intrare, deci am fi putut să sărim peste folosirea <code>gzip</code> prin indicarea argumentului <code>data_files</code> direct către fișierele comprimate:",Ge,K,Se,ee,dt="Acest lucru poate fi util dacă nu doriți să decomprimați manual multe fișiere GZIP. Decomprimarea automată se aplică și altor formate comune precum ZIP și TAR, deci trebuie doar să pointați <code>data_files</code> către fișierele comprimate și sunteți gata!",Ze,te,mt="Acum că știți cum să încărcați fișiere locale pe laptopul sau desktop-ul dumneavoastră, să aruncăm o privire la încărcarea fișierelor remote.",De,ae,Ne,le,Mt="Dacă lucrați ca data scientist sau programator într-o companie, există o șansă bună ca dataseturile pe care doriți să le analizați să fie stocate pe un server remote. Din fericire, încărcarea fișierelor remote este la fel de simplă ca încărcarea celor locale! În loc să furnizați o cale către fișiere locale, pointați argumentul <code>data_files</code> al <code>load_dataset()</code> către unul sau mai multe URL-uri unde sunt stocate fișierele remote. De exemplu, pentru datasetul SQuAD-it găzduit pe GitHub, putem pur și simplu să pointăm <code>data_files</code> către URL-urile <em>SQuAD_it-*.json.gz</em> după cum urmează:",ke,se,Ee,ie,ft="Aceasta returnează același obiect <code>DatasetDict</code> obținut mai sus, dar ne economisește pasul de a descărca și decomprima manual fișierele <em>SQuAD_it-*.json.gz</em>. Aceasta încheie incursiunea noastră în diversele modalități de încărcare a dataseturilor care nu sunt găzduite pe Hugging Face Hub. Acum că avem un dataset cu care să ne jucăm, să explorăm diverse tehnici de manipulare a datelor!",Fe,C,He,ne,Le,ue,Ye;return $=new Ve({props:{title:"Ce fac dacă dataset-ul meu nu este pe Hub?",local:"what-if-my-dataset-isnt-on-the-hub",headingTag:"h1"}}),g=new _t({props:{chapter:5,classNames:"absolute z-10 right-0 top-0",notebooks:[{label:"Google Colab",value:"https://colab.research.google.com/github/huggingface/notebooks/blob/master/course/en/chapter5/section2.ipynb"},{label:"Aws Studio",value:"https://studiolab.sagemaker.aws/import/github/huggingface/notebooks/blob/master/course/en/chapter5/section2.ipynb"}]}}),b=new bt({props:{id:"HyQgpJTkRdE"}}),_=new Ve({props:{title:"Lucrând cu dataseturi locale și remote",local:"working-with-local-and-remote-datasets",headingTag:"h2"}}),v=new Ve({props:{title:"Încărcarea unui dataset local",local:"loading-a-local-dataset",headingTag:"h2"}}),z=new y({props:{code:"IXdnZXQlMjBodHRwcyUzQSUyRiUyRmdpdGh1Yi5jb20lMkZjcnV4ODIlMkZzcXVhZC1pdCUyRnJhdyUyRm1hc3RlciUyRlNRdUFEX2l0LXRyYWluLmpzb24uZ3olMEEhd2dldCUyMGh0dHBzJTNBJTJGJTJGZ2l0aHViLmNvbSUyRmNydXg4MiUyRnNxdWFkLWl0JTJGcmF3JTJGbWFzdGVyJTJGU1F1QURfaXQtdGVzdC5qc29uLmd6",highlighted:`!wget https://github.com/crux82/squad-it/raw/master/SQuAD_it-train.json.gz
!wget https://github.com/crux82/squad-it/raw/master/SQuAD_it-test.json.gz`,wrap:!1}}),B=new y({props:{code:"IWd6aXAlMjAtZGt2JTIwU1F1QURfaXQtKi5qc29uLmd6",highlighted:"!gzip -dkv SQuAD_it-*.json.gz",wrap:!1}}),G=new y({props:{code:"U1F1QURfaXQtdGVzdC5qc29uLmd6JTNBJTA5JTIwJTIwJTIwODcuNCUyNSUyMC0tJTIwcmVwbGFjZWQlMjB3aXRoJTIwU1F1QURfaXQtdGVzdC5qc29uJTBBU1F1QURfaXQtdHJhaW4uanNvbi5neiUzQSUwOSUyMCUyMCUyMDgyLjIlMjUlMjAtLSUyMHJlcGxhY2VkJTIwd2l0aCUyMFNRdUFEX2l0LXRyYWluLmpzb24=",highlighted:`SQuAD_it-test.json.gz:	   87.4% -- replaced with SQuAD_it-test.json
SQuAD_it-train.json.gz:	   82.2% -- replaced with SQuAD_it-train.json`,wrap:!1}}),I=new We({props:{$$slots:{default:[Qt]},$$scope:{ctx:w}}}),D=new y({props:{code:"ZnJvbSUyMGRhdGFzZXRzJTIwaW1wb3J0JTIwbG9hZF9kYXRhc2V0JTBBJTBBc3F1YWRfaXRfZGF0YXNldCUyMCUzRCUyMGxvYWRfZGF0YXNldCglMjJqc29uJTIyJTJDJTIwZGF0YV9maWxlcyUzRCUyMlNRdUFEX2l0LXRyYWluLmpzb24lMjIlMkMlMjBmaWVsZCUzRCUyMmRhdGElMjIp",highlighted:`<span class="hljs-keyword">from</span> datasets <span class="hljs-keyword">import</span> load_dataset

squad_it_dataset = load_dataset(<span class="hljs-string">&quot;json&quot;</span>, data_files=<span class="hljs-string">&quot;SQuAD_it-train.json&quot;</span>, field=<span class="hljs-string">&quot;data&quot;</span>)`,wrap:!1}}),k=new y({props:{code:"c3F1YWRfaXRfZGF0YXNldA==",highlighted:"squad_it_dataset",wrap:!1}}),E=new y({props:{code:"RGF0YXNldERpY3QoJTdCJTBBJTIwJTIwJTIwJTIwdHJhaW4lM0ElMjBEYXRhc2V0KCU3QiUwQSUyMCUyMCUyMCUyMCUyMCUyMCUyMCUyMGZlYXR1cmVzJTNBJTIwJTVCJ3RpdGxlJyUyQyUyMCdwYXJhZ3JhcGhzJyU1RCUyQyUwQSUyMCUyMCUyMCUyMCUyMCUyMCUyMCUyMG51bV9yb3dzJTNBJTIwNDQyJTBBJTIwJTIwJTIwJTIwJTdEKSUwQSU3RCk=",highlighted:`DatasetDict({
    train: Dataset({
        features: [<span class="hljs-string">&#x27;title&#x27;</span>, <span class="hljs-string">&#x27;paragraphs&#x27;</span>],
        num_rows: <span class="hljs-number">442</span>
    })
})`,wrap:!1}}),H=new y({props:{code:"c3F1YWRfaXRfZGF0YXNldCU1QiUyMnRyYWluJTIyJTVEJTVCMCU1RA==",highlighted:'squad_it_dataset[<span class="hljs-string">&quot;train&quot;</span>][<span class="hljs-number">0</span>]',wrap:!1}}),L=new y({props:{code:"JTdCJTBBJTIwJTIwJTIwJTIwJTIydGl0bGUlMjIlM0ElMjAlMjJUZXJyZW1vdG8lMjBkZWwlMjBTaWNodWFuJTIwZGVsJTIwMjAwOCUyMiUyQyUwQSUyMCUyMCUyMCUyMCUyMnBhcmFncmFwaHMlMjIlM0ElMjAlNUIlMEElMjAlMjAlMjAlMjAlMjAlMjAlMjAlMjAlN0IlMEElMjAlMjAlMjAlMjAlMjAlMjAlMjAlMjAlMjAlMjAlMjAlMjAlMjJjb250ZXh0JTIyJTNBJTIwJTIySWwlMjB0ZXJyZW1vdG8lMjBkZWwlMjBTaWNodWFuJTIwZGVsJTIwMjAwOCUyMG8lMjBpbCUyMHRlcnJlbW90by4uLiUyMiUyQyUwQSUyMCUyMCUyMCUyMCUyMCUyMCUyMCUyMCUyMCUyMCUyMCUyMCUyMnFhcyUyMiUzQSUyMCU1QiUwQSUyMCUyMCUyMCUyMCUyMCUyMCUyMCUyMCUyMCUyMCUyMCUyMCUyMCUyMCUyMCUyMCU3QiUwQSUyMCUyMCUyMCUyMCUyMCUyMCUyMCUyMCUyMCUyMCUyMCUyMCUyMCUyMCUyMCUyMCUyMCUyMCUyMCUyMCUyMmFuc3dlcnMlMjIlM0ElMjAlNUIlN0IlMjJhbnN3ZXJfc3RhcnQlMjIlM0ElMjAyOSUyQyUyMCUyMnRleHQlMjIlM0ElMjAlMjIyMDA4JTIyJTdEJTVEJTJDJTBBJTIwJTIwJTIwJTIwJTIwJTIwJTIwJTIwJTIwJTIwJTIwJTIwJTIwJTIwJTIwJTIwJTIwJTIwJTIwJTIwJTIyaWQlMjIlM0ElMjAlMjI1NmNkY2E3ODYyZDI5NTE0MDBmYTY4MjYlMjIlMkMlMEElMjAlMjAlMjAlMjAlMjAlMjAlMjAlMjAlMjAlMjAlMjAlMjAlMjAlMjAlMjAlMjAlMjAlMjAlMjAlMjAlMjJxdWVzdGlvbiUyMiUzQSUyMCUyMkluJTIwcXVhbGUlMjBhbm5vJTIwc2klMjAlQzMlQTglMjB2ZXJpZmljYXRvJTIwaWwlMjB0ZXJyZW1vdG8lMjBuZWwlMjBTaWNodWFuJTNGJTIyJTJDJTBBJTIwJTIwJTIwJTIwJTIwJTIwJTIwJTIwJTIwJTIwJTIwJTIwJTIwJTIwJTIwJTIwJTdEJTJDJTBBJTIwJTIwJTIwJTIwJTIwJTIwJTIwJTIwJTIwJTIwJTIwJTIwJTIwJTIwJTIwJTIwLi4uJTBBJTIwJTIwJTIwJTIwJTIwJTIwJTIwJTIwJTIwJTIwJTIwJTIwJTVEJTJDJTBBJTIwJTIwJTIwJTIwJTIwJTIwJTIwJTIwJTdEJTJDJTBBJTIwJTIwJTIwJTIwJTIwJTIwJTIwJTIwLi4uJTBBJTIwJTIwJTIwJTIwJTVEJTJDJTBBJTdE",highlighted:`{
    <span class="hljs-string">&quot;title&quot;</span>: <span class="hljs-string">&quot;Terremoto del Sichuan del 2008&quot;</span>,
    <span class="hljs-string">&quot;paragraphs&quot;</span>: [
        {
            <span class="hljs-string">&quot;context&quot;</span>: <span class="hljs-string">&quot;Il terremoto del Sichuan del 2008 o il terremoto...&quot;</span>,
            <span class="hljs-string">&quot;qas&quot;</span>: [
                {
                    <span class="hljs-string">&quot;answers&quot;</span>: [{<span class="hljs-string">&quot;answer_start&quot;</span>: <span class="hljs-number">29</span>, <span class="hljs-string">&quot;text&quot;</span>: <span class="hljs-string">&quot;2008&quot;</span>}],
                    <span class="hljs-string">&quot;id&quot;</span>: <span class="hljs-string">&quot;56cdca7862d2951400fa6826&quot;</span>,
                    <span class="hljs-string">&quot;question&quot;</span>: <span class="hljs-string">&quot;In quale anno si è verificato il terremoto nel Sichuan?&quot;</span>,
                },
                ...
            ],
        },
        ...
    ],
}`,wrap:!1}}),V=new y({props:{code:"ZGF0YV9maWxlcyUyMCUzRCUyMCU3QiUyMnRyYWluJTIyJTNBJTIwJTIyU1F1QURfaXQtdHJhaW4uanNvbiUyMiUyQyUyMCUyMnRlc3QlMjIlM0ElMjAlMjJTUXVBRF9pdC10ZXN0Lmpzb24lMjIlN0QlMEFzcXVhZF9pdF9kYXRhc2V0JTIwJTNEJTIwbG9hZF9kYXRhc2V0KCUyMmpzb24lMjIlMkMlMjBkYXRhX2ZpbGVzJTNEZGF0YV9maWxlcyUyQyUyMGZpZWxkJTNEJTIyZGF0YSUyMiklMEFzcXVhZF9pdF9kYXRhc2V0",highlighted:`data_files = {<span class="hljs-string">&quot;train&quot;</span>: <span class="hljs-string">&quot;SQuAD_it-train.json&quot;</span>, <span class="hljs-string">&quot;test&quot;</span>: <span class="hljs-string">&quot;SQuAD_it-test.json&quot;</span>}
squad_it_dataset = load_dataset(<span class="hljs-string">&quot;json&quot;</span>, data_files=data_files, field=<span class="hljs-string">&quot;data&quot;</span>)
squad_it_dataset`,wrap:!1}}),W=new y({props:{code:"RGF0YXNldERpY3QoJTdCJTBBJTIwJTIwJTIwJTIwdHJhaW4lM0ElMjBEYXRhc2V0KCU3QiUwQSUyMCUyMCUyMCUyMCUyMCUyMCUyMCUyMGZlYXR1cmVzJTNBJTIwJTVCJ3RpdGxlJyUyQyUyMCdwYXJhZ3JhcGhzJyU1RCUyQyUwQSUyMCUyMCUyMCUyMCUyMCUyMCUyMCUyMG51bV9yb3dzJTNBJTIwNDQyJTBBJTIwJTIwJTIwJTIwJTdEKSUwQSUyMCUyMCUyMCUyMHRlc3QlM0ElMjBEYXRhc2V0KCU3QiUwQSUyMCUyMCUyMCUyMCUyMCUyMCUyMCUyMGZlYXR1cmVzJTNBJTIwJTVCJ3RpdGxlJyUyQyUyMCdwYXJhZ3JhcGhzJyU1RCUyQyUwQSUyMCUyMCUyMCUyMCUyMCUyMCUyMCUyMG51bV9yb3dzJTNBJTIwNDglMEElMjAlMjAlMjAlMjAlN0QpJTBBJTdEKQ==",highlighted:`DatasetDict({
    train: Dataset({
        features: [<span class="hljs-string">&#x27;title&#x27;</span>, <span class="hljs-string">&#x27;paragraphs&#x27;</span>],
        num_rows: <span class="hljs-number">442</span>
    })
    test: Dataset({
        features: [<span class="hljs-string">&#x27;title&#x27;</span>, <span class="hljs-string">&#x27;paragraphs&#x27;</span>],
        num_rows: <span class="hljs-number">48</span>
    })
})`,wrap:!1}}),j=new We({props:{$$slots:{default:[At]},$$scope:{ctx:w}}}),K=new y({props:{code:"ZGF0YV9maWxlcyUyMCUzRCUyMCU3QiUyMnRyYWluJTIyJTNBJTIwJTIyU1F1QURfaXQtdHJhaW4uanNvbi5neiUyMiUyQyUyMCUyMnRlc3QlMjIlM0ElMjAlMjJTUXVBRF9pdC10ZXN0Lmpzb24uZ3olMjIlN0QlMEFzcXVhZF9pdF9kYXRhc2V0JTIwJTNEJTIwbG9hZF9kYXRhc2V0KCUyMmpzb24lMjIlMkMlMjBkYXRhX2ZpbGVzJTNEZGF0YV9maWxlcyUyQyUyMGZpZWxkJTNEJTIyZGF0YSUyMik=",highlighted:`data_files = {<span class="hljs-string">&quot;train&quot;</span>: <span class="hljs-string">&quot;SQuAD_it-train.json.gz&quot;</span>, <span class="hljs-string">&quot;test&quot;</span>: <span class="hljs-string">&quot;SQuAD_it-test.json.gz&quot;</span>}
squad_it_dataset = load_dataset(<span class="hljs-string">&quot;json&quot;</span>, data_files=data_files, field=<span class="hljs-string">&quot;data&quot;</span>)`,wrap:!1}}),ae=new Ve({props:{title:"Încărcarea unui dataset remote",local:"loading-a-remote-dataset",headingTag:"h2"}}),se=new y({props:{code:"dXJsJTIwJTNEJTIwJTIyaHR0cHMlM0ElMkYlMkZnaXRodWIuY29tJTJGY3J1eDgyJTJGc3F1YWQtaXQlMkZyYXclMkZtYXN0ZXIlMkYlMjIlMEFkYXRhX2ZpbGVzJTIwJTNEJTIwJTdCJTBBJTIwJTIwJTIwJTIwJTIydHJhaW4lMjIlM0ElMjB1cmwlMjAlMkIlMjAlMjJTUXVBRF9pdC10cmFpbi5qc29uLmd6JTIyJTJDJTBBJTIwJTIwJTIwJTIwJTIydGVzdCUyMiUzQSUyMHVybCUyMCUyQiUyMCUyMlNRdUFEX2l0LXRlc3QuanNvbi5neiUyMiUyQyUwQSU3RCUwQXNxdWFkX2l0X2RhdGFzZXQlMjAlM0QlMjBsb2FkX2RhdGFzZXQoJTIyanNvbiUyMiUyQyUyMGRhdGFfZmlsZXMlM0RkYXRhX2ZpbGVzJTJDJTIwZmllbGQlM0QlMjJkYXRhJTIyKQ==",highlighted:`url = <span class="hljs-string">&quot;https://github.com/crux82/squad-it/raw/master/&quot;</span>
data_files = {
    <span class="hljs-string">&quot;train&quot;</span>: url + <span class="hljs-string">&quot;SQuAD_it-train.json.gz&quot;</span>,
    <span class="hljs-string">&quot;test&quot;</span>: url + <span class="hljs-string">&quot;SQuAD_it-test.json.gz&quot;</span>,
}
squad_it_dataset = load_dataset(<span class="hljs-string">&quot;json&quot;</span>, data_files=data_files, field=<span class="hljs-string">&quot;data&quot;</span>)`,wrap:!1}}),C=new We({props:{$$slots:{default:[vt]},$$scope:{ctx:w}}}),ne=new qt({props:{source:"https://github.com/huggingface/course/blob/main/chapters/rum/chapter5/2.mdx"}}),{c(){n=u("meta"),T=s(),c=u("p"),U=s(),o($.$$.fragment),re=s(),o(g.$$.fragment),ce=s(),h=u("p"),h.innerHTML=Oe,oe=s(),o(b.$$.fragment),pe=s(),o(_.$$.fragment),de=s(),q=u("p"),q.textContent=Ke,me=s(),Q=u("table"),Q.innerHTML=et,Me=s(),A=u("p"),A.innerHTML=tt,fe=s(),o(v.$$.fragment),Je=s(),R=u("p"),R.innerHTML=at,Te=s(),x=u("p"),x.innerHTML=lt,ye=s(),o(z.$$.fragment),Ue=s(),X=u("p"),X.innerHTML=st,we=s(),o(B.$$.fragment),Ie=s(),o(G.$$.fragment),je=s(),S=u("p"),S.innerHTML=it,Ce=s(),o(I.$$.fragment),$e=s(),Z=u("p"),Z.innerHTML=nt,ge=s(),o(D.$$.fragment),he=s(),N=u("p"),N.innerHTML=ut,be=s(),o(k.$$.fragment),_e=s(),o(E.$$.fragment),qe=s(),F=u("p"),F.innerHTML=rt,Qe=s(),o(H.$$.fragment),Ae=s(),o(L.$$.fragment),ve=s(),Y=u("p"),Y.innerHTML=ct,Re=s(),o(V.$$.fragment),xe=s(),o(W.$$.fragment),ze=s(),P=u("p"),P.textContent=ot,Xe=s(),o(j.$$.fragment),Be=s(),O=u("p"),O.innerHTML=pt,Ge=s(),o(K.$$.fragment),Se=s(),ee=u("p"),ee.innerHTML=dt,Ze=s(),te=u("p"),te.textContent=mt,De=s(),o(ae.$$.fragment),Ne=s(),le=u("p"),le.innerHTML=Mt,ke=s(),o(se.$$.fragment),Ee=s(),ie=u("p"),ie.innerHTML=ft,Fe=s(),o(C.$$.fragment),He=s(),o(ne.$$.fragment),Le=s(),ue=u("p"),this.h()},l(e){const t=gt("svelte-u9bgzb",document.head);n=r(t,"META",{name:!0,content:!0}),t.forEach(a),T=i(e),c=r(e,"P",{}),Ut(c).forEach(a),U=i(e),p($.$$.fragment,e),re=i(e),p(g.$$.fragment,e),ce=i(e),h=r(e,"P",{"data-svelte-h":!0}),J(h)!=="svelte-f7j29s"&&(h.innerHTML=Oe),oe=i(e),p(b.$$.fragment,e),pe=i(e),p(_.$$.fragment,e),de=i(e),q=r(e,"P",{"data-svelte-h":!0}),J(q)!=="svelte-ct0s01"&&(q.textContent=Ke),me=i(e),Q=r(e,"TABLE",{"data-svelte-h":!0}),J(Q)!=="svelte-19mvbg5"&&(Q.innerHTML=et),Me=i(e),A=r(e,"P",{"data-svelte-h":!0}),J(A)!=="svelte-zzz8xh"&&(A.innerHTML=tt),fe=i(e),p(v.$$.fragment,e),Je=i(e),R=r(e,"P",{"data-svelte-h":!0}),J(R)!=="svelte-1qma7rp"&&(R.innerHTML=at),Te=i(e),x=r(e,"P",{"data-svelte-h":!0}),J(x)!=="svelte-1ln4coo"&&(x.innerHTML=lt),ye=i(e),p(z.$$.fragment,e),Ue=i(e),X=r(e,"P",{"data-svelte-h":!0}),J(X)!=="svelte-1sb1luf"&&(X.innerHTML=st),we=i(e),p(B.$$.fragment,e),Ie=i(e),p(G.$$.fragment,e),je=i(e),S=r(e,"P",{"data-svelte-h":!0}),J(S)!=="svelte-1kneawa"&&(S.innerHTML=it),Ce=i(e),p(I.$$.fragment,e),$e=i(e),Z=r(e,"P",{"data-svelte-h":!0}),J(Z)!=="svelte-1ob0qeb"&&(Z.innerHTML=nt),ge=i(e),p(D.$$.fragment,e),he=i(e),N=r(e,"P",{"data-svelte-h":!0}),J(N)!=="svelte-1sy0xym"&&(N.innerHTML=ut),be=i(e),p(k.$$.fragment,e),_e=i(e),p(E.$$.fragment,e),qe=i(e),F=r(e,"P",{"data-svelte-h":!0}),J(F)!=="svelte-1a2594y"&&(F.innerHTML=rt),Qe=i(e),p(H.$$.fragment,e),Ae=i(e),p(L.$$.fragment,e),ve=i(e),Y=r(e,"P",{"data-svelte-h":!0}),J(Y)!=="svelte-1axlpux"&&(Y.innerHTML=ct),Re=i(e),p(V.$$.fragment,e),xe=i(e),p(W.$$.fragment,e),ze=i(e),P=r(e,"P",{"data-svelte-h":!0}),J(P)!=="svelte-127gck5"&&(P.textContent=ot),Xe=i(e),p(j.$$.fragment,e),Be=i(e),O=r(e,"P",{"data-svelte-h":!0}),J(O)!=="svelte-4rymuu"&&(O.innerHTML=pt),Ge=i(e),p(K.$$.fragment,e),Se=i(e),ee=r(e,"P",{"data-svelte-h":!0}),J(ee)!=="svelte-p9ezl2"&&(ee.innerHTML=dt),Ze=i(e),te=r(e,"P",{"data-svelte-h":!0}),J(te)!=="svelte-14qbgil"&&(te.textContent=mt),De=i(e),p(ae.$$.fragment,e),Ne=i(e),le=r(e,"P",{"data-svelte-h":!0}),J(le)!=="svelte-1n3767y"&&(le.innerHTML=Mt),ke=i(e),p(se.$$.fragment,e),Ee=i(e),ie=r(e,"P",{"data-svelte-h":!0}),J(ie)!=="svelte-v2qyj2"&&(ie.innerHTML=ft),Fe=i(e),p(C.$$.fragment,e),He=i(e),p(ne.$$.fragment,e),Le=i(e),ue=r(e,"P",{}),Ut(ue).forEach(a),this.h()},h(){wt(n,"name","hf:doc:metadata"),wt(n,"content",xt)},m(e,t){ht(document.head,n),l(e,T,t),l(e,c,t),l(e,U,t),d($,e,t),l(e,re,t),d(g,e,t),l(e,ce,t),l(e,h,t),l(e,oe,t),d(b,e,t),l(e,pe,t),d(_,e,t),l(e,de,t),l(e,q,t),l(e,me,t),l(e,Q,t),l(e,Me,t),l(e,A,t),l(e,fe,t),d(v,e,t),l(e,Je,t),l(e,R,t),l(e,Te,t),l(e,x,t),l(e,ye,t),d(z,e,t),l(e,Ue,t),l(e,X,t),l(e,we,t),d(B,e,t),l(e,Ie,t),d(G,e,t),l(e,je,t),l(e,S,t),l(e,Ce,t),d(I,e,t),l(e,$e,t),l(e,Z,t),l(e,ge,t),d(D,e,t),l(e,he,t),l(e,N,t),l(e,be,t),d(k,e,t),l(e,_e,t),d(E,e,t),l(e,qe,t),l(e,F,t),l(e,Qe,t),d(H,e,t),l(e,Ae,t),d(L,e,t),l(e,ve,t),l(e,Y,t),l(e,Re,t),d(V,e,t),l(e,xe,t),d(W,e,t),l(e,ze,t),l(e,P,t),l(e,Xe,t),d(j,e,t),l(e,Be,t),l(e,O,t),l(e,Ge,t),d(K,e,t),l(e,Se,t),l(e,ee,t),l(e,Ze,t),l(e,te,t),l(e,De,t),d(ae,e,t),l(e,Ne,t),l(e,le,t),l(e,ke,t),d(se,e,t),l(e,Ee,t),l(e,ie,t),l(e,Fe,t),d(C,e,t),l(e,He,t),d(ne,e,t),l(e,Le,t),l(e,ue,t),Ye=!0},p(e,[t]){const Jt={};t&2&&(Jt.$$scope={dirty:t,ctx:e}),I.$set(Jt);const Tt={};t&2&&(Tt.$$scope={dirty:t,ctx:e}),j.$set(Tt);const yt={};t&2&&(yt.$$scope={dirty:t,ctx:e}),C.$set(yt)},i(e){Ye||(m($.$$.fragment,e),m(g.$$.fragment,e),m(b.$$.fragment,e),m(_.$$.fragment,e),m(v.$$.fragment,e),m(z.$$.fragment,e),m(B.$$.fragment,e),m(G.$$.fragment,e),m(I.$$.fragment,e),m(D.$$.fragment,e),m(k.$$.fragment,e),m(E.$$.fragment,e),m(H.$$.fragment,e),m(L.$$.fragment,e),m(V.$$.fragment,e),m(W.$$.fragment,e),m(j.$$.fragment,e),m(K.$$.fragment,e),m(ae.$$.fragment,e),m(se.$$.fragment,e),m(C.$$.fragment,e),m(ne.$$.fragment,e),Ye=!0)},o(e){M($.$$.fragment,e),M(g.$$.fragment,e),M(b.$$.fragment,e),M(_.$$.fragment,e),M(v.$$.fragment,e),M(z.$$.fragment,e),M(B.$$.fragment,e),M(G.$$.fragment,e),M(I.$$.fragment,e),M(D.$$.fragment,e),M(k.$$.fragment,e),M(E.$$.fragment,e),M(H.$$.fragment,e),M(L.$$.fragment,e),M(V.$$.fragment,e),M(W.$$.fragment,e),M(j.$$.fragment,e),M(K.$$.fragment,e),M(ae.$$.fragment,e),M(se.$$.fragment,e),M(C.$$.fragment,e),M(ne.$$.fragment,e),Ye=!1},d(e){e&&(a(T),a(c),a(U),a(re),a(ce),a(h),a(oe),a(pe),a(de),a(q),a(me),a(Q),a(Me),a(A),a(fe),a(Je),a(R),a(Te),a(x),a(ye),a(Ue),a(X),a(we),a(Ie),a(je),a(S),a(Ce),a($e),a(Z),a(ge),a(he),a(N),a(be),a(_e),a(qe),a(F),a(Qe),a(Ae),a(ve),a(Y),a(Re),a(xe),a(ze),a(P),a(Xe),a(Be),a(O),a(Ge),a(Se),a(ee),a(Ze),a(te),a(De),a(Ne),a(le),a(ke),a(Ee),a(ie),a(Fe),a(He),a(Le),a(ue)),a(n),f($,e),f(g,e),f(b,e),f(_,e),f(v,e),f(z,e),f(B,e),f(G,e),f(I,e),f(D,e),f(k,e),f(E,e),f(H,e),f(L,e),f(V,e),f(W,e),f(j,e),f(K,e),f(ae,e),f(se,e),f(C,e),f(ne,e)}}}const xt='{"title":"Ce fac dacă dataset-ul meu nu este pe Hub?","local":"what-if-my-dataset-isnt-on-the-hub","sections":[{"title":"Lucrând cu dataseturi locale și remote","local":"working-with-local-and-remote-datasets","sections":[],"depth":2},{"title":"Încărcarea unui dataset local","local":"loading-a-local-dataset","sections":[],"depth":2},{"title":"Încărcarea unui dataset remote","local":"loading-a-remote-dataset","sections":[],"depth":2}],"depth":1}';function zt(w){return jt(()=>{new URLSearchParams(window.location.search).get("fw")}),[]}class kt extends Ct{constructor(n){super(),$t(this,n,zt,Rt,It,{})}}export{kt as component};