Buckets:

hf-doc-build
/

doc-dev

hf-doc-build/doc-dev / course /pr_1131 /ru /_app /immutable /nodes /35.fa477dcf.js

rtrm's picture

3 months ago

27.9 kB

	import{s as Ie,n as je,o as Ce}from"../chunks/scheduler.893fe8c9.js";import{S as $e,i as ge,e as i,s as a,c as J,h as he,a as M,d as l,b as n,f as fe,g as T,j as p,k as it,l as qe,m as s,n as d,t as o,o as u,p as y}from"../chunks/index.2d09ebb4.js";import{C as be,H as Pt,E as _e}from"../chunks/MermaidChart.svelte_svelte_type_style_lang.4a1fa8af.js";import{Y as Qe}from"../chunks/Youtube.b7012d06.js";import{C as U}from"../chunks/CodeBlock.0a196420.js";import{D as Re}from"../chunks/DocNotebookDropdown.c43deb26.js";function Ae(Ot){let w,Mt,at,pt,f,Jt,I,Tt,j,dt,C,Kt='Вы знаете, как использовать <a href="https://huggingface.co/datasets" rel="nofollow">Hugging Face Hub</a> для скачивания датасетов, но часто складывается ситуация, когда нужные данные не хранятся у вас локально или на удаленном сервере. В этом разделе мы посмотрим, как библиотека 🤗 Datasets может быть использована для загрузки датасетов, которые не хранятся на Hugging Face Hub.',ot,$,ut,g,yt,h,te="🤗 Datasets предоставляет скрипты для загрузки собственных датасетов. Библиотека поддерживает несколько распространенных форматов:",Ut,q,ee='<thead><tr><th align="center">Data format</th> <th align="center">Loading script</th> <th align="center">Example</th></tr></thead> <tbody><tr><td align="center">CSV & TSV</td> <td align="center"><code>csv</code></td> <td align="center"><code>load_dataset("csv", data_files="my_file.csv")</code></td></tr> <tr><td align="center">Text files</td> <td align="center"><code>text</code></td> <td align="center"><code>load_dataset("text", data_files="my_file.txt")</code></td></tr> <tr><td align="center">JSON & JSON Lines</td> <td align="center"><code>json</code></td> <td align="center"><code>load_dataset("json", data_files="my_file.jsonl")</code></td></tr> <tr><td align="center">Pickled DataFrames</td> <td align="center"><code>pandas</code></td> <td align="center"><code>load_dataset("pandas", data_files="my_dataframe.pkl")</code></td></tr></tbody>',wt,b,le="Как показано в таблице, для каждого формата мы должны задать тип скрипта загрузки в функции <code>load_dataset()</code> вместе с аргументом <code>data_files</code>, который указывает путь к одному или нескольким файлам. Начнем с загрузки набора данных из локальных файлов; позже мы увидим, как сделать то же самое с файлами, расположены на удаленном сервере.",rt,_,ct,Q,se='Для этого примера мы будем использовать датасет <a href="https://github.com/crux82/squad-it/" rel="nofollow">SQuAD-it dataset</a>. Это большой датасет для задачи question answering на итальянском языке.',mt,R,ae="Обучающая и тестовая часть расположены на GitHub, мы можем скачать файлы с помощью простой команды <code>wget</code>.",ft,A,It,x,ne="Выполнение этих команд запустит процесс скачивания файлов <em>SQuAD_it-train.json.gz</em> и <em>SQuAD_it-test.json.gz</em>, которые мы можем распаковать с помощью Linux команды <code>gzip</code>:",jt,X,Ct,B,$t,G,ie="После выполнения команд мы увидим, что архивы будут заменены файлами <em>SQuAD_it-train.json</em> и <em>SQuAD_it-text.json</em> в формате JSON.",gt,r,Me="<p>✎ Причина, по которой в примере выше перед командами расположен <code>!</code> заключается в том, что мы выполняем их в Jupyter notebook. Если вы хотите запустить эти команды в терминале – просто удалите <code>!</code>.</p>",ht,v,pe="Для загрузки JSON файла с помощью функции <code>load_dataset()</code> необходимо знать, с каким типом JSON-файла мы имеем дело: обычный JSON (похожий на вложенный словарь) или JSON, сформированный построчно. Как и многие датасеты для задач question-answering, SQuAD-it использует формат обычного JSON’а с текстом, хранящимся в поле <code>data</code>. Это означает, что мы можем подгрузить датасет, задав аргумент <code>field</code> следующим образом:",qt,k,bt,Z,Je="По умолчанию при загрузке локальных файлов создается объект <code>DatasetDict</code> с меткой <code>train</code>. Мы можем изучить объект <code>squad_it_dataset</code>:",_t,N,Qt,E,Rt,S,Te="Выше распечатана информация об объекте: число строк и колонки обучающего датасета. Мы можем посмотреть на один объект, проиндексировав его как <code>train</code> следующим образом:",At,z,xt,F,Xt,L,de="Отлично! Мы загрузили наш первый датасет! Но пока мы это сделали только для обучающей части данных, хотя нам нужны и <code>train</code>, и <code>test</code> в одном <code>DatasetDict</code>, чтобы мы могли применить функцию <code>Dataset.map()</code> на оба подмножества сразу. Чтобы сделать это, мы можем передать в словарь в <code>data_files</code>. Сделать это можно так:",Bt,D,Gt,H,vt,Y,oe="Это ровно то, чего мы хотели добиться! Далее мы можем применять различные приемы для препроцессинга данных: очистку, токенизацию и прочее.",kt,c,ue='<p>Аргумент <code>data_files</code> функции <code>load_dataset()</code> очень гибкий и может являться путем к файлу, списком путей файлов или словарем, в котором указаны названия сплитов (обучающего и тестового) и пути к соответствующим файлам. Вы также можете найти все подходящие файлы в директории с использованием маски по правилам Unix-консоли (т.е. указать путь к директории и указать <code>data_files=".json"</code> для конкретного сплита). Более подробно это изложено в <a href="https://huggingface.co/docs/datasets/loading#local-and-remote-files" rel="nofollow">документации</a> 🤗 Datasets.</p>',Zt,V,ye="Скрипты загрузки 🤗 Datasets также поддерживают автоматическую распаковку входных файлов, поэтому мы можем пропустить команду <code>gzip</code> просто передав в аргумент <code>data_files</code> пути к архивам:",Nt,W,Et,P,Ue="Это может быть полезно, если вы не хотите вручную разархивировать GZIP файлы. Автоматическое разархивирование также поддерживает распространенные форматы вроде ZIP и TAR, так что вы можете передавать и пути к таким файлам.",St,O,we="Теперь, когда вы знаете, как загрузить локально хранящиеся файлы, мы посмотрим, как подгрузить данные с удаленных серверов.",zt,K,Ft,tt,re="Если вы работаете data scientist или программистом в компании, скорее всего ваши данные хранятся на сервере. К счастью, загрузка файлов с удаленных машин настолько же простая, насколько и загрузка их со локальной машины! Вместо пути к локальным файлам мы передаем аргументу <code>data_files</code> один или несколько URL, указывающих на нужные файлы. К примеру, датасет SQuAD-it расположен на GitHub, мы можем просто указать ссылку на файлы следующим образом:",Lt,et,Dt,lt,ce=`Эта операция вернет такой же <code>DatasetDict</code>, какой мы получали ранее, но избавит нас от загрузки и разархивирования файлов <em>SQuAD_it-.json.gz</em> вручную.
	На этом мы завершаем наш обзор различных способов загрузки датасетов, которые не размещены на Hugging Face Hub. Теперь, когда у нас есть датасет, с которым можно поиграться, давайте погрузимся в различные методы обработки данных!`,Ht,m,me='<p>✏️ <strong>Попробуйте!</strong> Выберите другой датасет, расположенный на GitHub или в архиве <a href="https://archive.ics.uci.edu/ml/index.php" rel="nofollow">UCI Machine Learning Repository</a> и попробуйте загрузить его с локальной машины и с удаленного сервера. В качестве бонуса попробуйте загрузить датасет в формате CSV или обычного тектового файла (см. детали по поддерживаемым форматам в <a href="https://huggingface.co/docs/datasets/loading#local-and-remote-files" rel="nofollow">документации</a>).</p>',Yt,st,Vt,nt,Wt;return f=new be({props:{containerStyle:"float: right; margin-left: 10px; display: inline-flex; position: relative; z-index: 10;"}}),I=new Pt({props:{title:"Что делать, если моего датасета на нет на Hub?",local:"что-делать-если-моего-датасета-на-нет-на-hub",headingTag:"h1"}}),j=new Re({props:{classNames:"absolute z-10 right-0 top-0",options:[{label:"Google Colab",value:"https://colab.research.google.com/github/huggingface/notebooks/blob/master/course/chapter5/section2.ipynb"},{label:"Aws Studio",value:"https://studiolab.sagemaker.aws/import/github/huggingface/notebooks/blob/master/course/chapter5/section2.ipynb"}]}}),$=new Qe({props:{id:"HyQgpJTkRdE"}}),g=new Pt({props:{title:"Работа с локальными и удаленными датасетами",local:"работа-с-локальными-и-удаленными-датасетами",headingTag:"h2"}}),_=new Pt({props:{title:"Загрузка локального датасета",local:"загрузка-локального-датасета",headingTag:"h2"}}),A=new U({props:{code:"IXdnZXQlMjBodHRwcyUzQSUyRiUyRmdpdGh1Yi5jb20lMkZjcnV4ODIlMkZzcXVhZC1pdCUyRnJhdyUyRm1hc3RlciUyRlNRdUFEX2l0LXRyYWluLmpzb24uZ3olMEEhd2dldCUyMGh0dHBzJTNBJTJGJTJGZ2l0aHViLmNvbSUyRmNydXg4MiUyRnNxdWFkLWl0JTJGcmF3JTJGbWFzdGVyJTJGU1F1QURfaXQtdGVzdC5qc29uLmd6",highlighted:`!wget https://github.com/crux82/squad-it/raw/master/SQuAD_it-train.json.gz
	!wget https://github.com/crux82/squad-it/raw/master/SQuAD_it-test.json.gz`,wrap:!1}}),X=new U({props:{code:"IWd6aXAlMjAtZGt2JTIwU1F1QURfaXQtKi5qc29uLmd6",highlighted:"!gzip -dkv SQuAD_it-*.json.gz",wrap:!1}}),B=new U({props:{code:"U1F1QURfaXQtdGVzdC5qc29uLmd6JTNBJTA5JTIwJTIwJTIwODcuNCUyNSUyMC0tJTIwcmVwbGFjZWQlMjB3aXRoJTIwU1F1QURfaXQtdGVzdC5qc29uJTBBU1F1QURfaXQtdHJhaW4uanNvbi5neiUzQSUwOSUyMCUyMCUyMDgyLjIlMjUlMjAtLSUyMHJlcGxhY2VkJTIwd2l0aCUyMFNRdUFEX2l0LXRyYWluLmpzb24=",highlighted:`SQuAD_it-test.json.gz: 87.4% -- replaced with SQuAD_it-test.json
	SQuAD_it-train.json.gz: 82.2% -- replaced with SQuAD_it-train.json`,wrap:!1}}),k=new U({props:{code:"ZnJvbSUyMGRhdGFzZXRzJTIwaW1wb3J0JTIwbG9hZF9kYXRhc2V0JTBBJTBBc3F1YWRfaXRfZGF0YXNldCUyMCUzRCUyMGxvYWRfZGF0YXNldCglMjJqc29uJTIyJTJDJTIwZGF0YV9maWxlcyUzRCUyMlNRdUFEX2l0LXRyYWluLmpzb24lMjIlMkMlMjBmaWVsZCUzRCUyMmRhdGElMjIp",highlighted:`<span class="hljs-keyword">from</span> datasets <span class="hljs-keyword">import</span> load_dataset

	squad_it_dataset = load_dataset(<span class="hljs-string">"json"</span>, data_files=<span class="hljs-string">"SQuAD_it-train.json"</span>, field=<span class="hljs-string">"data"</span>)`,wrap:!1}}),N=new U({props:{code:"c3F1YWRfaXRfZGF0YXNldA==",highlighted:"squad_it_dataset",wrap:!1}}),E=new U({props:{code:"RGF0YXNldERpY3QoJTdCJTBBJTIwJTIwJTIwJTIwdHJhaW4lM0ElMjBEYXRhc2V0KCU3QiUwQSUyMCUyMCUyMCUyMCUyMCUyMCUyMCUyMGZlYXR1cmVzJTNBJTIwJTVCJ3RpdGxlJyUyQyUyMCdwYXJhZ3JhcGhzJyU1RCUyQyUwQSUyMCUyMCUyMCUyMCUyMCUyMCUyMCUyMG51bV9yb3dzJTNBJTIwNDQyJTBBJTIwJTIwJTIwJTIwJTdEKSUwQSU3RCk=",highlighted:`DatasetDict({
	train: Dataset({
	features: [<span class="hljs-string">'title'</span>, <span class="hljs-string">'paragraphs'</span>],
	num_rows: <span class="hljs-number">442</span>
	})
	})`,wrap:!1}}),z=new U({props:{code:"c3F1YWRfaXRfZGF0YXNldCU1QiUyMnRyYWluJTIyJTVEJTVCMCU1RA==",highlighted:'squad_it_dataset[<span class="hljs-string">"train"</span>][<span class="hljs-number">0</span>]',wrap:!1}}),F=new U({props:{code:"JTdCJTBBJTIwJTIwJTIwJTIwJTIydGl0bGUlMjIlM0ElMjAlMjJUZXJyZW1vdG8lMjBkZWwlMjBTaWNodWFuJTIwZGVsJTIwMjAwOCUyMiUyQyUwQSUyMCUyMCUyMCUyMCUyMnBhcmFncmFwaHMlMjIlM0ElMjAlNUIlMEElMjAlMjAlMjAlMjAlMjAlMjAlMjAlMjAlN0IlMEElMjAlMjAlMjAlMjAlMjAlMjAlMjAlMjAlMjAlMjAlMjAlMjAlMjJjb250ZXh0JTIyJTNBJTIwJTIySWwlMjB0ZXJyZW1vdG8lMjBkZWwlMjBTaWNodWFuJTIwZGVsJTIwMjAwOCUyMG8lMjBpbCUyMHRlcnJlbW90by4uLiUyMiUyQyUwQSUyMCUyMCUyMCUyMCUyMCUyMCUyMCUyMCUyMCUyMCUyMCUyMCUyMnFhcyUyMiUzQSUyMCU1QiUwQSUyMCUyMCUyMCUyMCUyMCUyMCUyMCUyMCUyMCUyMCUyMCUyMCUyMCUyMCUyMCUyMCU3QiUwQSUyMCUyMCUyMCUyMCUyMCUyMCUyMCUyMCUyMCUyMCUyMCUyMCUyMCUyMCUyMCUyMCUyMCUyMCUyMCUyMCUyMmFuc3dlcnMlMjIlM0ElMjAlNUIlN0IlMjJhbnN3ZXJfc3RhcnQlMjIlM0ElMjAyOSUyQyUyMCUyMnRleHQlMjIlM0ElMjAlMjIyMDA4JTIyJTdEJTVEJTJDJTBBJTIwJTIwJTIwJTIwJTIwJTIwJTIwJTIwJTIwJTIwJTIwJTIwJTIwJTIwJTIwJTIwJTIwJTIwJTIwJTIwJTIyaWQlMjIlM0ElMjAlMjI1NmNkY2E3ODYyZDI5NTE0MDBmYTY4MjYlMjIlMkMlMEElMjAlMjAlMjAlMjAlMjAlMjAlMjAlMjAlMjAlMjAlMjAlMjAlMjAlMjAlMjAlMjAlMjAlMjAlMjAlMjAlMjJxdWVzdGlvbiUyMiUzQSUyMCUyMkluJTIwcXVhbGUlMjBhbm5vJTIwc2klMjAlQzMlQTglMjB2ZXJpZmljYXRvJTIwaWwlMjB0ZXJyZW1vdG8lMjBuZWwlMjBTaWNodWFuJTNGJTIyJTJDJTBBJTIwJTIwJTIwJTIwJTIwJTIwJTIwJTIwJTIwJTIwJTIwJTIwJTIwJTIwJTIwJTIwJTdEJTJDJTBBJTIwJTIwJTIwJTIwJTIwJTIwJTIwJTIwJTIwJTIwJTIwJTIwJTIwJTIwJTIwJTIwLi4uJTBBJTIwJTIwJTIwJTIwJTIwJTIwJTIwJTIwJTIwJTIwJTIwJTIwJTVEJTJDJTBBJTIwJTIwJTIwJTIwJTIwJTIwJTIwJTIwJTdEJTJDJTBBJTIwJTIwJTIwJTIwJTIwJTIwJTIwJTIwLi4uJTBBJTIwJTIwJTIwJTIwJTVEJTJDJTBBJTdE",highlighted:`{
	<span class="hljs-string">"title"</span>: <span class="hljs-string">"Terremoto del Sichuan del 2008"</span>,
	<span class="hljs-string">"paragraphs"</span>: [
	{
	<span class="hljs-string">"context"</span>: <span class="hljs-string">"Il terremoto del Sichuan del 2008 o il terremoto..."</span>,
	<span class="hljs-string">"qas"</span>: [
	{
	<span class="hljs-string">"answers"</span>: [{<span class="hljs-string">"answer_start"</span>: <span class="hljs-number">29</span>, <span class="hljs-string">"text"</span>: <span class="hljs-string">"2008"</span>}],
	<span class="hljs-string">"id"</span>: <span class="hljs-string">"56cdca7862d2951400fa6826"</span>,
	<span class="hljs-string">"question"</span>: <span class="hljs-string">"In quale anno si è verificato il terremoto nel Sichuan?"</span>,
	},
	...
	],
	},
	...
	],
	}`,wrap:!1}}),D=new U({props:{code:"ZGF0YV9maWxlcyUyMCUzRCUyMCU3QiUyMnRyYWluJTIyJTNBJTIwJTIyU1F1QURfaXQtdHJhaW4uanNvbiUyMiUyQyUyMCUyMnRlc3QlMjIlM0ElMjAlMjJTUXVBRF9pdC10ZXN0Lmpzb24lMjIlN0QlMEFzcXVhZF9pdF9kYXRhc2V0JTIwJTNEJTIwbG9hZF9kYXRhc2V0KCUyMmpzb24lMjIlMkMlMjBkYXRhX2ZpbGVzJTNEZGF0YV9maWxlcyUyQyUyMGZpZWxkJTNEJTIyZGF0YSUyMiklMEFzcXVhZF9pdF9kYXRhc2V0",highlighted:`data_files = {<span class="hljs-string">"train"</span>: <span class="hljs-string">"SQuAD_it-train.json"</span>, <span class="hljs-string">"test"</span>: <span class="hljs-string">"SQuAD_it-test.json"</span>}
	squad_it_dataset = load_dataset(<span class="hljs-string">"json"</span>, data_files=data_files, field=<span class="hljs-string">"data"</span>)
	squad_it_dataset`,wrap:!1}}),H=new U({props:{code:"RGF0YXNldERpY3QoJTdCJTBBJTIwJTIwJTIwJTIwdHJhaW4lM0ElMjBEYXRhc2V0KCU3QiUwQSUyMCUyMCUyMCUyMCUyMCUyMCUyMCUyMGZlYXR1cmVzJTNBJTIwJTVCJ3RpdGxlJyUyQyUyMCdwYXJhZ3JhcGhzJyU1RCUyQyUwQSUyMCUyMCUyMCUyMCUyMCUyMCUyMCUyMG51bV9yb3dzJTNBJTIwNDQyJTBBJTIwJTIwJTIwJTIwJTdEKSUwQSUyMCUyMCUyMCUyMHRlc3QlM0ElMjBEYXRhc2V0KCU3QiUwQSUyMCUyMCUyMCUyMCUyMCUyMCUyMCUyMGZlYXR1cmVzJTNBJTIwJTVCJ3RpdGxlJyUyQyUyMCdwYXJhZ3JhcGhzJyU1RCUyQyUwQSUyMCUyMCUyMCUyMCUyMCUyMCUyMCUyMG51bV9yb3dzJTNBJTIwNDglMEElMjAlMjAlMjAlMjAlN0QpJTBBJTdEKQ==",highlighted:`DatasetDict({
	train: Dataset({
	features: [<span class="hljs-string">'title'</span>, <span class="hljs-string">'paragraphs'</span>],
	num_rows: <span class="hljs-number">442</span>
	})
	test: Dataset({
	features: [<span class="hljs-string">'title'</span>, <span class="hljs-string">'paragraphs'</span>],
	num_rows: <span class="hljs-number">48</span>
	})
	})`,wrap:!1}}),W=new U({props:{code:"ZGF0YV9maWxlcyUyMCUzRCUyMCU3QiUyMnRyYWluJTIyJTNBJTIwJTIyU1F1QURfaXQtdHJhaW4uanNvbi5neiUyMiUyQyUyMCUyMnRlc3QlMjIlM0ElMjAlMjJTUXVBRF9pdC10ZXN0Lmpzb24uZ3olMjIlN0QlMEFzcXVhZF9pdF9kYXRhc2V0JTIwJTNEJTIwbG9hZF9kYXRhc2V0KCUyMmpzb24lMjIlMkMlMjBkYXRhX2ZpbGVzJTNEZGF0YV9maWxlcyUyQyUyMGZpZWxkJTNEJTIyZGF0YSUyMik=",highlighted:`data_files = {<span class="hljs-string">"train"</span>: <span class="hljs-string">"SQuAD_it-train.json.gz"</span>, <span class="hljs-string">"test"</span>: <span class="hljs-string">"SQuAD_it-test.json.gz"</span>}
	squad_it_dataset = load_dataset(<span class="hljs-string">"json"</span>, data_files=data_files, field=<span class="hljs-string">"data"</span>)`,wrap:!1}}),K=new Pt({props:{title:"Загрузка файлов с удаленного сервера",local:"загрузка-файлов-с-удаленного-сервера",headingTag:"h2"}}),et=new U({props:{code:"dXJsJTIwJTNEJTIwJTIyaHR0cHMlM0ElMkYlMkZnaXRodWIuY29tJTJGY3J1eDgyJTJGc3F1YWQtaXQlMkZyYXclMkZtYXN0ZXIlMkYlMjIlMEFkYXRhX2ZpbGVzJTIwJTNEJTIwJTdCJTBBJTIwJTIwJTIwJTIwJTIydHJhaW4lMjIlM0ElMjB1cmwlMjAlMkIlMjAlMjJTUXVBRF9pdC10cmFpbi5qc29uLmd6JTIyJTJDJTBBJTIwJTIwJTIwJTIwJTIydGVzdCUyMiUzQSUyMHVybCUyMCUyQiUyMCUyMlNRdUFEX2l0LXRlc3QuanNvbi5neiUyMiUyQyUwQSU3RCUwQXNxdWFkX2l0X2RhdGFzZXQlMjAlM0QlMjBsb2FkX2RhdGFzZXQoJTIyanNvbiUyMiUyQyUyMGRhdGFfZmlsZXMlM0RkYXRhX2ZpbGVzJTJDJTIwZmllbGQlM0QlMjJkYXRhJTIyKQ==",highlighted:`url = <span class="hljs-string">"https://github.com/crux82/squad-it/raw/master/"</span>
	data_files = {
	<span class="hljs-string">"train"</span>: url + <span class="hljs-string">"SQuAD_it-train.json.gz"</span>,
	<span class="hljs-string">"test"</span>: url + <span class="hljs-string">"SQuAD_it-test.json.gz"</span>,
	}
	squad_it_dataset = load_dataset(<span class="hljs-string">"json"</span>, data_files=data_files, field=<span class="hljs-string">"data"</span>)`,wrap:!1}}),st=new _e({props:{source:"https://github.com/huggingface/course/blob/main/chapters/ru/chapter5/2.mdx"}}),{c(){w=i("meta"),Mt=a(),at=i("p"),pt=a(),J(f.$$.fragment),Jt=a(),J(I.$$.fragment),Tt=a(),J(j.$$.fragment),dt=a(),C=i("p"),C.innerHTML=Kt,ot=a(),J($.$$.fragment),ut=a(),J(g.$$.fragment),yt=a(),h=i("p"),h.textContent=te,Ut=a(),q=i("table"),q.innerHTML=ee,wt=a(),b=i("p"),b.innerHTML=le,rt=a(),J(_.$$.fragment),ct=a(),Q=i("p"),Q.innerHTML=se,mt=a(),R=i("p"),R.innerHTML=ae,ft=a(),J(A.$$.fragment),It=a(),x=i("p"),x.innerHTML=ne,jt=a(),J(X.$$.fragment),Ct=a(),J(B.$$.fragment),$t=a(),G=i("p"),G.innerHTML=ie,gt=a(),r=i("blockquote"),r.innerHTML=Me,ht=a(),v=i("p"),v.innerHTML=pe,qt=a(),J(k.$$.fragment),bt=a(),Z=i("p"),Z.innerHTML=Je,_t=a(),J(N.$$.fragment),Qt=a(),J(E.$$.fragment),Rt=a(),S=i("p"),S.innerHTML=Te,At=a(),J(z.$$.fragment),xt=a(),J(F.$$.fragment),Xt=a(),L=i("p"),L.innerHTML=de,Bt=a(),J(D.$$.fragment),Gt=a(),J(H.$$.fragment),vt=a(),Y=i("p"),Y.textContent=oe,kt=a(),c=i("blockquote"),c.innerHTML=ue,Zt=a(),V=i("p"),V.innerHTML=ye,Nt=a(),J(W.$$.fragment),Et=a(),P=i("p"),P.textContent=Ue,St=a(),O=i("p"),O.textContent=we,zt=a(),J(K.$$.fragment),Ft=a(),tt=i("p"),tt.innerHTML=re,Lt=a(),J(et.$$.fragment),Dt=a(),lt=i("p"),lt.innerHTML=ce,Ht=a(),m=i("blockquote"),m.innerHTML=me,Yt=a(),J(st.$$.fragment),Vt=a(),nt=i("p"),this.h()},l(t){const e=he("svelte-u9bgzb",document.head);w=M(e,"META",{name:!0,content:!0}),e.forEach(l),Mt=n(t),at=M(t,"P",{}),fe(at).forEach(l),pt=n(t),T(f.$$.fragment,t),Jt=n(t),T(I.$$.fragment,t),Tt=n(t),T(j.$$.fragment,t),dt=n(t),C=M(t,"P",{"data-svelte-h":!0}),p(C)!=="svelte-4ioko0"&&(C.innerHTML=Kt),ot=n(t),T($.$$.fragment,t),ut=n(t),T(g.$$.fragment,t),yt=n(t),h=M(t,"P",{"data-svelte-h":!0}),p(h)!=="svelte-1xag2tf"&&(h.textContent=te),Ut=n(t),q=M(t,"TABLE",{"data-svelte-h":!0}),p(q)!=="svelte-19mvbg5"&&(q.innerHTML=ee),wt=n(t),b=M(t,"P",{"data-svelte-h":!0}),p(b)!=="svelte-16cnmz8"&&(b.innerHTML=le),rt=n(t),T(_.$$.fragment,t),ct=n(t),Q=M(t,"P",{"data-svelte-h":!0}),p(Q)!=="svelte-sek5ka"&&(Q.innerHTML=se),mt=n(t),R=M(t,"P",{"data-svelte-h":!0}),p(R)!=="svelte-yj3r67"&&(R.innerHTML=ae),ft=n(t),T(A.$$.fragment,t),It=n(t),x=M(t,"P",{"data-svelte-h":!0}),p(x)!=="svelte-15ediqe"&&(x.innerHTML=ne),jt=n(t),T(X.$$.fragment,t),Ct=n(t),T(B.$$.fragment,t),$t=n(t),G=M(t,"P",{"data-svelte-h":!0}),p(G)!=="svelte-8veuoo"&&(G.innerHTML=ie),gt=n(t),r=M(t,"BLOCKQUOTE",{class:!0,"data-svelte-h":!0}),p(r)!=="svelte-1qgixfy"&&(r.innerHTML=Me),ht=n(t),v=M(t,"P",{"data-svelte-h":!0}),p(v)!=="svelte-ij7cuo"&&(v.innerHTML=pe),qt=n(t),T(k.$$.fragment,t),bt=n(t),Z=M(t,"P",{"data-svelte-h":!0}),p(Z)!=="svelte-1w6c0jj"&&(Z.innerHTML=Je),_t=n(t),T(N.$$.fragment,t),Qt=n(t),T(E.$$.fragment,t),Rt=n(t),S=M(t,"P",{"data-svelte-h":!0}),p(S)!=="svelte-1wjvuiy"&&(S.innerHTML=Te),At=n(t),T(z.$$.fragment,t),xt=n(t),T(F.$$.fragment,t),Xt=n(t),L=M(t,"P",{"data-svelte-h":!0}),p(L)!=="svelte-1kmhpv2"&&(L.innerHTML=de),Bt=n(t),T(D.$$.fragment,t),Gt=n(t),T(H.$$.fragment,t),vt=n(t),Y=M(t,"P",{"data-svelte-h":!0}),p(Y)!=="svelte-339xs7"&&(Y.textContent=oe),kt=n(t),c=M(t,"BLOCKQUOTE",{class:!0,"data-svelte-h":!0}),p(c)!=="svelte-8zejbp"&&(c.innerHTML=ue),Zt=n(t),V=M(t,"P",{"data-svelte-h":!0}),p(V)!=="svelte-10b0dzy"&&(V.innerHTML=ye),Nt=n(t),T(W.$$.fragment,t),Et=n(t),P=M(t,"P",{"data-svelte-h":!0}),p(P)!=="svelte-1sd7tde"&&(P.textContent=Ue),St=n(t),O=M(t,"P",{"data-svelte-h":!0}),p(O)!=="svelte-q9vpve"&&(O.textContent=we),zt=n(t),T(K.$$.fragment,t),Ft=n(t),tt=M(t,"P",{"data-svelte-h":!0}),p(tt)!=="svelte-xbn2u8"&&(tt.innerHTML=re),Lt=n(t),T(et.$$.fragment,t),Dt=n(t),lt=M(t,"P",{"data-svelte-h":!0}),p(lt)!=="svelte-1tgrl0y"&&(lt.innerHTML=ce),Ht=n(t),m=M(t,"BLOCKQUOTE",{class:!0,"data-svelte-h":!0}),p(m)!=="svelte-b9j1wm"&&(m.innerHTML=me),Yt=n(t),T(st.$$.fragment,t),Vt=n(t),nt=M(t,"P",{}),fe(nt).forEach(l),this.h()},h(){it(w,"name","hf:doc:metadata"),it(w,"content",xe),it(r,"class","tip"),it(c,"class","tip"),it(m,"class","tip")},m(t,e){qe(document.head,w),s(t,Mt,e),s(t,at,e),s(t,pt,e),d(f,t,e),s(t,Jt,e),d(I,t,e),s(t,Tt,e),d(j,t,e),s(t,dt,e),s(t,C,e),s(t,ot,e),d($,t,e),s(t,ut,e),d(g,t,e),s(t,yt,e),s(t,h,e),s(t,Ut,e),s(t,q,e),s(t,wt,e),s(t,b,e),s(t,rt,e),d(_,t,e),s(t,ct,e),s(t,Q,e),s(t,mt,e),s(t,R,e),s(t,ft,e),d(A,t,e),s(t,It,e),s(t,x,e),s(t,jt,e),d(X,t,e),s(t,Ct,e),d(B,t,e),s(t,$t,e),s(t,G,e),s(t,gt,e),s(t,r,e),s(t,ht,e),s(t,v,e),s(t,qt,e),d(k,t,e),s(t,bt,e),s(t,Z,e),s(t,_t,e),d(N,t,e),s(t,Qt,e),d(E,t,e),s(t,Rt,e),s(t,S,e),s(t,At,e),d(z,t,e),s(t,xt,e),d(F,t,e),s(t,Xt,e),s(t,L,e),s(t,Bt,e),d(D,t,e),s(t,Gt,e),d(H,t,e),s(t,vt,e),s(t,Y,e),s(t,kt,e),s(t,c,e),s(t,Zt,e),s(t,V,e),s(t,Nt,e),d(W,t,e),s(t,Et,e),s(t,P,e),s(t,St,e),s(t,O,e),s(t,zt,e),d(K,t,e),s(t,Ft,e),s(t,tt,e),s(t,Lt,e),d(et,t,e),s(t,Dt,e),s(t,lt,e),s(t,Ht,e),s(t,m,e),s(t,Yt,e),d(st,t,e),s(t,Vt,e),s(t,nt,e),Wt=!0},p:je,i(t){Wt\|\|(o(f.$$.fragment,t),o(I.$$.fragment,t),o(j.$$.fragment,t),o($.$$.fragment,t),o(g.$$.fragment,t),o(_.$$.fragment,t),o(A.$$.fragment,t),o(X.$$.fragment,t),o(B.$$.fragment,t),o(k.$$.fragment,t),o(N.$$.fragment,t),o(E.$$.fragment,t),o(z.$$.fragment,t),o(F.$$.fragment,t),o(D.$$.fragment,t),o(H.$$.fragment,t),o(W.$$.fragment,t),o(K.$$.fragment,t),o(et.$$.fragment,t),o(st.$$.fragment,t),Wt=!0)},o(t){u(f.$$.fragment,t),u(I.$$.fragment,t),u(j.$$.fragment,t),u($.$$.fragment,t),u(g.$$.fragment,t),u(_.$$.fragment,t),u(A.$$.fragment,t),u(X.$$.fragment,t),u(B.$$.fragment,t),u(k.$$.fragment,t),u(N.$$.fragment,t),u(E.$$.fragment,t),u(z.$$.fragment,t),u(F.$$.fragment,t),u(D.$$.fragment,t),u(H.$$.fragment,t),u(W.$$.fragment,t),u(K.$$.fragment,t),u(et.$$.fragment,t),u(st.$$.fragment,t),Wt=!1},d(t){t&&(l(Mt),l(at),l(pt),l(Jt),l(Tt),l(dt),l(C),l(ot),l(ut),l(yt),l(h),l(Ut),l(q),l(wt),l(b),l(rt),l(ct),l(Q),l(mt),l(R),l(ft),l(It),l(x),l(jt),l(Ct),l($t),l(G),l(gt),l(r),l(ht),l(v),l(qt),l(bt),l(Z),l(_t),l(Qt),l(Rt),l(S),l(At),l(xt),l(Xt),l(L),l(Bt),l(Gt),l(vt),l(Y),l(kt),l(c),l(Zt),l(V),l(Nt),l(Et),l(P),l(St),l(O),l(zt),l(Ft),l(tt),l(Lt),l(Dt),l(lt),l(Ht),l(m),l(Yt),l(Vt),l(nt)),l(w),y(f,t),y(I,t),y(j,t),y($,t),y(g,t),y(_,t),y(A,t),y(X,t),y(B,t),y(k,t),y(N,t),y(E,t),y(z,t),y(F,t),y(D,t),y(H,t),y(W,t),y(K,t),y(et,t),y(st,t)}}}const xe='{"title":"Что делать, если моего датасета на нет на Hub?","local":"что-делать-если-моего-датасета-на-нет-на-hub","sections":[{"title":"Работа с локальными и удаленными датасетами","local":"работа-с-локальными-и-удаленными-датасетами","sections":[],"depth":2},{"title":"Загрузка локального датасета","local":"загрузка-локального-датасета","sections":[],"depth":2},{"title":"Загрузка файлов с удаленного сервера","local":"загрузка-файлов-с-удаленного-сервера","sections":[],"depth":2}],"depth":1}';function Xe(Ot){return Ce(()=>{new URLSearchParams(window.location.search).get("fw")}),[]}class Ee extends $e{constructor(w){super(),ge(this,w,Xe,Ae,Ie,{})}}export{Ee as component};

Xet Storage Details

Size:: 27.9 kB
Xet hash:: 969637ab48515e634393d3caced389dd3610719b9ac3ab650992e95123d4986f

Xet efficiently stores files, intelligently splitting them into unique chunks and accelerating uploads and downloads. More info.