Buckets:

hf-doc-build
/

doc-dev

hf-doc-build/doc-dev / transformers /main /ja /_app /immutable /nodes /130.23c86ecc.js

rtrm's picture

about 2 months ago

97 kB

	import{s as Ge,o as Ve,n as U}from"../chunks/scheduler.9bc65507.js";import{S as Be,i as We,g as m,s as e,r as h,A as Re,h as c,f as n,c as p,j as ke,u as j,x as u,k as _,y as Xe,a as l,v as b,d as i,t as o,w as f}from"../chunks/index.707bf1b6.js";import{T as _a}from"../chunks/Tip.c2ecdbf4.js";import{Y as He}from"../chunks/Youtube.e1129c6f.js";import{C as M}from"../chunks/CodeBlock.54a9f38d.js";import{D as Ye}from"../chunks/DocNotebookDropdown.41f65cb5.js";import{F as Ne,M as Ze}from"../chunks/Markdown.8ab98a13.js";import{H as I,E as qe}from"../chunks/EditOnGithub.922df6ba.js";function ze(J){let t,d=`<code>AutoProcessor</code>は常に動作し、使用するモデルに適切なクラスを自動的に選択します。
	トークナイザ、画像プロセッサ、特徴抽出器、またはプロセッサを使用しているかにかかわらず、動作します。`;return{c(){t=m("p"),t.innerHTML=d},l(r){t=c(r,"P",{"data-svelte-h":!0}),u(t)!=="svelte-1gtevip"&&(t.innerHTML=d)},m(r,g){l(r,t,g)},p:U,d(r){r&&n(t)}}}function Fe(J){let t,d="事前学習済みモデルを使用する予定の場合、関連する事前学習済みトークナイザを使用することが重要です。これにより、テキストが事前学習コーパスと同じ方法で分割され、事前学習中に通常<em>ボキャブ</em>として参照される対応するトークンインデックスを使用します。";return{c(){t=m("p"),t.innerHTML=d},l(r){t=c(r,"P",{"data-svelte-h":!0}),u(t)!=="svelte-1mvkm08"&&(t.innerHTML=d)},m(r,g){l(r,t,g)},p:U,d(r){r&&n(t)}}}function Qe(J){let t,d='異なるパディングと切り詰めの引数について詳しくは、<a href="./pad_truncation">パディングと切り詰め</a>のコンセプトガイドをご覧ください。';return{c(){t=m("p"),t.innerHTML=d},l(r){t=c(r,"P",{"data-svelte-h":!0}),u(t)!=="svelte-1x8vear"&&(t.innerHTML=d)},m(r,g){l(r,t,g)},p:U,d(r){r&&n(t)}}}function Ae(J){let t,d;return t=new M({props:{code:"YmF0Y2hfc2VudGVuY2VzJTIwJTNEJTIwJTVCJTBBJTIwJTIwJTIwJTIwJTIyQnV0JTIwd2hhdCUyMGFib3V0JTIwc2Vjb25kJTIwYnJlYWtmYXN0JTNGJTIyJTJDJTBBJTIwJTIwJTIwJTIwJTIyRG9uJ3QlMjB0aGluayUyMGhlJTIwa25vd3MlMjBhYm91dCUyMHNlY29uZCUyMGJyZWFrZmFzdCUyQyUyMFBpcC4lMjIlMkMlMEElMjAlMjAlMjAlMjAlMjJXaGF0JTIwYWJvdXQlMjBlbGV2ZW5zaWVzJTNGJTIyJTJDJTBBJTVEJTBBZW5jb2RlZF9pbnB1dCUyMCUzRCUyMHRva2VuaXplcihiYXRjaF9zZW50ZW5jZXMlMkMlMjBwYWRkaW5nJTNEVHJ1ZSUyQyUyMHRydW5jYXRpb24lM0RUcnVlJTJDJTIwcmV0dXJuX3RlbnNvcnMlM0QlMjJwdCUyMiklMEFwcmludChlbmNvZGVkX2lucHV0KQ==",highlighted:`<span class="hljs-meta">>>> </span>batch_sentences = [
	<span class="hljs-meta">... </span> <span class="hljs-string">"But what about second breakfast?"</span>,
	<span class="hljs-meta">... </span> <span class="hljs-string">"Don't think he knows about second breakfast, Pip."</span>,
	<span class="hljs-meta">... </span> <span class="hljs-string">"What about elevensies?"</span>,
	<span class="hljs-meta">... </span>]
	<span class="hljs-meta">>>> </span>encoded_input = tokenizer(batch_sentences, padding=<span class="hljs-literal">True</span>, truncation=<span class="hljs-literal">True</span>, return_tensors=<span class="hljs-string">"pt"</span>)
	<span class="hljs-meta">>>> </span><span class="hljs-built_in">print</span>(encoded_input)
	{<span class="hljs-string">'input_ids'</span>: tensor([[<span class="hljs-number">101</span>, <span class="hljs-number">1252</span>, <span class="hljs-number">1184</span>, <span class="hljs-number">1164</span>, <span class="hljs-number">1248</span>, <span class="hljs-number">6462</span>, <span class="hljs-number">136</span>, <span class="hljs-number">102</span>, <span class="hljs-number">0</span>, <span class="hljs-number">0</span>, <span class="hljs-number">0</span>, <span class="hljs-number">0</span>, <span class="hljs-number">0</span>, <span class="hljs-number">0</span>, <span class="hljs-number">0</span>],
	[<span class="hljs-number">101</span>, <span class="hljs-number">1790</span>, <span class="hljs-number">112</span>, <span class="hljs-number">189</span>, <span class="hljs-number">1341</span>, <span class="hljs-number">1119</span>, <span class="hljs-number">3520</span>, <span class="hljs-number">1164</span>, <span class="hljs-number">1248</span>, <span class="hljs-number">6462</span>, <span class="hljs-number">117</span>, <span class="hljs-number">21902</span>, <span class="hljs-number">1643</span>, <span class="hljs-number">119</span>, <span class="hljs-number">102</span>],
	[<span class="hljs-number">101</span>, <span class="hljs-number">1327</span>, <span class="hljs-number">1164</span>, <span class="hljs-number">5450</span>, <span class="hljs-number">23434</span>, <span class="hljs-number">136</span>, <span class="hljs-number">102</span>, <span class="hljs-number">0</span>, <span class="hljs-number">0</span>, <span class="hljs-number">0</span>, <span class="hljs-number">0</span>, <span class="hljs-number">0</span>, <span class="hljs-number">0</span>, <span class="hljs-number">0</span>, <span class="hljs-number">0</span>]]),
	<span class="hljs-string">'token_type_ids'</span>: tensor([[<span class="hljs-number">0</span>, <span class="hljs-number">0</span>, <span class="hljs-number">0</span>, <span class="hljs-number">0</span>, <span class="hljs-number">0</span>, <span class="hljs-number">0</span>, <span class="hljs-number">0</span>, <span class="hljs-number">0</span>, <span class="hljs-number">0</span>, <span class="hljs-number">0</span>, <span class="hljs-number">0</span>, <span class="hljs-number">0</span>, <span class="hljs-number">0</span>, <span class="hljs-number">0</span>, <span class="hljs-number">0</span>],
	[<span class="hljs-number">0</span>, <span class="hljs-number">0</span>, <span class="hljs-number">0</span>, <span class="hljs-number">0</span>, <span class="hljs-number">0</span>, <span class="hljs-number">0</span>, <span class="hljs-number">0</span>, <span class="hljs-number">0</span>, <span class="hljs-number">0</span>, <span class="hljs-number">0</span>, <span class="hljs-number">0</span>, <span class="hljs-number">0</span>, <span class="hljs-number">0</span>, <span class="hljs-number">0</span>, <span class="hljs-number">0</span>],
	[<span class="hljs-number">0</span>, <span class="hljs-number">0</span>, <span class="hljs-number">0</span>, <span class="hljs-number">0</span>, <span class="hljs-number">0</span>, <span class="hljs-number">0</span>, <span class="hljs-number">0</span>, <span class="hljs-number">0</span>, <span class="hljs-number">0</span>, <span class="hljs-number">0</span>, <span class="hljs-number">0</span>, <span class="hljs-number">0</span>, <span class="hljs-number">0</span>, <span class="hljs-number">0</span>, <span class="hljs-number">0</span>]]),
	<span class="hljs-string">'attention_mask'</span>: tensor([[<span class="hljs-number">1</span>, <span class="hljs-number">1</span>, <span class="hljs-number">1</span>, <span class="hljs-number">1</span>, <span class="hljs-number">1</span>, <span class="hljs-number">1</span>, <span class="hljs-number">1</span>, <span class="hljs-number">1</span>, <span class="hljs-number">0</span>, <span class="hljs-number">0</span>, <span class="hljs-number">0</span>, <span class="hljs-number">0</span>, <span class="hljs-number">0</span>, <span class="hljs-number">0</span>, <span class="hljs-number">0</span>],
	[<span class="hljs-number">1</span>, <span class="hljs-number">1</span>, <span class="hljs-number">1</span>, <span class="hljs-number">1</span>, <span class="hljs-number">1</span>, <span class="hljs-number">1</span>, <span class="hljs-number">1</span>, <span class="hljs-number">1</span>, <span class="hljs-number">1</span>, <span class="hljs-number">1</span>, <span class="hljs-number">1</span>, <span class="hljs-number">1</span>, <span class="hljs-number">1</span>, <span class="hljs-number">1</span>, <span class="hljs-number">1</span>],
	[<span class="hljs-number">1</span>, <span class="hljs-number">1</span>, <span class="hljs-number">1</span>, <span class="hljs-number">1</span>, <span class="hljs-number">1</span>, <span class="hljs-number">1</span>, <span class="hljs-number">1</span>, <span class="hljs-number">0</span>, <span class="hljs-number">0</span>, <span class="hljs-number">0</span>, <span class="hljs-number">0</span>, <span class="hljs-number">0</span>, <span class="hljs-number">0</span>, <span class="hljs-number">0</span>, <span class="hljs-number">0</span>]])}`,wrap:!1}}),{c(){h(t.$$.fragment)},l(r){j(t.$$.fragment,r)},m(r,g){b(t,r,g),d=!0},p:U,i(r){d\|\|(i(t.$$.fragment,r),d=!0)},o(r){o(t.$$.fragment,r),d=!1},d(r){f(t,r)}}}function Ee(J){let t,d;return t=new Ze({props:{$$slots:{default:[Ae]},$$scope:{ctx:J}}}),{c(){h(t.$$.fragment)},l(r){j(t.$$.fragment,r)},m(r,g){b(t,r,g),d=!0},p(r,g){const $={};g&2&&($.$$scope={dirty:g,ctx:r}),t.$set($)},i(r){d\|\|(i(t.$$.fragment,r),d=!0)},o(r){o(t.$$.fragment,r),d=!1},d(r){f(t,r)}}}function Le(J){let t,d;return t=new M({props:{code:"YmF0Y2hfc2VudGVuY2VzJTIwJTNEJTIwJTVCJTBBJTIwJTIwJTIwJTIwJTIyQnV0JTIwd2hhdCUyMGFib3V0JTIwc2Vjb25kJTIwYnJlYWtmYXN0JTNGJTIyJTJDJTBBJTIwJTIwJTIwJTIwJTIyRG9uJ3QlMjB0aGluayUyMGhlJTIwa25vd3MlMjBhYm91dCUyMHNlY29uZCUyMGJyZWFrZmFzdCUyQyUyMFBpcC4lMjIlMkMlMEElMjAlMjAlMjAlMjAlMjJXaGF0JTIwYWJvdXQlMjBlbGV2ZW5zaWVzJTNGJTIyJTJDJTBBJTVEJTBBZW5jb2RlZF9pbnB1dCUyMCUzRCUyMHRva2VuaXplcihiYXRjaF9zZW50ZW5jZXMlMkMlMjBwYWRkaW5nJTNEVHJ1ZSUyQyUyMHRydW5jYXRpb24lM0RUcnVlJTJDJTIwcmV0dXJuX3RlbnNvcnMlM0QlMjJ0ZiUyMiklMEFwcmludChlbmNvZGVkX2lucHV0KQ==",highlighted:`<span class="hljs-meta">>>> </span>batch_sentences = [
	<span class="hljs-meta">... </span> <span class="hljs-string">"But what about second breakfast?"</span>,
	<span class="hljs-meta">... </span> <span class="hljs-string">"Don't think he knows about second breakfast, Pip."</span>,
	<span class="hljs-meta">... </span> <span class="hljs-string">"What about elevensies?"</span>,
	<span class="hljs-meta">... </span>]
	<span class="hljs-meta">>>> </span>encoded_input = tokenizer(batch_sentences, padding=<span class="hljs-literal">True</span>, truncation=<span class="hljs-literal">True</span>, return_tensors=<span class="hljs-string">"tf"</span>)
	<span class="hljs-meta">>>> </span><span class="hljs-built_in">print</span>(encoded_input)
	{<span class="hljs-string">'input_ids'</span>: <tf.Tensor: shape=(<span class="hljs-number">2</span>, <span class="hljs-number">9</span>), dtype=int32, numpy=
	array([[<span class="hljs-number">101</span>, <span class="hljs-number">1252</span>, <span class="hljs-number">1184</span>, <span class="hljs-number">1164</span>, <span class="hljs-number">1248</span>, <span class="hljs-number">6462</span>, <span class="hljs-number">136</span>, <span class="hljs-number">102</span>, <span class="hljs-number">0</span>, <span class="hljs-number">0</span>, <span class="hljs-number">0</span>, <span class="hljs-number">0</span>, <span class="hljs-number">0</span>, <span class="hljs-number">0</span>, <span class="hljs-number">0</span>],
	[<span class="hljs-number">101</span>, <span class="hljs-number">1790</span>, <span class="hljs-number">112</span>, <span class="hljs-number">189</span>, <span class="hljs-number">1341</span>, <span class="hljs-number">1119</span>, <span class="hljs-number">3520</span>, <span class="hljs-number">1164</span>, <span class="hljs-number">1248</span>, <span class="hljs-number">6462</span>, <span class="hljs-number">117</span>, <span class="hljs-number">21902</span>, <span class="hljs-number">1643</span>, <span class="hljs-number">119</span>, <span class="hljs-number">102</span>],
	[<span class="hljs-number">101</span>, <span class="hljs-number">1327</span>, <span class="hljs-number">1164</span>, <span class="hljs-number">5450</span>, <span class="hljs-number">23434</span>, <span class="hljs-number">136</span>, <span class="hljs-number">102</span>, <span class="hljs-number">0</span>, <span class="hljs-number">0</span>, <span class="hljs-number">0</span>, <span class="hljs-number">0</span>, <span class="hljs-number">0</span>, <span class="hljs-number">0</span>, <span class="hljs-number">0</span>, <span class="hljs-number">0</span>]],
	dtype=int32)>,
	<span class="hljs-string">'token_type_ids'</span>: <tf.Tensor: shape=(<span class="hljs-number">2</span>, <span class="hljs-number">9</span>), dtype=int32, numpy=
	array([[<span class="hljs-number">0</span>, <span class="hljs-number">0</span>, <span class="hljs-number">0</span>, <span class="hljs-number">0</span>, <span class="hljs-number">0</span>, <span class="hljs-number">0</span>, <span class="hljs-number">0</span>, <span class="hljs-number">0</span>, <span class="hljs-number">0</span>, <span class="hljs-number">0</span>, <span class="hljs-number">0</span>, <span class="hljs-number">0</span>, <span class="hljs-number">0</span>, <span class="hljs-number">0</span>, <span class="hljs-number">0</span>],
	[<span class="hljs-number">0</span>, <span class="hljs-number">0</span>, <span class="hljs-number">0</span>, <span class="hljs-number">0</span>, <span class="hljs-number">0</span>, <span class="hljs-number">0</span>, <span class="hljs-number">0</span>, <span class="hljs-number">0</span>, <span class="hljs-number">0</span>, <span class="hljs-number">0</span>, <span class="hljs-number">0</span>, <span class="hljs-number">0</span>, <span class="hljs-number">0</span>, <span class="hljs-number">0</span>, <span class="hljs-number">0</span>],
	[<span class="hljs-number">0</span>, <span class="hljs-number">0</span>, <span class="hljs-number">0</span>, <span class="hljs-number">0</span>, <span class="hljs-number">0</span>, <span class="hljs-number">0</span>, <span class="hljs-number">0</span>, <span class="hljs-number">0</span>, <span class="hljs-number">0</span>, <span class="hljs-number">0</span>, <span class="hljs-number">0</span>, <span class="hljs-number">0</span>, <span class="hljs-number">0</span>, <span class="hljs-number">0</span>, <span class="hljs-number">0</span>]], dtype=int32)>,
	<span class="hljs-string">'attention_mask'</span>: <tf.Tensor: shape=(<span class="hljs-number">2</span>, <span class="hljs-number">9</span>), dtype=int32, numpy=
	array([[<span class="hljs-number">1</span>, <span class="hljs-number">1</span>, <span class="hljs-number">1</span>, <span class="hljs-number">1</span>, <span class="hljs-number">1</span>, <span class="hljs-number">1</span>, <span class="hljs-number">1</span>, <span class="hljs-number">1</span>, <span class="hljs-number">0</span>, <span class="hljs-number">0</span>, <span class="hljs-number">0</span>, <span class="hljs-number">0</span>, <span class="hljs-number">0</span>, <span class="hljs-number">0</span>, <span class="hljs-number">0</span>],
	[<span class="hljs-number">1</span>, <span class="hljs-number">1</span>, <span class="hljs-number">1</span>, <span class="hljs-number">1</span>, <span class="hljs-number">1</span>, <span class="hljs-number">1</span>, <span class="hljs-number">1</span>, <span class="hljs-number">1</span>, <span class="hljs-number">1</span>, <span class="hljs-number">1</span>, <span class="hljs-number">1</span>, <span class="hljs-number">1</span>, <span class="hljs-number">1</span>, <span class="hljs-number">1</span>, <span class="hljs-number">1</span>],
	[<span class="hljs-number">1</span>, <span class="hljs-number">1</span>, <span class="hljs-number">1</span>, <span class="hljs-number">1</span>, <span class="hljs-number">1</span>, <span class="hljs-number">1</span>, <span class="hljs-number">1</span>, <span class="hljs-number">0</span>, <span class="hljs-number">0</span>, <span class="hljs-number">0</span>, <span class="hljs-number">0</span>, <span class="hljs-number">0</span>, <span class="hljs-number">0</span>, <span class="hljs-number">0</span>, <span class="hljs-number">0</span>]], dtype=int32)>}`,wrap:!1}}),{c(){h(t.$$.fragment)},l(r){j(t.$$.fragment,r)},m(r,g){b(t,r,g),d=!0},p:U,i(r){d\|\|(i(t.$$.fragment,r),d=!0)},o(r){o(t.$$.fragment,r),d=!1},d(r){f(t,r)}}}function Pe(J){let t,d;return t=new Ze({props:{$$slots:{default:[Le]},$$scope:{ctx:J}}}),{c(){h(t.$$.fragment)},l(r){j(t.$$.fragment,r)},m(r,g){b(t,r,g),d=!0},p(r,g){const $={};g&2&&($.$$scope={dirty:g,ctx:r}),t.$set($)},i(r){d\|\|(i(t.$$.fragment,r),d=!0)},o(r){o(t.$$.fragment,r),d=!1},d(r){f(t,r)}}}function Se(J){let t,d="画像の前処理は、通常、画像の増強の形式に従います。画像の前処理と画像の増強の両方は画像データを変換しますが、異なる目的があります：",r,g,$="<li>画像の増強は、過学習を防ぎ、モデルの堅牢性を向上させるのに役立つ方法で画像を変更します。データを増強する方法は無限で、明るさや色の調整、クロップ、回転、リサイズ、ズームなど、様々な方法があります。ただし、増強操作によって画像の意味が変わらないように注意する必要があります。</li> <li>画像の前処理は、画像がモデルの期待する入力形式と一致することを保証します。コンピュータビジョンモデルをファインチューニングする場合、画像はモデルが最初にトレーニングされたときとまったく同じ方法で前処理する必要があります。</li>",y,w,F="画像の増強には任意のライブラリを使用できます。画像の前処理には、モデルに関連付けられた<code>ImageProcessor</code>を使用します。";return{c(){t=m("p"),t.textContent=d,r=e(),g=m("ul"),g.innerHTML=$,y=e(),w=m("p"),w.innerHTML=F},l(T){t=c(T,"P",{"data-svelte-h":!0}),u(t)!=="svelte-5jimup"&&(t.textContent=d),r=p(T),g=c(T,"UL",{"data-svelte-h":!0}),u(g)!=="svelte-x2xmel"&&(g.innerHTML=$),y=p(T),w=c(T,"P",{"data-svelte-h":!0}),u(w)!=="svelte-1r84kp2"&&(w.innerHTML=F)},m(T,v){l(T,t,v),l(T,r,v),l(T,g,v),l(T,y,v),l(T,w,v)},p:U,d(T){T&&(n(t),n(r),n(g),n(y),n(w))}}}function De(J){let t,d="データセットがかなり大きいため、🤗 Datasetsの<code>split</code>パラメータを使用してトレーニングデータの小さなサンプルのみをロードします！";return{c(){t=m("p"),t.innerHTML=d},l(r){t=c(r,"P",{"data-svelte-h":!0}),u(t)!=="svelte-i06ozh"&&(t.innerHTML=d)},m(r,g){l(r,t,g)},p:U,d(r){r&&n(t)}}}function Ke(J){let t,d=`上記の例では、画像のサイズ変更を既に画像増強変換で行っているため、<code>do_resize=False</code>を設定しました。
	適切な <code>image_processor</code> からの <code>size</code> 属性を活用しています。画像増強中に画像のサイズ変更を行わない場合は、このパラメータを省略してください。
	デフォルトでは、<code>ImageProcessor</code> がサイズ変更を処理します。`,r,g,$="画像を増強変換の一部として正規化したい場合は、<code>image_processor.image_mean</code> と <code>image_processor.image_std</code> の値を使用してください。";return{c(){t=m("p"),t.innerHTML=d,r=e(),g=m("p"),g.innerHTML=$},l(y){t=c(y,"P",{"data-svelte-h":!0}),u(t)!=="svelte-twhr4h"&&(t.innerHTML=d),r=p(y),g=c(y,"P",{"data-svelte-h":!0}),u(g)!=="svelte-1ir8nuv"&&(g.innerHTML=$)},m(y,w){l(y,t,w),l(y,r,w),l(y,g,w)},p:U,d(y){y&&(n(t),n(r),n(g))}}}function Oe(J){let t,d=`オブジェクト検出、意味セグメンテーション、インスタンスセグメンテーション、およびパノプティックセグメンテーションなどのタスクの場合、<code>ImageProcessor</code>は
	ポスト処理メソッドを提供します。これらのメソッドは、モデルの生の出力を境界ボックスやセグメンテーションマップなどの意味のある予測に変換します。`;return{c(){t=m("p"),t.innerHTML=d},l(r){t=c(r,"P",{"data-svelte-h":!0}),u(t)!=="svelte-149ytgm"&&(t.innerHTML=d)},m(r,g){l(r,t,g)},p:U,d(r){r&&n(t)}}}function sp(J){let t,d,r,g,$,y,w,F,T,v=`データセットでモデルをトレーニングする前に、それをモデルの期待する入力形式に前処理する必要があります。
	データがテキスト、画像、またはオーディオであるかどうかにかかわらず、それらはテンソルのバッチに変換して組み立てる必要があります。
	🤗 Transformersは、データをモデル用に準備するのに役立つ前処理クラスのセットを提供しています。
	このチュートリアルでは、次のことを学びます：`,Ua,Q,_l='<li>テキストの場合、<a href="./main_classes/tokenizer">Tokenizer</a>を使用してテキストをトークンのシーケンスに変換し、トークンの数値表現を作成し、それらをテンソルに組み立てる方法。</li> <li>音声とオーディオの場合、<a href="./main_classes/feature_extractor">Feature extractor</a>を使用してオーディオ波形から連続的な特徴を抽出し、それらをテンソルに変換する方法。</li> <li>画像入力の場合、<a href="./main_classes/image">ImageProcessor</a>を使用して画像をテンソルに変換する方法。</li> <li>マルチモーダル入力の場合、<a href="./main_classes/processors">Processor</a>を使用してトークナイザと特徴抽出器または画像プロセッサを組み合わせる方法。</li>',va,C,Ca,A,Il="始める前に、🤗 Datasetsをインストールして、いくつかのデータセットを試すことができるようにしてください：",xa,E,ka,L,Za,P,Ga,S,Ul='テキストデータの前処理に使用する主要なツールは、<a href="main_classes/tokenizer">トークナイザ</a>です。トークナイザは、一連のルールに従ってテキストを<em>トークン</em>に分割します。トークンは数値に変換され、その後テンソルに変換され、モデルの入力となります。モデルが必要とする追加の入力は、トークナイザによって追加されます。',Va,x,Ba,D,vl='<a href="/docs/transformers/main/ja/model_doc/auto#transformers.AutoTokenizer.from_pretrained">AutoTokenizer.from_pretrained()</a>メソッドを使用して事前学習済みトークナイザをロードして、開始しましょう。これにより、モデルが事前学習された<em>ボキャブ</em>がダウンロードされます：',Wa,K,Ra,O,Cl="次に、テキストをトークナイザに渡します：",Xa,ss,Ha,as,xl="トークナイザは、重要な3つの項目を持つ辞書を返します：",Ya,ns,kl='<li><a href="glossary#input-ids">input_ids</a> は文中の各トークンに対応するインデックスです。</li> <li><a href="glossary#attention-mask">attention_mask</a> はトークンがアテンションを受ける必要があるかどうかを示します。</li> <li><a href="glossary#token-type-ids">token_type_ids</a> は複数のシーケンスがある場合、トークンがどのシーケンスに属しているかを識別します。</li>',Na,ls,Zl="<code>input_ids</code> をデコードして入力を返します：",qa,es,za,ps,Gl=`如何にお分かりいただけるかと思いますが、トークナイザはこの文章に2つの特別なトークン、<code>CLS</code>（クラシファイア）と<code>SEP</code>（セパレータ）を追加しました。
	すべてのモデルが特別なトークンを必要とするわけではありませんが、必要な場合、トークナイザは自動的にそれらを追加します。`,Fa,ts,Vl="複数の文章を前処理する場合、トークナイザにリストとして渡してください：",Qa,rs,Aa,ms,Ea,cs,Bl=`文章は常に同じ長さではないことがあり、これはテンソル（モデルの入力）が均一な形状を持つ必要があるため問題となります。
	パディングは、短い文に特別な「パディングトークン」を追加して、テンソルを長いシーケンスに合わせるための戦略です。`,La,us,Wl="バッチ内の短いシーケンスを最長のシーケンスに合わせるために、<code>padding</code>パラメータを<code>True</code>に設定します：",Pa,hs,Sa,js,Rl="1番目と3番目の文は、短いために<code>0</code>でパディングされています。",Da,bs,Ka,is,Xl="逆のスペクトルでは、時折、モデルが処理するのに長すぎるシーケンスがあるかもしれません。この場合、シーケンスを短縮する必要があります。",Oa,os,Hl="モデルが受け入れる最大の長さにシーケンスを切り詰めるには、<code>truncation</code>パラメータを<code>True</code>に設定します：",sn,fs,an,k,nn,ds,ln,gs,Yl="最後に、トークナイザがモデルに供給される実際のテンソルを返すように設定します。",en,Ms,Nl="<code>return_tensors</code>パラメータを<code>pt</code>（PyTorch用）または<code>tf</code>（TensorFlow用）に設定します：",pn,Z,tn,Js,rn,Ts,ql=`オーディオタスクの場合、データセットをモデル用に準備するために<a href="main_classes/feature_extractor">特徴抽出器</a>が必要です。
	特徴抽出器は生のオーディオデータから特徴を抽出し、それらをテンソルに変換するために設計されています。`,mn,$s,zl=`<a href="https://huggingface.co/datasets/PolyAI/minds14" rel="nofollow">PolyAI/minds14</a>データセットをロードして（データセットのロード方法の詳細については🤗 <a href="https://huggingface.co/docs/datasets/load_hub" rel="nofollow">Datasetsチュートリアル</a>を参照）、
	オーディオデータセットで特徴抽出器をどのように使用できるかを確認してみましょう：`,cn,ys,un,ws,Fl="アクセスして<code>audio</code>列の最初の要素を確認します。<code>audio</code>列を呼び出すと、自動的にオーディオファイルが読み込まれ、リサンプリングされます：",hn,_s,jn,Is,Ql="これにより、3つのアイテムが返されます：",bn,Us,Al="<li><code>array</code> は読み込まれた音声信号で、1Dの配列として読み込まれます。必要に応じてリサンプリングされることもあります。</li> <li><code>path</code> は音声ファイルの場所を指します。</li> <li><code>sampling_rate</code> は音声信号内のデータポイントが1秒間にいくつ測定されるかを示します。</li>",on,vs,El=`このチュートリアルでは、<a href="https://huggingface.co/facebook/wav2vec2-base" rel="nofollow">Wav2Vec2</a>モデルを使用します。
	モデルカードを確認すると、Wav2Vec2が16kHzのサンプリングされた音声オーディオで事前学習されていることがわかります。
	モデルの事前学習に使用されたデータセットのサンプリングレートと、あなたのオーディオデータのサンプリングレートが一致することが重要です。
	データのサンプリングレートが異なる場合、データをリサンプリングする必要があります。`,fn,Cs,Ll="<li>🤗 Datasetsの <code>cast_column</code> メソッドを使用して、サンプリングレートを16kHzにアップサンプリングします：</li>",dn,xs,gn,G,Pl="<li>再び <code>audio</code> 列を呼び出してオーディオファイルをリサンプルします：</li>",Mn,ks,Jn,Zs,Sl="次に、入力を正規化しパディングするために特徴抽出器をロードします。テキストデータをパディングする場合、短いシーケンスには <code>0</code> が追加されます。同じ考え方がオーディオデータにも適用されます。特徴抽出器は <code>array</code> に <code>0</code> を追加します（これは無音として解釈されます）。",Tn,Gs,Dl='<a href="/docs/transformers/main/ja/model_doc/auto#transformers.AutoFeatureExtractor.from_pretrained">AutoFeatureExtractor.from_pretrained()</a>を使用して特徴抽出器をロードします：',$n,Vs,yn,Bs,Kl="オーディオ <code>array</code> を特徴抽出器に渡します。特徴抽出器で発生する可能性のある無音エラーをより良くデバッグするために、特徴抽出器に <code>sampling_rate</code> 引数を追加することをお勧めします。",wn,Ws,_n,Rs,Ol="同様に、トークナイザと同様に、バッチ内の可変シーケンスを処理するためにパディングまたは切り詰めを適用できます。次に、これらの2つのオーディオサンプルのシーケンス長を確認してみましょう：",In,Xs,Un,Hs,se="この関数は、データセットを前処理してオーディオサンプルの長さを同じにするためのものです。最大サンプル長を指定し、特徴抽出器はシーケンスをそれに合わせてパディングまたは切り詰めます。",vn,Ys,Cn,Ns,ae="<code>preprocess_function</code>をデータセットの最初の数例に適用します：",xn,qs,kn,zs,ne="サンプルの長さは現在同じで、指定された最大長と一致しています。これで処理されたデータセットをモデルに渡すことができます！",Zn,Fs,Gn,Qs,Vn,As,le=`コンピュータビジョンタスクでは、モデル用にデータセットを準備するための<a href="main_classes/image_processor">画像プロセッサ</a>が必要です。
	画像の前処理には、画像をモデルが期待する入力形式に変換するためのいくつかのステップが含まれています。これらのステップには、リサイズ、正規化、カラーチャネルの補正、および画像をテンソルに変換するなどが含まれます。`,Bn,V,Wn,Es,ee='コンピュータビジョンのデータセットで画像プロセッサを使用する方法を示すために、<a href="https://huggingface.co/datasets/food101" rel="nofollow">food101</a>データセットをロードします（データセットのロード方法の詳細については🤗<a href="https://huggingface.co/docs/datasets/load_hub" rel="nofollow">Datasetsチュートリアル</a>を参照）：',Rn,B,Xn,Ls,Hn,Ps,pe='次に、🤗 Datasetsの <a href="https://huggingface.co/docs/datasets/package_reference/main_classes?highlight=image#datasets.Image" rel="nofollow"><code>Image</code></a> 機能で画像を見てみましょう：',Yn,Ss,Nn,W,te='<img src="https://huggingface.co/datasets/huggingface/documentation-images/resolve/main/vision-preprocess-tutorial.png"/>',qn,Ds,re='AutoImageProcessorを<a href="/docs/transformers/main/ja/model_doc/auto#transformers.AutoImageProcessor.from_pretrained">AutoImageProcessor.from_pretrained()</a>を使用してロードします：',zn,Ks,Fn,Os,me=`<li><p>まず、画像の拡張を追加しましょう。好きなライブラリを使用できますが、このチュートリアルではtorchvisionの<a href="https://pytorch.org/vision/stable/transforms.html" rel="nofollow"><code>transforms</code></a>モジュールを使用します。別のデータ拡張ライブラリを使用したい場合は、<a href="https://colab.research.google.com/github/huggingface/notebooks/blob/main/examples/image_classification_albumentations.ipynb" rel="nofollow">Albumentations</a>または<a href="https://colab.research.google.com/github/huggingface/notebooks/blob/main/examples/image_classification_kornia.ipynb" rel="nofollow">Kornia notebooks</a>で詳細を学ぶことができます。</p> <p>ここでは、<a href="https://pytorch.org/vision/master/generated/torchvision.transforms.Compose.html" rel="nofollow"><code>Compose</code></a>を使用していくつかの変換を連鎖させます - <a href="https://pytorch.org/vision/main/generated/torchvision.transforms.RandomResizedCrop.html" rel="nofollow"><code>RandomResizedCrop</code></a>と<a href="https://pytorch.org/vision/main/generated/torchvision.transforms.ColorJitter.html" rel="nofollow"><code>ColorJitter</code></a>。
	サイズの変更に関しては、<code>image_processor</code>から画像サイズの要件を取得できます。
	一部のモデルでは、正確な高さと幅が必要ですが、他のモデルでは<code>shortest_edge</code>のみが定義されています。</p></li>`,Qn,sa,An,R,ce=`<li>モデルは<a href="model_doc/visionencoderdecoder#transformers.VisionEncoderDecoderModel.forward.pixel_values"><code>pixel_values</code></a>を入力として受け取ります。
	<code>ImageProcessor</code>は画像の正規化と適切なテンソルの生成を処理できます。
	一連の画像に対する画像拡張と画像前処理を組み合わせ、<code>pixel_values</code>を生成する関数を作成します：</li>`,En,aa,Ln,X,Pn,H,ue='<li>次に、🤗 Datasetsの<a href="https://huggingface.co/docs/datasets/process#format-transform" rel="nofollow"><code>set_transform</code></a>を使用して、変換をリアルタイムで適用します：</li>',Sn,na,Dn,Y,he="<li>画像にアクセスすると、画像プロセッサが <code>pixel_values</code> を追加したことがわかります。これで処理済みのデータセットをモデルに渡すことができます！</li>",Kn,la,On,ea,je="以下は、変換が適用された後の画像の外観です。画像はランダムに切り抜かれ、その色の特性も異なります。",sl,pa,al,N,be='<img src="https://huggingface.co/datasets/huggingface/documentation-images/resolve/main/preprocessed_image.png"/>',nl,q,ll,ta,el,ra,ie=`一部の場合、たとえば、<a href="./model_doc/detr">DETR</a>をファインチューニングする場合、モデルはトレーニング時にスケールの変更を適用します。
	これにより、バッチ内の画像のサイズが異なる場合があります。<a href="/docs/transformers/main/ja/model_doc/detr#transformers.DetrImageProcessor">DetrImageProcessor</a>から<code>DetrImageProcessor.pad()</code>を使用し、
	カスタムの<code>collate_fn</code>を定義して画像を一緒にバッチ処理できます。`,pl,ma,tl,ca,rl,ua,oe='マルチモーダル入力を使用するタスクの場合、モデル用にデータセットを準備するための<a href="main_classes/processors">プロセッサ</a>が必要です。プロセッサは、トークナイザや特徴量抽出器などの2つの処理オブジェクトを結合します。',ml,ha,fe='自動音声認識（ASR）のためのプロセッサの使用方法を示すために、<a href="https://huggingface.co/datasets/lj_speech" rel="nofollow">LJ Speech</a>データセットをロードします（データセットのロード方法の詳細については🤗 <a href="https://huggingface.co/docs/datasets/load_hub" rel="nofollow">Datasets チュートリアル</a>を参照）：',cl,ja,ul,ba,de="ASR（自動音声認識）の場合、主に <code>audio</code> と <code>text</code> に焦点を当てているため、他の列を削除できます：",hl,ia,jl,oa,ge="次に、<code>audio</code>と<code>text</code>の列を見てみましょう：",bl,fa,il,da,Me='常に、オーディオデータセットのサンプリングレートを、モデルの事前学習に使用されたデータセットのサンプリングレートと一致させるように<a href="preprocessing#audio">リサンプル</a>する必要があります！',ol,ga,fl,Ma,Je='プロセッサを <a href="/docs/transformers/main/ja/model_doc/auto#transformers.AutoProcessor.from_pretrained">AutoProcessor.from_pretrained()</a> を使用してロードします：',dl,Ja,gl,Ta,Te="<li><code>array</code>内に含まれるオーディオデータを<code>input_values</code>に処理し、<code>text</code>を<code>labels</code>にトークン化する関数を作成します：</li>",Ml,$a,Jl,z,$e="<li>サンプルに<code>prepare_dataset</code>関数を適用します：</li>",Tl,ya,$l,wa,yl,Ia,wl;return $=new I({props:{title:"Preprocess",local:"preprocess",headingTag:"h1"}}),w=new Ye({props:{classNames:"absolute z-10 right-0 top-0",options:[{label:"Mixed",value:"https://colab.research.google.com/github/huggingface/notebooks/blob/main/transformers_doc/ja/preprocessing.ipynb"},{label:"PyTorch",value:"https://colab.research.google.com/github/huggingface/notebooks/blob/main/transformers_doc/ja/pytorch/preprocessing.ipynb"},{label:"TensorFlow",value:"https://colab.research.google.com/github/huggingface/notebooks/blob/main/transformers_doc/ja/tensorflow/preprocessing.ipynb"},{label:"Mixed",value:"https://studiolab.sagemaker.aws/import/github/huggingface/notebooks/blob/main/transformers_doc/ja/preprocessing.ipynb"},{label:"PyTorch",value:"https://studiolab.sagemaker.aws/import/github/huggingface/notebooks/blob/main/transformers_doc/ja/pytorch/preprocessing.ipynb"},{label:"TensorFlow",value:"https://studiolab.sagemaker.aws/import/github/huggingface/notebooks/blob/main/transformers_doc/ja/tensorflow/preprocessing.ipynb"}]}}),C=new _a({props:{$$slots:{default:[ze]},$$scope:{ctx:J}}}),E=new M({props:{code:"cGlwJTIwaW5zdGFsbCUyMGRhdGFzZXRz",highlighted:"pip install datasets",wrap:!1}}),L=new I({props:{title:"Natural Language Processing",local:"natural-language-processing",headingTag:"h2"}}),P=new He({props:{id:"Yffk5aydLzg"}}),x=new _a({props:{$$slots:{default:[Fe]},$$scope:{ctx:J}}}),K=new M({props:{code:"ZnJvbSUyMHRyYW5zZm9ybWVycyUyMGltcG9ydCUyMEF1dG9Ub2tlbml6ZXIlMEElMEF0b2tlbml6ZXIlMjAlM0QlMjBBdXRvVG9rZW5pemVyLmZyb21fcHJldHJhaW5lZCglMjJnb29nbGUtYmVydCUyRmJlcnQtYmFzZS1jYXNlZCUyMik=",highlighted:`<span class="hljs-meta">>>> </span><span class="hljs-keyword">from</span> transformers <span class="hljs-keyword">import</span> AutoTokenizer

	<span class="hljs-meta">>>> </span>tokenizer = AutoTokenizer.from_pretrained(<span class="hljs-string">"google-bert/bert-base-cased"</span>)`,wrap:!1}}),ss=new M({props:{code:"ZW5jb2RlZF9pbnB1dCUyMCUzRCUyMHRva2VuaXplciglMjJEbyUyMG5vdCUyMG1lZGRsZSUyMGluJTIwdGhlJTIwYWZmYWlycyUyMG9mJTIwd2l6YXJkcyUyQyUyMGZvciUyMHRoZXklMjBhcmUlMjBzdWJ0bGUlMjBhbmQlMjBxdWljayUyMHRvJTIwYW5nZXIuJTIyKSUwQXByaW50KGVuY29kZWRfaW5wdXQp",highlighted:`<span class="hljs-meta">>>> </span>encoded_input = tokenizer(<span class="hljs-string">"Do not meddle in the affairs of wizards, for they are subtle and quick to anger."</span>)
	<span class="hljs-meta">>>> </span><span class="hljs-built_in">print</span>(encoded_input)
	{<span class="hljs-string">'input_ids'</span>: [<span class="hljs-number">101</span>, <span class="hljs-number">2079</span>, <span class="hljs-number">2025</span>, <span class="hljs-number">19960</span>, <span class="hljs-number">10362</span>, <span class="hljs-number">1999</span>, <span class="hljs-number">1996</span>, <span class="hljs-number">3821</span>, <span class="hljs-number">1997</span>, <span class="hljs-number">16657</span>, <span class="hljs-number">1010</span>, <span class="hljs-number">2005</span>, <span class="hljs-number">2027</span>, <span class="hljs-number">2024</span>, <span class="hljs-number">11259</span>, <span class="hljs-number">1998</span>, <span class="hljs-number">4248</span>, <span class="hljs-number">2000</span>, <span class="hljs-number">4963</span>, <span class="hljs-number">1012</span>, <span class="hljs-number">102</span>],
	<span class="hljs-string">'token_type_ids'</span>: [<span class="hljs-number">0</span>, <span class="hljs-number">0</span>, <span class="hljs-number">0</span>, <span class="hljs-number">0</span>, <span class="hljs-number">0</span>, <span class="hljs-number">0</span>, <span class="hljs-number">0</span>, <span class="hljs-number">0</span>, <span class="hljs-number">0</span>, <span class="hljs-number">0</span>, <span class="hljs-number">0</span>, <span class="hljs-number">0</span>, <span class="hljs-number">0</span>, <span class="hljs-number">0</span>, <span class="hljs-number">0</span>, <span class="hljs-number">0</span>, <span class="hljs-number">0</span>, <span class="hljs-number">0</span>, <span class="hljs-number">0</span>, <span class="hljs-number">0</span>, <span class="hljs-number">0</span>],
	<span class="hljs-string">'attention_mask'</span>: [<span class="hljs-number">1</span>, <span class="hljs-number">1</span>, <span class="hljs-number">1</span>, <span class="hljs-number">1</span>, <span class="hljs-number">1</span>, <span class="hljs-number">1</span>, <span class="hljs-number">1</span>, <span class="hljs-number">1</span>, <span class="hljs-number">1</span>, <span class="hljs-number">1</span>, <span class="hljs-number">1</span>, <span class="hljs-number">1</span>, <span class="hljs-number">1</span>, <span class="hljs-number">1</span>, <span class="hljs-number">1</span>, <span class="hljs-number">1</span>, <span class="hljs-number">1</span>, <span class="hljs-number">1</span>, <span class="hljs-number">1</span>, <span class="hljs-number">1</span>, <span class="hljs-number">1</span>]}`,wrap:!1}}),es=new M({props:{code:"dG9rZW5pemVyLmRlY29kZShlbmNvZGVkX2lucHV0JTVCJTIyaW5wdXRfaWRzJTIyJTVEKQ==",highlighted:`<span class="hljs-meta">>>> </span>tokenizer.decode(encoded_input[<span class="hljs-string">"input_ids"</span>])
	<span class="hljs-string">'[CLS] 魔法使いの事に干渉するな、彼らは微妙で怒りっぽい。 [SEP]'</span>`,wrap:!1}}),rs=new M({props:{code:"YmF0Y2hfc2VudGVuY2VzJTIwJTNEJTIwJTVCJTBBJTIwJTIwJTIwJTIwJTIyQnV0JTIwd2hhdCUyMGFib3V0JTIwc2Vjb25kJTIwYnJlYWtmYXN0JTNGJTIyJTJDJTBBJTIwJTIwJTIwJTIwJTIyRG9uJ3QlMjB0aGluayUyMGhlJTIwa25vd3MlMjBhYm91dCUyMHNlY29uZCUyMGJyZWFrZmFzdCUyQyUyMFBpcC4lMjIlMkMlMEElMjAlMjAlMjAlMjAlMjJXaGF0JTIwYWJvdXQlMjBlbGV2ZW5zaWVzJTNGJTIyJTJDJTBBJTVEJTBBZW5jb2RlZF9pbnB1dHMlMjAlM0QlMjB0b2tlbml6ZXIoYmF0Y2hfc2VudGVuY2VzKSUwQXByaW50KGVuY29kZWRfaW5wdXRzKQ==",highlighted:`<span class="hljs-meta">>>> </span>batch_sentences = [
	<span class="hljs-meta">... </span> <span class="hljs-string">"But what about second breakfast?"</span>,
	<span class="hljs-meta">... </span> <span class="hljs-string">"Don't think he knows about second breakfast, Pip."</span>,
	<span class="hljs-meta">... </span> <span class="hljs-string">"What about elevensies?"</span>,
	<span class="hljs-meta">... </span>]
	<span class="hljs-meta">>>> </span>encoded_inputs = tokenizer(batch_sentences)
	<span class="hljs-meta">>>> </span><span class="hljs-built_in">print</span>(encoded_inputs)
	{<span class="hljs-string">'input_ids'</span>: [[<span class="hljs-number">101</span>, <span class="hljs-number">1252</span>, <span class="hljs-number">1184</span>, <span class="hljs-number">1164</span>, <span class="hljs-number">1248</span>, <span class="hljs-number">6462</span>, <span class="hljs-number">136</span>, <span class="hljs-number">102</span>],
	[<span class="hljs-number">101</span>, <span class="hljs-number">1790</span>, <span class="hljs-number">112</span>, <span class="hljs-number">189</span>, <span class="hljs-number">1341</span>, <span class="hljs-number">1119</span>, <span class="hljs-number">3520</span>, <span class="hljs-number">1164</span>, <span class="hljs-number">1248</span>, <span class="hljs-number">6462</span>, <span class="hljs-number">117</span>, <span class="hljs-number">21902</span>, <span class="hljs-number">1643</span>, <span class="hljs-number">119</span>, <span class="hljs-number">102</span>],
	[<span class="hljs-number">101</span>, <span class="hljs-number">1327</span>, <span class="hljs-number">1164</span>, <span class="hljs-number">5450</span>, <span class="hljs-number">23434</span>, <span class="hljs-number">136</span>, <span class="hljs-number">102</span>]],
	<span class="hljs-string">'token_type_ids'</span>: [[<span class="hljs-number">0</span>, <span class="hljs-number">0</span>, <span class="hljs-number">0</span>, <span class="hljs-number">0</span>, <span class="hljs-number">0</span>, <span class="hljs-number">0</span>, <span class="hljs-number">0</span>, <span class="hljs-number">0</span>],
	[<span class="hljs-number">0</span>, <span class="hljs-number">0</span>, <span class="hljs-number">0</span>, <span class="hljs-number">0</span>, <span class="hljs-number">0</span>, <span class="hljs-number">0</span>, <span class="hljs-number">0</span>, <span class="hljs-number">0</span>, <span class="hljs-number">0</span>, <span class="hljs-number">0</span>, <span class="hljs-number">0</span>, <span class="hljs-number">0</span>, <span class="hljs-number">0</span>, <span class="hljs-number">0</span>, <span class="hljs-number">0</span>],
	[<span class="hljs-number">0</span>, <span class="hljs-number">0</span>, <span class="hljs-number">0</span>, <span class="hljs-number">0</span>, <span class="hljs-number">0</span>, <span class="hljs-number">0</span>, <span class="hljs-number">0</span>]],
	<span class="hljs-string">'attention_mask'</span>: [[<span class="hljs-number">1</span>, <span class="hljs-number">1</span>, <span class="hljs-number">1</span>, <span class="hljs-number">1</span>, <span class="hljs-number">1</span>, <span class="hljs-number">1</span>, <span class="hljs-number">1</span>, <span class="hljs-number">1</span>],
	[<span class="hljs-number">1</span>, <span class="hljs-number">1</span>, <span class="hljs-number">1</span>, <span class="hljs-number">1</span>, <span class="hljs-number">1</span>, <span class="hljs-number">1</span>, <span class="hljs-number">1</span>, <span class="hljs-number">1</span>, <span class="hljs-number">1</span>, <span class="hljs-number">1</span>, <span class="hljs-number">1</span>, <span class="hljs-number">1</span>, <span class="hljs-number">1</span>, <span class="hljs-number">1</span>, <span class="hljs-number">1</span>],
	[<span class="hljs-number">1</span>, <span class="hljs-number">1</span>, <span class="hljs-number">1</span>, <span class="hljs-number">1</span>, <span class="hljs-number">1</span>, <span class="hljs-number">1</span>, <span class="hljs-number">1</span>]]}`,wrap:!1}}),ms=new I({props:{title:"Pad",local:"pad",headingTag:"h3"}}),hs=new M({props:{code:"YmF0Y2hfc2VudGVuY2VzJTIwJTNEJTIwJTVCJTBBJTIwJTIwJTIwJTIwJTIyQnV0JTIwd2hhdCUyMGFib3V0JTIwc2Vjb25kJTIwYnJlYWtmYXN0JTNGJTIyJTJDJTBBJTIwJTIwJTIwJTIwJTIyRG9uJ3QlMjB0aGluayUyMGhlJTIwa25vd3MlMjBhYm91dCUyMHNlY29uZCUyMGJyZWFrZmFzdCUyQyUyMFBpcC4lMjIlMkMlMEElMjAlMjAlMjAlMjAlMjJXaGF0JTIwYWJvdXQlMjBlbGV2ZW5zaWVzJTNGJTIyJTJDJTBBJTVEJTBBZW5jb2RlZF9pbnB1dCUyMCUzRCUyMHRva2VuaXplcihiYXRjaF9zZW50ZW5jZXMlMkMlMjBwYWRkaW5nJTNEVHJ1ZSklMEFwcmludChlbmNvZGVkX2lucHV0KQ==",highlighted:`<span class="hljs-meta">>>> </span>batch_sentences = [
	<span class="hljs-meta">... </span> <span class="hljs-string">"But what about second breakfast?"</span>,
	<span class="hljs-meta">... </span> <span class="hljs-string">"Don't think he knows about second breakfast, Pip."</span>,
	<span class="hljs-meta">... </span> <span class="hljs-string">"What about elevensies?"</span>,
	<span class="hljs-meta">... </span>]
	<span class="hljs-meta">>>> </span>encoded_input = tokenizer(batch_sentences, padding=<span class="hljs-literal">True</span>)
	<span class="hljs-meta">>>> </span><span class="hljs-built_in">print</span>(encoded_input)
	{<span class="hljs-string">'input_ids'</span>: [[<span class="hljs-number">101</span>, <span class="hljs-number">1252</span>, <span class="hljs-number">1184</span>, <span class="hljs-number">1164</span>, <span class="hljs-number">1248</span>, <span class="hljs-number">6462</span>, <span class="hljs-number">136</span>, <span class="hljs-number">102</span>, <span class="hljs-number">0</span>, <span class="hljs-number">0</span>, <span class="hljs-number">0</span>, <span class="hljs-number">0</span>, <span class="hljs-number">0</span>, <span class="hljs-number">0</span>, <span class="hljs-number">0</span>],
	[<span class="hljs-number">101</span>, <span class="hljs-number">1790</span>, <span class="hljs-number">112</span>, <span class="hljs-number">189</span>, <span class="hljs-number">1341</span>, <span class="hljs-number">1119</span>, <span class="hljs-number">3520</span>, <span class="hljs-number">1164</span>, <span class="hljs-number">1248</span>, <span class="hljs-number">6462</span>, <span class="hljs-number">117</span>, <span class="hljs-number">21902</span>, <span class="hljs-number">1643</span>, <span class="hljs-number">119</span>, <span class="hljs-number">102</span>],
	[<span class="hljs-number">101</span>, <span class="hljs-number">1327</span>, <span class="hljs-number">1164</span>, <span class="hljs-number">5450</span>, <span class="hljs-number">23434</span>, <span class="hljs-number">136</span>, <span class="hljs-number">102</span>, <span class="hljs-number">0</span>, <span class="hljs-number">0</span>, <span class="hljs-number">0</span>, <span class="hljs-number">0</span>, <span class="hljs-number">0</span>, <span class="hljs-number">0</span>, <span class="hljs-number">0</span>, <span class="hljs-number">0</span>]],
	<span class="hljs-string">'token_type_ids'</span>: [[<span class="hljs-number">0</span>, <span class="hljs-number">0</span>, <span class="hljs-number">0</span>, <span class="hljs-number">0</span>, <span class="hljs-number">0</span>, <span class="hljs-number">0</span>, <span class="hljs-number">0</span>, <span class="hljs-number">0</span>, <span class="hljs-number">0</span>, <span class="hljs-number">0</span>, <span class="hljs-number">0</span>, <span class="hljs-number">0</span>, <span class="hljs-number">0</span>, <span class="hljs-number">0</span>, <span class="hljs-number">0</span>],
	[<span class="hljs-number">0</span>, <span class="hljs-number">0</span>, <span class="hljs-number">0</span>, <span class="hljs-number">0</span>, <span class="hljs-number">0</span>, <span class="hljs-number">0</span>, <span class="hljs-number">0</span>, <span class="hljs-number">0</span>, <span class="hljs-number">0</span>, <span class="hljs-number">0</span>, <span class="hljs-number">0</span>, <span class="hljs-number">0</span>, <span class="hljs-number">0</span>, <span class="hljs-number">0</span>, <span class="hljs-number">0</span>],
	[<span class="hljs-number">0</span>, <span class="hljs-number">0</span>, <span class="hljs-number">0</span>, <span class="hljs-number">0</span>, <span class="hljs-number">0</span>, <span class="hljs-number">0</span>, <span class="hljs-number">0</span>, <span class="hljs-number">0</span>, <span class="hljs-number">0</span>, <span class="hljs-number">0</span>, <span class="hljs-number">0</span>, <span class="hljs-number">0</span>, <span class="hljs-number">0</span>, <span class="hljs-number">0</span>, <span class="hljs-number">0</span>]],
	<span class="hljs-string">'attention_mask'</span>: [[<span class="hljs-number">1</span>, <span class="hljs-number">1</span>, <span class="hljs-number">1</span>, <span class="hljs-number">1</span>, <span class="hljs-number">1</span>, <span class="hljs-number">1</span>, <span class="hljs-number">1</span>, <span class="hljs-number">1</span>, <span class="hljs-number">0</span>, <span class="hljs-number">0</span>, <span class="hljs-number">0</span>, <span class="hljs-number">0</span>, <span class="hljs-number">0</span>, <span class="hljs-number">0</span>, <span class="hljs-number">0</span>],
	[<span class="hljs-number">1</span>, <span class="hljs-number">1</span>, <span class="hljs-number">1</span>, <span class="hljs-number">1</span>, <span class="hljs-number">1</span>, <span class="hljs-number">1</span>, <span class="hljs-number">1</span>, <span class="hljs-number">1</span>, <span class="hljs-number">1</span>, <span class="hljs-number">1</span>, <span class="hljs-number">1</span>, <span class="hljs-number">1</span>, <span class="hljs-number">1</span>, <span class="hljs-number">1</span>, <span class="hljs-number">1</span>],
	[<span class="hljs-number">1</span>, <span class="hljs-number">1</span>, <span class="hljs-number">1</span>, <span class="hljs-number">1</span>, <span class="hljs-number">1</span>, <span class="hljs-number">1</span>, <span class="hljs-number">1</span>, <span class="hljs-number">0</span>, <span class="hljs-number">0</span>, <span class="hljs-number">0</span>, <span class="hljs-number">0</span>, <span class="hljs-number">0</span>, <span class="hljs-number">0</span>, <span class="hljs-number">0</span>, <span class="hljs-number">0</span>]]}`,wrap:!1}}),bs=new I({props:{title:"Truncation",local:"truncation",headingTag:"h3"}}),fs=new M({props:{code:"YmF0Y2hfc2VudGVuY2VzJTIwJTNEJTIwJTVCJTBBJTIwJTIwJTIwJTIwJTIyQnV0JTIwd2hhdCUyMGFib3V0JTIwc2Vjb25kJTIwYnJlYWtmYXN0JTNGJTIyJTJDJTBBJTIwJTIwJTIwJTIwJTIyRG9uJ3QlMjB0aGluayUyMGhlJTIwa25vd3MlMjBhYm91dCUyMHNlY29uZCUyMGJyZWFrZmFzdCUyQyUyMFBpcC4lMjIlMkMlMEElMjAlMjAlMjAlMjAlMjJXaGF0JTIwYWJvdXQlMjBlbGV2ZW5zaWVzJTNGJTIyJTJDJTBBJTVEJTBBZW5jb2RlZF9pbnB1dCUyMCUzRCUyMHRva2VuaXplcihiYXRjaF9zZW50ZW5jZXMlMkMlMjBwYWRkaW5nJTNEVHJ1ZSUyQyUyMHRydW5jYXRpb24lM0RUcnVlKSUwQXByaW50KGVuY29kZWRfaW5wdXQp",highlighted:`<span class="hljs-meta">>>> </span>batch_sentences = [
	<span class="hljs-meta">... </span> <span class="hljs-string">"But what about second breakfast?"</span>,
	<span class="hljs-meta">... </span> <span class="hljs-string">"Don't think he knows about second breakfast, Pip."</span>,
	<span class="hljs-meta">... </span> <span class="hljs-string">"What about elevensies?"</span>,
	<span class="hljs-meta">... </span>]
	<span class="hljs-meta">>>> </span>encoded_input = tokenizer(batch_sentences, padding=<span class="hljs-literal">True</span>, truncation=<span class="hljs-literal">True</span>)
	<span class="hljs-meta">>>> </span><span class="hljs-built_in">print</span>(encoded_input)
	{<span class="hljs-string">'input_ids'</span>: [[<span class="hljs-number">101</span>, <span class="hljs-number">1252</span>, <span class="hljs-number">1184</span>, <span class="hljs-number">1164</span>, <span class="hljs-number">1248</span>, <span class="hljs-number">6462</span>, <span class="hljs-number">136</span>, <span class="hljs-number">102</span>, <span class="hljs-number">0</span>, <span class="hljs-number">0</span>, <span class="hljs-number">0</span>, <span class="hljs-number">0</span>, <span class="hljs-number">0</span>, <span class="hljs-number">0</span>, <span class="hljs-number">0</span>],
	[<span class="hljs-number">101</span>, <span class="hljs-number">1790</span>, <span class="hljs-number">112</span>, <span class="hljs-number">189</span>, <span class="hljs-number">1341</span>, <span class="hljs-number">1119</span>, <span class="hljs-number">3520</span>, <span class="hljs-number">1164</span>, <span class="hljs-number">1248</span>, <span class="hljs-number">6462</span>, <span class="hljs-number">117</span>, <span class="hljs-number">21902</span>, <span class="hljs-number">1643</span>, <span class="hljs-number">119</span>, <span class="hljs-number">102</span>],
	[<span class="hljs-number">101</span>, <span class="hljs-number">1327</span>, <span class="hljs-number">1164</span>, <span class="hljs-number">5450</span>, <span class="hljs-number">23434</span>, <span class="hljs-number">136</span>, <span class="hljs-number">102</span>, <span class="hljs-number">0</span>, <span class="hljs-number">0</span>, <span class="hljs-number">0</span>, <span class="hljs-number">0</span>, <span class="hljs-number">0</span>, <span class="hljs-number">0</span>, <span class="hljs-number">0</span>, <span class="hljs-number">0</span>]],
	<span class="hljs-string">'token_type_ids'</span>: [[<span class="hljs-number">0</span>, <span class="hljs-number">0</span>, <span class="hljs-number">0</span>, <span class="hljs-number">0</span>, <span class="hljs-number">0</span>, <span class="hljs-number">0</span>, <span class="hljs-number">0</span>, <span class="hljs-number">0</span>, <span class="hljs-number">0</span>, <span class="hljs-number">0</span>, <span class="hljs-number">0</span>, <span class="hljs-number">0</span>, <span class="hljs-number">0</span>, <span class="hljs-number">0</span>, <span class="hljs-number">0</span>],
	[<span class="hljs-number">0</span>, <span class="hljs-number">0</span>, <span class="hljs-number">0</span>, <span class="hljs-number">0</span>, <span class="hljs-number">0</span>, <span class="hljs-number">0</span>, <span class="hljs-number">0</span>, <span class="hljs-number">0</span>, <span class="hljs-number">0</span>, <span class="hljs-number">0</span>, <span class="hljs-number">0</span>, <span class="hljs-number">0</span>, <span class="hljs-number">0</span>, <span class="hljs-number">0</span>, <span class="hljs-number">0</span>],
	[<span class="hljs-number">0</span>, <span class="hljs-number">0</span>, <span class="hljs-number">0</span>, <span class="hljs-number">0</span>, <span class="hljs-number">0</span>, <span class="hljs-number">0</span>, <span class="hljs-number">0</span>, <span class="hljs-number">0</span>, <span class="hljs-number">0</span>, <span class="hljs-number">0</span>, <span class="hljs-number">0</span>, <span class="hljs-number">0</span>, <span class="hljs-number">0</span>, <span class="hljs-number">0</span>, <span class="hljs-number">0</span>]],
	<span class="hljs-string">'attention_mask'</span>: [[<span class="hljs-number">1</span>, <span class="hljs-number">1</span>, <span class="hljs-number">1</span>, <span class="hljs-number">1</span>, <span class="hljs-number">1</span>, <span class="hljs-number">1</span>, <span class="hljs-number">1</span>, <span class="hljs-number">1</span>, <span class="hljs-number">0</span>, <span class="hljs-number">0</span>, <span class="hljs-number">0</span>, <span class="hljs-number">0</span>, <span class="hljs-number">0</span>, <span class="hljs-number">0</span>, <span class="hljs-number">0</span>],
	[<span class="hljs-number">1</span>, <span class="hljs-number">1</span>, <span class="hljs-number">1</span>, <span class="hljs-number">1</span>, <span class="hljs-number">1</span>, <span class="hljs-number">1</span>, <span class="hljs-number">1</span>, <span class="hljs-number">1</span>, <span class="hljs-number">1</span>, <span class="hljs-number">1</span>, <span class="hljs-number">1</span>, <span class="hljs-number">1</span>, <span class="hljs-number">1</span>, <span class="hljs-number">1</span>, <span class="hljs-number">1</span>],
	[<span class="hljs-number">1</span>, <span class="hljs-number">1</span>, <span class="hljs-number">1</span>, <span class="hljs-number">1</span>, <span class="hljs-number">1</span>, <span class="hljs-number">1</span>, <span class="hljs-number">1</span>, <span class="hljs-number">0</span>, <span class="hljs-number">0</span>, <span class="hljs-number">0</span>, <span class="hljs-number">0</span>, <span class="hljs-number">0</span>, <span class="hljs-number">0</span>, <span class="hljs-number">0</span>, <span class="hljs-number">0</span>]]}`,wrap:!1}}),k=new _a({props:{$$slots:{default:[Qe]},$$scope:{ctx:J}}}),ds=new I({props:{title:"Build tensors",local:"build-tensors",headingTag:"h3"}}),Z=new Ne({props:{pytorch:!0,tensorflow:!0,jax:!1,$$slots:{tensorflow:[Pe],pytorch:[Ee]},$$scope:{ctx:J}}}),Js=new I({props:{title:"Audio",local:"audio",headingTag:"h2"}}),ys=new M({props:{code:"ZnJvbSUyMGRhdGFzZXRzJTIwaW1wb3J0JTIwbG9hZF9kYXRhc2V0JTJDJTIwQXVkaW8lMEElMEFkYXRhc2V0JTIwJTNEJTIwbG9hZF9kYXRhc2V0KCUyMlBvbHlBSSUyRm1pbmRzMTQlMjIlMkMlMjBuYW1lJTNEJTIyZW4tVVMlMjIlMkMlMjBzcGxpdCUzRCUyMnRyYWluJTIyKQ==",highlighted:`<span class="hljs-meta">>>> </span><span class="hljs-keyword">from</span> datasets <span class="hljs-keyword">import</span> load_dataset, Audio

	<span class="hljs-meta">>>> </span>dataset = load_dataset(<span class="hljs-string">"PolyAI/minds14"</span>, name=<span class="hljs-string">"en-US"</span>, split=<span class="hljs-string">"train"</span>)`,wrap:!1}}),_s=new M({props:{code:"ZGF0YXNldCU1QjAlNUQlNUIlMjJhdWRpbyUyMiU1RA==",highlighted:`<span class="hljs-meta">>>> </span>dataset[<span class="hljs-number">0</span>][<span class="hljs-string">"audio"</span>]
	{<span class="hljs-string">'array'</span>: array([ <span class="hljs-number">0.</span> , <span class="hljs-number">0.00024414</span>, -<span class="hljs-number">0.00024414</span>, ..., -<span class="hljs-number">0.00024414</span>,
	<span class="hljs-number">0.</span> , <span class="hljs-number">0.</span> ], dtype=float32),
	<span class="hljs-string">'path'</span>: <span class="hljs-string">'/root/.cache/huggingface/datasets/downloads/extracted/f14948e0e84be638dd7943ac36518a4cf3324e8b7aa331c5ab11541518e9368c/en-US~JOINT_ACCOUNT/602ba55abb1e6d0fbce92065.wav'</span>,
	<span class="hljs-string">'sampling_rate'</span>: <span class="hljs-number">8000</span>}`,wrap:!1}}),xs=new M({props:{code:"ZGF0YXNldCUyMCUzRCUyMGRhdGFzZXQuY2FzdF9jb2x1bW4oJTIyYXVkaW8lMjIlMkMlMjBBdWRpbyhzYW1wbGluZ19yYXRlJTNEMTZfMDAwKSk=",highlighted:'<span class="hljs-meta">>>> </span>dataset = dataset.cast_column(<span class="hljs-string">"audio"</span>, Audio(sampling_rate=<span class="hljs-number">16_000</span>))',wrap:!1}}),ks=new M({props:{code:"ZGF0YXNldCU1QjAlNUQlNUIlMjJhdWRpbyUyMiU1RA==",highlighted:`<span class="hljs-meta">>>> </span>dataset[<span class="hljs-number">0</span>][<span class="hljs-string">"audio"</span>]
	{<span class="hljs-string">'array'</span>: array([ <span class="hljs-number">2.3443763e-05</span>, <span class="hljs-number">2.1729663e-04</span>, <span class="hljs-number">2.2145823e-04</span>, ...,
	<span class="hljs-number">3.8356509e-05</span>, -<span class="hljs-number">7.3497440e-06</span>, -<span class="hljs-number">2.1754686e-05</span>], dtype=float32),
	<span class="hljs-string">'path'</span>: <span class="hljs-string">'/root/.cache/huggingface/datasets/downloads/extracted/f14948e0e84be638dd7943ac36518a4cf3324e8b7aa331c5ab11541518e9368c/en-US~JOINT_ACCOUNT/602ba55abb1e6d0fbce92065.wav'</span>,
	<span class="hljs-string">'sampling_rate'</span>: <span class="hljs-number">16000</span>}`,wrap:!1}}),Vs=new M({props:{code:"ZnJvbSUyMHRyYW5zZm9ybWVycyUyMGltcG9ydCUyMEF1dG9GZWF0dXJlRXh0cmFjdG9yJTBBJTBBZmVhdHVyZV9leHRyYWN0b3IlMjAlM0QlMjBBdXRvRmVhdHVyZUV4dHJhY3Rvci5mcm9tX3ByZXRyYWluZWQoJTIyZmFjZWJvb2slMkZ3YXYydmVjMi1iYXNlJTIyKQ==",highlighted:`<span class="hljs-meta">>>> </span><span class="hljs-keyword">from</span> transformers <span class="hljs-keyword">import</span> AutoFeatureExtractor

	<span class="hljs-meta">>>> </span>feature_extractor = AutoFeatureExtractor.from_pretrained(<span class="hljs-string">"facebook/wav2vec2-base"</span>)`,wrap:!1}}),Ws=new M({props:{code:"YXVkaW9faW5wdXQlMjAlM0QlMjAlNUJkYXRhc2V0JTVCMCU1RCU1QiUyMmF1ZGlvJTIyJTVEJTVCJTIyYXJyYXklMjIlNUQlNUQlMEFmZWF0dXJlX2V4dHJhY3RvcihhdWRpb19pbnB1dCUyQyUyMHNhbXBsaW5nX3JhdGUlM0QxNjAwMCk=",highlighted:`<span class="hljs-meta">>>> </span>audio_input = [dataset[<span class="hljs-number">0</span>][<span class="hljs-string">"audio"</span>][<span class="hljs-string">"array"</span>]]
	<span class="hljs-meta">>>> </span>feature_extractor(audio_input, sampling_rate=<span class="hljs-number">16000</span>)
	{<span class="hljs-string">'input_values'</span>: [array([ <span class="hljs-number">3.8106556e-04</span>, <span class="hljs-number">2.7506407e-03</span>, <span class="hljs-number">2.8015103e-03</span>, ...,
	<span class="hljs-number">5.6335266e-04</span>, <span class="hljs-number">4.6588284e-06</span>, -<span class="hljs-number">1.7142107e-04</span>], dtype=float32)]}`,wrap:!1}}),Xs=new M({props:{code:"ZGF0YXNldCU1QjAlNUQlNUIlMjJhdWRpbyUyMiU1RCU1QiUyMmFycmF5JTIyJTVELnNoYXBlJTBBJTBBZGF0YXNldCU1QjElNUQlNUIlMjJhdWRpbyUyMiU1RCU1QiUyMmFycmF5JTIyJTVELnNoYXBl",highlighted:`<span class="hljs-meta">>>> </span>dataset[<span class="hljs-number">0</span>][<span class="hljs-string">"audio"</span>][<span class="hljs-string">"array"</span>].shape
	(<span class="hljs-number">173398</span>,)

	<span class="hljs-meta">>>> </span>dataset[<span class="hljs-number">1</span>][<span class="hljs-string">"audio"</span>][<span class="hljs-string">"array"</span>].shape
	(<span class="hljs-number">106496</span>,)`,wrap:!1}}),Ys=new M({props:{code:"ZGVmJTIwcHJlcHJvY2Vzc19mdW5jdGlvbihleGFtcGxlcyklM0ElMEElMjAlMjAlMjAlMjBhdWRpb19hcnJheXMlMjAlM0QlMjAlNUJ4JTVCJTIyYXJyYXklMjIlNUQlMjBmb3IlMjB4JTIwaW4lMjBleGFtcGxlcyU1QiUyMmF1ZGlvJTIyJTVEJTVEJTBBJTIwJTIwJTIwJTIwaW5wdXRzJTIwJTNEJTIwZmVhdHVyZV9leHRyYWN0b3IoJTBBJTIwJTIwJTIwJTIwJTIwJTIwJTIwJTIwYXVkaW9fYXJyYXlzJTJDJTBBJTIwJTIwJTIwJTIwJTIwJTIwJTIwJTIwc2FtcGxpbmdfcmF0ZSUzRDE2MDAwJTJDJTBBJTIwJTIwJTIwJTIwJTIwJTIwJTIwJTIwcGFkZGluZyUzRFRydWUlMkMlMEElMjAlMjAlMjAlMjAlMjAlMjAlMjAlMjBtYXhfbGVuZ3RoJTNEMTAwMDAwJTJDJTBBJTIwJTIwJTIwJTIwJTIwJTIwJTIwJTIwdHJ1bmNhdGlvbiUzRFRydWUlMkMlMEElMjAlMjAlMjAlMjApJTBBJTIwJTIwJTIwJTIwcmV0dXJuJTIwaW5wdXRz",highlighted:`<span class="hljs-meta">>>> </span><span class="hljs-keyword">def</span> <span class="hljs-title function_">preprocess_function</span>(<span class="hljs-params">examples</span>):
	<span class="hljs-meta">... </span> audio_arrays = [x[<span class="hljs-string">"array"</span>] <span class="hljs-keyword">for</span> x <span class="hljs-keyword">in</span> examples[<span class="hljs-string">"audio"</span>]]
	<span class="hljs-meta">... </span> inputs = feature_extractor(
	<span class="hljs-meta">... </span> audio_arrays,
	<span class="hljs-meta">... </span> sampling_rate=<span class="hljs-number">16000</span>,
	<span class="hljs-meta">... </span> padding=<span class="hljs-literal">True</span>,
	<span class="hljs-meta">... </span> max_length=<span class="hljs-number">100000</span>,
	<span class="hljs-meta">... </span> truncation=<span class="hljs-literal">True</span>,
	<span class="hljs-meta">... </span> )
	<span class="hljs-meta">... </span> <span class="hljs-keyword">return</span> inputs`,wrap:!1}}),qs=new M({props:{code:"cHJvY2Vzc2VkX2RhdGFzZXQlMjAlM0QlMjBwcmVwcm9jZXNzX2Z1bmN0aW9uKGRhdGFzZXQlNUIlM0E1JTVEKQ==",highlighted:'<span class="hljs-meta">>>> </span>processed_dataset = preprocess_function(dataset[:<span class="hljs-number">5</span>])',wrap:!1}}),Fs=new M({props:{code:"cHJvY2Vzc2VkX2RhdGFzZXQlNUIlMjJpbnB1dF92YWx1ZXMlMjIlNUQlNUIwJTVELnNoYXBlJTBBJTBBcHJvY2Vzc2VkX2RhdGFzZXQlNUIlMjJpbnB1dF92YWx1ZXMlMjIlNUQlNUIxJTVELnNoYXBl",highlighted:`<span class="hljs-meta">>>> </span>processed_dataset[<span class="hljs-string">"input_values"</span>][<span class="hljs-number">0</span>].shape
	(<span class="hljs-number">100000</span>,)

	<span class="hljs-meta">>>> </span>processed_dataset[<span class="hljs-string">"input_values"</span>][<span class="hljs-number">1</span>].shape
	(<span class="hljs-number">100000</span>,)`,wrap:!1}}),Qs=new I({props:{title:"Computer Vision",local:"computer-vision",headingTag:"h2"}}),V=new _a({props:{$$slots:{default:[Se]},$$scope:{ctx:J}}}),B=new _a({props:{$$slots:{default:[De]},$$scope:{ctx:J}}}),Ls=new M({props:{code:"ZnJvbSUyMGRhdGFzZXRzJTIwaW1wb3J0JTIwbG9hZF9kYXRhc2V0JTBBJTBBZGF0YXNldCUyMCUzRCUyMGxvYWRfZGF0YXNldCglMjJmb29kMTAxJTIyJTJDJTIwc3BsaXQlM0QlMjJ0cmFpbiU1QiUzQTEwMCU1RCUyMik=",highlighted:`<span class="hljs-meta">>>> </span><span class="hljs-keyword">from</span> datasets <span class="hljs-keyword">import</span> load_dataset

	<span class="hljs-meta">>>> </span>dataset = load_dataset(<span class="hljs-string">"food101"</span>, split=<span class="hljs-string">"train[:100]"</span>)`,wrap:!1}}),Ss=new M({props:{code:"ZGF0YXNldCU1QjAlNUQlNUIlMjJpbWFnZSUyMiU1RA==",highlighted:'<span class="hljs-meta">>>> </span>dataset[<span class="hljs-number">0</span>][<span class="hljs-string">"image"</span>]',wrap:!1}}),Ks=new M({props:{code:"ZnJvbSUyMHRyYW5zZm9ybWVycyUyMGltcG9ydCUyMEF1dG9JbWFnZVByb2Nlc3NvciUwQSUwQWltYWdlX3Byb2Nlc3NvciUyMCUzRCUyMEF1dG9JbWFnZVByb2Nlc3Nvci5mcm9tX3ByZXRyYWluZWQoJTIyZ29vZ2xlJTJGdml0LWJhc2UtcGF0Y2gxNi0yMjQlMjIp",highlighted:`<span class="hljs-meta">>>> </span><span class="hljs-keyword">from</span> transformers <span class="hljs-keyword">import</span> AutoImageProcessor

	<span class="hljs-meta">>>> </span>image_processor = AutoImageProcessor.from_pretrained(<span class="hljs-string">"google/vit-base-patch16-224"</span>)`,wrap:!1}}),sa=new M({props:{code:"ZnJvbSUyMHRvcmNodmlzaW9uLnRyYW5zZm9ybXMlMjBpbXBvcnQlMjBSYW5kb21SZXNpemVkQ3JvcCUyQyUyMENvbG9ySml0dGVyJTJDJTIwQ29tcG9zZSUwQSUwQXNpemUlMjAlM0QlMjAoJTBBJTIwJTIwJTIwJTIwaW1hZ2VfcHJvY2Vzc29yLnNpemUlNUIlMjJzaG9ydGVzdF9lZGdlJTIyJTVEJTBBJTIwJTIwJTIwJTIwaWYlMjAlMjJzaG9ydGVzdF9lZGdlJTIyJTIwaW4lMjBpbWFnZV9wcm9jZXNzb3Iuc2l6ZSUwQSUyMCUyMCUyMCUyMGVsc2UlMjAoaW1hZ2VfcHJvY2Vzc29yLnNpemUlNUIlMjJoZWlnaHQlMjIlNUQlMkMlMjBpbWFnZV9wcm9jZXNzb3Iuc2l6ZSU1QiUyMndpZHRoJTIyJTVEKSUwQSklMEElMEFfdHJhbnNmb3JtcyUyMCUzRCUyMENvbXBvc2UoJTVCUmFuZG9tUmVzaXplZENyb3Aoc2l6ZSklMkMlMjBDb2xvckppdHRlcihicmlnaHRuZXNzJTNEMC41JTJDJTIwaHVlJTNEMC41KSU1RCk=",highlighted:`<span class="hljs-meta">>>> </span><span class="hljs-keyword">from</span> torchvision.transforms <span class="hljs-keyword">import</span> RandomResizedCrop, ColorJitter, Compose

	<span class="hljs-meta">>>> </span>size = (
	<span class="hljs-meta">... </span> image_processor.size[<span class="hljs-string">"shortest_edge"</span>]
	<span class="hljs-meta">... </span> <span class="hljs-keyword">if</span> <span class="hljs-string">"shortest_edge"</span> <span class="hljs-keyword">in</span> image_processor.size
	<span class="hljs-meta">... </span> <span class="hljs-keyword">else</span> (image_processor.size[<span class="hljs-string">"height"</span>], image_processor.size[<span class="hljs-string">"width"</span>])
	<span class="hljs-meta">... </span>)

	<span class="hljs-meta">>>> </span>_transforms = Compose([RandomResizedCrop(size), ColorJitter(brightness=<span class="hljs-number">0.5</span>, hue=<span class="hljs-number">0.5</span>)])`,wrap:!1}}),aa=new M({props:{code:"ZGVmJTIwdHJhbnNmb3JtcyhleGFtcGxlcyklM0ElMEElMjAlMjAlMjAlMjBpbWFnZXMlMjAlM0QlMjAlNUJfdHJhbnNmb3JtcyhpbWcuY29udmVydCglMjJSR0IlMjIpKSUyMGZvciUyMGltZyUyMGluJTIwZXhhbXBsZXMlNUIlMjJpbWFnZSUyMiU1RCU1RCUwQSUyMCUyMCUyMCUyMGV4YW1wbGVzJTVCJTIycGl4ZWxfdmFsdWVzJTIyJTVEJTIwJTNEJTIwaW1hZ2VfcHJvY2Vzc29yKGltYWdlcyUyQyUyMGRvX3Jlc2l6ZSUzREZhbHNlJTJDJTIwcmV0dXJuX3RlbnNvcnMlM0QlMjJwdCUyMiklNUIlMjJwaXhlbF92YWx1ZXMlMjIlNUQlMEElMjAlMjAlMjAlMjByZXR1cm4lMjBleGFtcGxlcw==",highlighted:`<span class="hljs-meta">>>> </span><span class="hljs-keyword">def</span> <span class="hljs-title function_">transforms</span>(<span class="hljs-params">examples</span>):
	<span class="hljs-meta">... </span> images = [_transforms(img.convert(<span class="hljs-string">"RGB"</span>)) <span class="hljs-keyword">for</span> img <span class="hljs-keyword">in</span> examples[<span class="hljs-string">"image"</span>]]
	<span class="hljs-meta">... </span> examples[<span class="hljs-string">"pixel_values"</span>] = image_processor(images, do_resize=<span class="hljs-literal">False</span>, return_tensors=<span class="hljs-string">"pt"</span>)[<span class="hljs-string">"pixel_values"</span>]
	<span class="hljs-meta">... </span> <span class="hljs-keyword">return</span> examples`,wrap:!1}}),X=new _a({props:{$$slots:{default:[Ke]},$$scope:{ctx:J}}}),na=new M({props:{code:"ZGF0YXNldC5zZXRfdHJhbnNmb3JtKHRyYW5zZm9ybXMp",highlighted:'<span class="hljs-meta">>>> </span>dataset.set_transform(transforms)',wrap:!1}}),la=new M({props:{code:"ZGF0YXNldCU1QjAlNUQua2V5cygp",highlighted:'<span class="hljs-meta">>>> </span>dataset[<span class="hljs-number">0</span>].keys()',wrap:!1}}),pa=new M({props:{code:"aW1wb3J0JTIwbnVtcHklMjBhcyUyMG5wJTBBaW1wb3J0JTIwbWF0cGxvdGxpYi5weXBsb3QlMjBhcyUyMHBsdCUwQSUwQWltZyUyMCUzRCUyMGRhdGFzZXQlNUIwJTVEJTVCJTIycGl4ZWxfdmFsdWVzJTIyJTVEJTBBcGx0Lmltc2hvdyhpbWcucGVybXV0ZSgxJTJDJTIwMiUyQyUyMDApKQ==",highlighted:`<span class="hljs-meta">>>> </span><span class="hljs-keyword">import</span> numpy <span class="hljs-keyword">as</span> np
	<span class="hljs-meta">>>> </span><span class="hljs-keyword">import</span> matplotlib.pyplot <span class="hljs-keyword">as</span> plt

	<span class="hljs-meta">>>> </span>img = dataset[<span class="hljs-number">0</span>][<span class="hljs-string">"pixel_values"</span>]
	<span class="hljs-meta">>>> </span>plt.imshow(img.permute(<span class="hljs-number">1</span>, <span class="hljs-number">2</span>, <span class="hljs-number">0</span>))`,wrap:!1}}),q=new _a({props:{$$slots:{default:[Oe]},$$scope:{ctx:J}}}),ta=new I({props:{title:"Pad",local:"pad",headingTag:"h3"}}),ma=new M({props:{code:"ZGVmJTIwY29sbGF0ZV9mbihiYXRjaCklM0ElMEElMjAlMjAlMjAlMjBwaXhlbF92YWx1ZXMlMjAlM0QlMjAlNUJpdGVtJTVCJTIycGl4ZWxfdmFsdWVzJTIyJTVEJTIwZm9yJTIwaXRlbSUyMGluJTIwYmF0Y2glNUQlMEElMjAlMjAlMjAlMjBlbmNvZGluZyUyMCUzRCUyMGltYWdlX3Byb2Nlc3Nvci5wYWQocGl4ZWxfdmFsdWVzJTJDJTIwcmV0dXJuX3RlbnNvcnMlM0QlMjJwdCUyMiklMEElMjAlMjAlMjAlMjBsYWJlbHMlMjAlM0QlMjAlNUJpdGVtJTVCJTIybGFiZWxzJTIyJTVEJTIwZm9yJTIwaXRlbSUyMGluJTIwYmF0Y2glNUQlMEElMjAlMjAlMjAlMjBiYXRjaCUyMCUzRCUyMCU3QiU3RCUwQSUyMCUyMCUyMCUyMGJhdGNoJTVCJTIycGl4ZWxfdmFsdWVzJTIyJTVEJTIwJTNEJTIwZW5jb2RpbmclNUIlMjJwaXhlbF92YWx1ZXMlMjIlNUQlMEElMjAlMjAlMjAlMjBiYXRjaCU1QiUyMnBpeGVsX21hc2slMjIlNUQlMjAlM0QlMjBlbmNvZGluZyU1QiUyMnBpeGVsX21hc2slMjIlNUQlMEElMjAlMjAlMjAlMjBiYXRjaCU1QiUyMmxhYmVscyUyMiU1RCUyMCUzRCUyMGxhYmVscyUwQSUyMCUyMCUyMCUyMHJldHVybiUyMGJhdGNo",highlighted:`<span class="hljs-meta">>>> </span><span class="hljs-keyword">def</span> <span class="hljs-title function_">collate_fn</span>(<span class="hljs-params">batch</span>):
	<span class="hljs-meta">... </span> pixel_values = [item[<span class="hljs-string">"pixel_values"</span>] <span class="hljs-keyword">for</span> item <span class="hljs-keyword">in</span> batch]
	<span class="hljs-meta">... </span> encoding = image_processor.pad(pixel_values, return_tensors=<span class="hljs-string">"pt"</span>)
	<span class="hljs-meta">... </span> labels = [item[<span class="hljs-string">"labels"</span>] <span class="hljs-keyword">for</span> item <span class="hljs-keyword">in</span> batch]
	<span class="hljs-meta">... </span> batch = {}
	<span class="hljs-meta">... </span> batch[<span class="hljs-string">"pixel_values"</span>] = encoding[<span class="hljs-string">"pixel_values"</span>]
	<span class="hljs-meta">... </span> batch[<span class="hljs-string">"pixel_mask"</span>] = encoding[<span class="hljs-string">"pixel_mask"</span>]
	<span class="hljs-meta">... </span> batch[<span class="hljs-string">"labels"</span>] = labels
	<span class="hljs-meta">... </span> <span class="hljs-keyword">return</span> batch`,wrap:!1}}),ca=new I({props:{title:"Multi Modal",local:"multi-modal",headingTag:"h2"}}),ja=new M({props:{code:"ZnJvbSUyMGRhdGFzZXRzJTIwaW1wb3J0JTIwbG9hZF9kYXRhc2V0JTBBJTBBbGpfc3BlZWNoJTIwJTNEJTIwbG9hZF9kYXRhc2V0KCUyMmxqX3NwZWVjaCUyMiUyQyUyMHNwbGl0JTNEJTIydHJhaW4lMjIp",highlighted:`<span class="hljs-meta">>>> </span><span class="hljs-keyword">from</span> datasets <span class="hljs-keyword">import</span> load_dataset

	<span class="hljs-meta">>>> </span>lj_speech = load_dataset(<span class="hljs-string">"lj_speech"</span>, split=<span class="hljs-string">"train"</span>)`,wrap:!1}}),ia=new M({props:{code:"bGpfc3BlZWNoJTIwJTNEJTIwbGpfc3BlZWNoLm1hcChyZW1vdmVfY29sdW1ucyUzRCU1QiUyMmZpbGUlMjIlMkMlMjAlMjJpZCUyMiUyQyUyMCUyMm5vcm1hbGl6ZWRfdGV4dCUyMiU1RCk=",highlighted:'<span class="hljs-meta">>>> </span>lj_speech = lj_speech.<span class="hljs-built_in">map</span>(remove_columns=[<span class="hljs-string">"file"</span>, <span class="hljs-string">"id"</span>, <span class="hljs-string">"normalized_text"</span>])',wrap:!1}}),fa=new M({props:{code:"bGpfc3BlZWNoJTVCMCU1RCU1QiUyMmF1ZGlvJTIyJTVEJTBBJTBBbGpfc3BlZWNoJTVCMCU1RCU1QiUyMnRleHQlMjIlNUQ=",highlighted:`<span class="hljs-meta">>>> </span>lj_speech[<span class="hljs-number">0</span>][<span class="hljs-string">"audio"</span>]
	{<span class="hljs-string">'array'</span>: array([-<span class="hljs-number">7.3242188e-04</span>, -<span class="hljs-number">7.6293945e-04</span>, -<span class="hljs-number">6.4086914e-04</span>, ...,
	<span class="hljs-number">7.3242188e-04</span>, <span class="hljs-number">2.1362305e-04</span>, <span class="hljs-number">6.1035156e-05</span>], dtype=float32),
	<span class="hljs-string">'path'</span>: <span class="hljs-string">'/root/.cache/huggingface/datasets/downloads/extracted/917ece08c95cf0c4115e45294e3cd0dee724a1165b7fc11798369308a465bd26/LJSpeech-1.1/wavs/LJ001-0001.wav'</span>,
	<span class="hljs-string">'sampling_rate'</span>: <span class="hljs-number">22050</span>}

	<span class="hljs-meta">>>> </span>lj_speech[<span class="hljs-number">0</span>][<span class="hljs-string">"text"</span>]
	<span class="hljs-string">'Printing, in the only sense with which we are at present concerned, differs from most if not from all the arts and crafts represented in the Exhibition'</span>`,wrap:!1}}),ga=new M({props:{code:"bGpfc3BlZWNoJTIwJTNEJTIwbGpfc3BlZWNoLmNhc3RfY29sdW1uKCUyMmF1ZGlvJTIyJTJDJTIwQXVkaW8oc2FtcGxpbmdfcmF0ZSUzRDE2XzAwMCkp",highlighted:'<span class="hljs-meta">>>> </span>lj_speech = lj_speech.cast_column(<span class="hljs-string">"audio"</span>, Audio(sampling_rate=<span class="hljs-number">16_000</span>))',wrap:!1}}),Ja=new M({props:{code:"ZnJvbSUyMHRyYW5zZm9ybWVycyUyMGltcG9ydCUyMEF1dG9Qcm9jZXNzb3IlMEElMEFwcm9jZXNzb3IlMjAlM0QlMjBBdXRvUHJvY2Vzc29yLmZyb21fcHJldHJhaW5lZCglMjJmYWNlYm9vayUyRndhdjJ2ZWMyLWJhc2UtOTYwaCUyMik=",highlighted:`<span class="hljs-meta">>>> </span><span class="hljs-keyword">from</span> transformers <span class="hljs-keyword">import</span> AutoProcessor

	<span class="hljs-meta">>>> </span>processor = AutoProcessor.from_pretrained(<span class="hljs-string">"facebook/wav2vec2-base-960h"</span>)`,wrap:!1}}),$a=new M({props:{code:"ZGVmJTIwcHJlcGFyZV9kYXRhc2V0KGV4YW1wbGUpJTNBJTBBJTIwJTIwJTIwJTIwYXVkaW8lMjAlM0QlMjBleGFtcGxlJTVCJTIyYXVkaW8lMjIlNUQlMEElMEElMjAlMjAlMjAlMjBleGFtcGxlLnVwZGF0ZShwcm9jZXNzb3IoYXVkaW8lM0RhdWRpbyU1QiUyMmFycmF5JTIyJTVEJTJDJTIwdGV4dCUzRGV4YW1wbGUlNUIlMjJ0ZXh0JTIyJTVEJTJDJTIwc2FtcGxpbmdfcmF0ZSUzRDE2MDAwKSklMEElMEElMjAlMjAlMjAlMjByZXR1cm4lMjBleGFtcGxl",highlighted:`<span class="hljs-meta">>>> </span><span class="hljs-keyword">def</span> <span class="hljs-title function_">prepare_dataset</span>(<span class="hljs-params">example</span>):
	<span class="hljs-meta">... </span> audio = example[<span class="hljs-string">"audio"</span>]

	<span class="hljs-meta">... </span> example.update(processor(audio=audio[<span class="hljs-string">"array"</span>], text=example[<span class="hljs-string">"text"</span>], sampling_rate=<span class="hljs-number">16000</span>))

	<span class="hljs-meta">... </span> <span class="hljs-keyword">return</span> example`,wrap:!1}}),ya=new M({props:{code:"cHJlcGFyZV9kYXRhc2V0KGxqX3NwZWVjaCU1QjAlNUQp",highlighted:'<span class="hljs-meta">>>> </span>prepare_dataset(lj_speech[<span class="hljs-number">0</span>])',wrap:!1}}),wa=new qe({props:{source:"https://github.com/huggingface/transformers/blob/main/docs/source/ja/preprocessing.md"}}),{c(){t=m("meta"),d=e(),r=m("p"),g=e(),h($.$$.fragment),y=e(),h(w.$$.fragment),F=e(),T=m("p"),T.textContent=v,Ua=e(),Q=m("ul"),Q.innerHTML=_l,va=e(),h(C.$$.fragment),Ca=e(),A=m("p"),A.textContent=Il,xa=e(),h(E.$$.fragment),ka=e(),h(L.$$.fragment),Za=e(),h(P.$$.fragment),Ga=e(),S=m("p"),S.innerHTML=Ul,Va=e(),h(x.$$.fragment),Ba=e(),D=m("p"),D.innerHTML=vl,Wa=e(),h(K.$$.fragment),Ra=e(),O=m("p"),O.textContent=Cl,Xa=e(),h(ss.$$.fragment),Ha=e(),as=m("p"),as.textContent=xl,Ya=e(),ns=m("ul"),ns.innerHTML=kl,Na=e(),ls=m("p"),ls.innerHTML=Zl,qa=e(),h(es.$$.fragment),za=e(),ps=m("p"),ps.innerHTML=Gl,Fa=e(),ts=m("p"),ts.textContent=Vl,Qa=e(),h(rs.$$.fragment),Aa=e(),h(ms.$$.fragment),Ea=e(),cs=m("p"),cs.textContent=Bl,La=e(),us=m("p"),us.innerHTML=Wl,Pa=e(),h(hs.$$.fragment),Sa=e(),js=m("p"),js.innerHTML=Rl,Da=e(),h(bs.$$.fragment),Ka=e(),is=m("p"),is.textContent=Xl,Oa=e(),os=m("p"),os.innerHTML=Hl,sn=e(),h(fs.$$.fragment),an=e(),h(k.$$.fragment),nn=e(),h(ds.$$.fragment),ln=e(),gs=m("p"),gs.textContent=Yl,en=e(),Ms=m("p"),Ms.innerHTML=Nl,pn=e(),h(Z.$$.fragment),tn=e(),h(Js.$$.fragment),rn=e(),Ts=m("p"),Ts.innerHTML=ql,mn=e(),$s=m("p"),$s.innerHTML=zl,cn=e(),h(ys.$$.fragment),un=e(),ws=m("p"),ws.innerHTML=Fl,hn=e(),h(_s.$$.fragment),jn=e(),Is=m("p"),Is.textContent=Ql,bn=e(),Us=m("ul"),Us.innerHTML=Al,on=e(),vs=m("p"),vs.innerHTML=El,fn=e(),Cs=m("ol"),Cs.innerHTML=Ll,dn=e(),h(xs.$$.fragment),gn=e(),G=m("ol"),G.innerHTML=Pl,Mn=e(),h(ks.$$.fragment),Jn=e(),Zs=m("p"),Zs.innerHTML=Sl,Tn=e(),Gs=m("p"),Gs.innerHTML=Dl,$n=e(),h(Vs.$$.fragment),yn=e(),Bs=m("p"),Bs.innerHTML=Kl,wn=e(),h(Ws.$$.fragment),_n=e(),Rs=m("p"),Rs.textContent=Ol,In=e(),h(Xs.$$.fragment),Un=e(),Hs=m("p"),Hs.textContent=se,vn=e(),h(Ys.$$.fragment),Cn=e(),Ns=m("p"),Ns.innerHTML=ae,xn=e(),h(qs.$$.fragment),kn=e(),zs=m("p"),zs.textContent=ne,Zn=e(),h(Fs.$$.fragment),Gn=e(),h(Qs.$$.fragment),Vn=e(),As=m("p"),As.innerHTML=le,Bn=e(),h(V.$$.fragment),Wn=e(),Es=m("p"),Es.innerHTML=ee,Rn=e(),h(B.$$.fragment),Xn=e(),h(Ls.$$.fragment),Hn=e(),Ps=m("p"),Ps.innerHTML=pe,Yn=e(),h(Ss.$$.fragment),Nn=e(),W=m("div"),W.innerHTML=te,qn=e(),Ds=m("p"),Ds.innerHTML=re,zn=e(),h(Ks.$$.fragment),Fn=e(),Os=m("ol"),Os.innerHTML=me,Qn=e(),h(sa.$$.fragment),An=e(),R=m("ol"),R.innerHTML=ce,En=e(),h(aa.$$.fragment),Ln=e(),h(X.$$.fragment),Pn=e(),H=m("ol"),H.innerHTML=ue,Sn=e(),h(na.$$.fragment),Dn=e(),Y=m("ol"),Y.innerHTML=he,Kn=e(),h(la.$$.fragment),On=e(),ea=m("p"),ea.textContent=je,sl=e(),h(pa.$$.fragment),al=e(),N=m("div"),N.innerHTML=be,nl=e(),h(q.$$.fragment),ll=e(),h(ta.$$.fragment),el=e(),ra=m("p"),ra.innerHTML=ie,pl=e(),h(ma.$$.fragment),tl=e(),h(ca.$$.fragment),rl=e(),ua=m("p"),ua.innerHTML=oe,ml=e(),ha=m("p"),ha.innerHTML=fe,cl=e(),h(ja.$$.fragment),ul=e(),ba=m("p"),ba.innerHTML=de,hl=e(),h(ia.$$.fragment),jl=e(),oa=m("p"),oa.innerHTML=ge,bl=e(),h(fa.$$.fragment),il=e(),da=m("p"),da.innerHTML=Me,ol=e(),h(ga.$$.fragment),fl=e(),Ma=m("p"),Ma.innerHTML=Je,dl=e(),h(Ja.$$.fragment),gl=e(),Ta=m("ol"),Ta.innerHTML=Te,Ml=e(),h($a.$$.fragment),Jl=e(),z=m("ol"),z.innerHTML=$e,Tl=e(),h(ya.$$.fragment),$l=e(),h(wa.$$.fragment),yl=e(),Ia=m("p"),this.h()},l(s){const a=Re("svelte-u9bgzb",document.head);t=c(a,"META",{name:!0,content:!0}),a.forEach(n),d=p(s),r=c(s,"P",{}),ke(r).forEach(n),g=p(s),j($.$$.fragment,s),y=p(s),j(w.$$.fragment,s),F=p(s),T=c(s,"P",{"data-svelte-h":!0}),u(T)!=="svelte-1ubw5gq"&&(T.textContent=v),Ua=p(s),Q=c(s,"UL",{"data-svelte-h":!0}),u(Q)!=="svelte-11wptdl"&&(Q.innerHTML=_l),va=p(s),j(C.$$.fragment,s),Ca=p(s),A=c(s,"P",{"data-svelte-h":!0}),u(A)!=="svelte-otm9x2"&&(A.textContent=Il),xa=p(s),j(E.$$.fragment,s),ka=p(s),j(L.$$.fragment,s),Za=p(s),j(P.$$.fragment,s),Ga=p(s),S=c(s,"P",{"data-svelte-h":!0}),u(S)!=="svelte-129ogiy"&&(S.innerHTML=Ul),Va=p(s),j(x.$$.fragment,s),Ba=p(s),D=c(s,"P",{"data-svelte-h":!0}),u(D)!=="svelte-j0cccz"&&(D.innerHTML=vl),Wa=p(s),j(K.$$.fragment,s),Ra=p(s),O=c(s,"P",{"data-svelte-h":!0}),u(O)!=="svelte-8hvk2m"&&(O.textContent=Cl),Xa=p(s),j(ss.$$.fragment,s),Ha=p(s),as=c(s,"P",{"data-svelte-h":!0}),u(as)!=="svelte-n8z1l8"&&(as.textContent=xl),Ya=p(s),ns=c(s,"UL",{"data-svelte-h":!0}),u(ns)!=="svelte-wfdruk"&&(ns.innerHTML=kl),Na=p(s),ls=c(s,"P",{"data-svelte-h":!0}),u(ls)!=="svelte-29z9e2"&&(ls.innerHTML=Zl),qa=p(s),j(es.$$.fragment,s),za=p(s),ps=c(s,"P",{"data-svelte-h":!0}),u(ps)!=="svelte-1w1usd3"&&(ps.innerHTML=Gl),Fa=p(s),ts=c(s,"P",{"data-svelte-h":!0}),u(ts)!=="svelte-14un32q"&&(ts.textContent=Vl),Qa=p(s),j(rs.$$.fragment,s),Aa=p(s),j(ms.$$.fragment,s),Ea=p(s),cs=c(s,"P",{"data-svelte-h":!0}),u(cs)!=="svelte-11zrsfs"&&(cs.textContent=Bl),La=p(s),us=c(s,"P",{"data-svelte-h":!0}),u(us)!=="svelte-1bjh3we"&&(us.innerHTML=Wl),Pa=p(s),j(hs.$$.fragment,s),Sa=p(s),js=c(s,"P",{"data-svelte-h":!0}),u(js)!=="svelte-1k64bml"&&(js.innerHTML=Rl),Da=p(s),j(bs.$$.fragment,s),Ka=p(s),is=c(s,"P",{"data-svelte-h":!0}),u(is)!=="svelte-1qgo06i"&&(is.textContent=Xl),Oa=p(s),os=c(s,"P",{"data-svelte-h":!0}),u(os)!=="svelte-1v3snjn"&&(os.innerHTML=Hl),sn=p(s),j(fs.$$.fragment,s),an=p(s),j(k.$$.fragment,s),nn=p(s),j(ds.$$.fragment,s),ln=p(s),gs=c(s,"P",{"data-svelte-h":!0}),u(gs)!=="svelte-4bohlh"&&(gs.textContent=Yl),en=p(s),Ms=c(s,"P",{"data-svelte-h":!0}),u(Ms)!=="svelte-ggb8ta"&&(Ms.innerHTML=Nl),pn=p(s),j(Z.$$.fragment,s),tn=p(s),j(Js.$$.fragment,s),rn=p(s),Ts=c(s,"P",{"data-svelte-h":!0}),u(Ts)!=="svelte-5a6i84"&&(Ts.innerHTML=ql),mn=p(s),$s=c(s,"P",{"data-svelte-h":!0}),u($s)!=="svelte-x9qiqx"&&($s.innerHTML=zl),cn=p(s),j(ys.$$.fragment,s),un=p(s),ws=c(s,"P",{"data-svelte-h":!0}),u(ws)!=="svelte-181smcy"&&(ws.innerHTML=Fl),hn=p(s),j(_s.$$.fragment,s),jn=p(s),Is=c(s,"P",{"data-svelte-h":!0}),u(Is)!=="svelte-kid8gi"&&(Is.textContent=Ql),bn=p(s),Us=c(s,"UL",{"data-svelte-h":!0}),u(Us)!=="svelte-aqqnhp"&&(Us.innerHTML=Al),on=p(s),vs=c(s,"P",{"data-svelte-h":!0}),u(vs)!=="svelte-1qdns94"&&(vs.innerHTML=El),fn=p(s),Cs=c(s,"OL",{"data-svelte-h":!0}),u(Cs)!=="svelte-177g3h8"&&(Cs.innerHTML=Ll),dn=p(s),j(xs.$$.fragment,s),gn=p(s),G=c(s,"OL",{start:!0,"data-svelte-h":!0}),u(G)!=="svelte-16dulyv"&&(G.innerHTML=Pl),Mn=p(s),j(ks.$$.fragment,s),Jn=p(s),Zs=c(s,"P",{"data-svelte-h":!0}),u(Zs)!=="svelte-1106258"&&(Zs.innerHTML=Sl),Tn=p(s),Gs=c(s,"P",{"data-svelte-h":!0}),u(Gs)!=="svelte-1w7kgtt"&&(Gs.innerHTML=Dl),$n=p(s),j(Vs.$$.fragment,s),yn=p(s),Bs=c(s,"P",{"data-svelte-h":!0}),u(Bs)!=="svelte-3botgm"&&(Bs.innerHTML=Kl),wn=p(s),j(Ws.$$.fragment,s),_n=p(s),Rs=c(s,"P",{"data-svelte-h":!0}),u(Rs)!=="svelte-e60mhe"&&(Rs.textContent=Ol),In=p(s),j(Xs.$$.fragment,s),Un=p(s),Hs=c(s,"P",{"data-svelte-h":!0}),u(Hs)!=="svelte-1behdst"&&(Hs.textContent=se),vn=p(s),j(Ys.$$.fragment,s),Cn=p(s),Ns=c(s,"P",{"data-svelte-h":!0}),u(Ns)!=="svelte-11qgqhs"&&(Ns.innerHTML=ae),xn=p(s),j(qs.$$.fragment,s),kn=p(s),zs=c(s,"P",{"data-svelte-h":!0}),u(zs)!=="svelte-uei1o"&&(zs.textContent=ne),Zn=p(s),j(Fs.$$.fragment,s),Gn=p(s),j(Qs.$$.fragment,s),Vn=p(s),As=c(s,"P",{"data-svelte-h":!0}),u(As)!=="svelte-xt5wwu"&&(As.innerHTML=le),Bn=p(s),j(V.$$.fragment,s),Wn=p(s),Es=c(s,"P",{"data-svelte-h":!0}),u(Es)!=="svelte-123xa79"&&(Es.innerHTML=ee),Rn=p(s),j(B.$$.fragment,s),Xn=p(s),j(Ls.$$.fragment,s),Hn=p(s),Ps=c(s,"P",{"data-svelte-h":!0}),u(Ps)!=="svelte-1df0fno"&&(Ps.innerHTML=pe),Yn=p(s),j(Ss.$$.fragment,s),Nn=p(s),W=c(s,"DIV",{class:!0,"data-svelte-h":!0}),u(W)!=="svelte-1jzdron"&&(W.innerHTML=te),qn=p(s),Ds=c(s,"P",{"data-svelte-h":!0}),u(Ds)!=="svelte-eigu37"&&(Ds.innerHTML=re),zn=p(s),j(Ks.$$.fragment,s),Fn=p(s),Os=c(s,"OL",{"data-svelte-h":!0}),u(Os)!=="svelte-380xnj"&&(Os.innerHTML=me),Qn=p(s),j(sa.$$.fragment,s),An=p(s),R=c(s,"OL",{start:!0,"data-svelte-h":!0}),u(R)!=="svelte-154pokx"&&(R.innerHTML=ce),En=p(s),j(aa.$$.fragment,s),Ln=p(s),j(X.$$.fragment,s),Pn=p(s),H=c(s,"OL",{start:!0,"data-svelte-h":!0}),u(H)!=="svelte-1hfzjfw"&&(H.innerHTML=ue),Sn=p(s),j(na.$$.fragment,s),Dn=p(s),Y=c(s,"OL",{start:!0,"data-svelte-h":!0}),u(Y)!=="svelte-11u24y6"&&(Y.innerHTML=he),Kn=p(s),j(la.$$.fragment,s),On=p(s),ea=c(s,"P",{"data-svelte-h":!0}),u(ea)!=="svelte-1pzyp8l"&&(ea.textContent=je),sl=p(s),j(pa.$$.fragment,s),al=p(s),N=c(s,"DIV",{class:!0,"data-svelte-h":!0}),u(N)!=="svelte-mp8qzc"&&(N.innerHTML=be),nl=p(s),j(q.$$.fragment,s),ll=p(s),j(ta.$$.fragment,s),el=p(s),ra=c(s,"P",{"data-svelte-h":!0}),u(ra)!=="svelte-c97zbl"&&(ra.innerHTML=ie),pl=p(s),j(ma.$$.fragment,s),tl=p(s),j(ca.$$.fragment,s),rl=p(s),ua=c(s,"P",{"data-svelte-h":!0}),u(ua)!=="svelte-s8srfc"&&(ua.innerHTML=oe),ml=p(s),ha=c(s,"P",{"data-svelte-h":!0}),u(ha)!=="svelte-1fiplfe"&&(ha.innerHTML=fe),cl=p(s),j(ja.$$.fragment,s),ul=p(s),ba=c(s,"P",{"data-svelte-h":!0}),u(ba)!=="svelte-168bdy5"&&(ba.innerHTML=de),hl=p(s),j(ia.$$.fragment,s),jl=p(s),oa=c(s,"P",{"data-svelte-h":!0}),u(oa)!=="svelte-1m3tjs9"&&(oa.innerHTML=ge),bl=p(s),j(fa.$$.fragment,s),il=p(s),da=c(s,"P",{"data-svelte-h":!0}),u(da)!=="svelte-1k9tvup"&&(da.innerHTML=Me),ol=p(s),j(ga.$$.fragment,s),fl=p(s),Ma=c(s,"P",{"data-svelte-h":!0}),u(Ma)!=="svelte-10y9lgc"&&(Ma.innerHTML=Je),dl=p(s),j(Ja.$$.fragment,s),gl=p(s),Ta=c(s,"OL",{"data-svelte-h":!0}),u(Ta)!=="svelte-1e9n8c9"&&(Ta.innerHTML=Te),Ml=p(s),j($a.$$.fragment,s),Jl=p(s),z=c(s,"OL",{start:!0,"data-svelte-h":!0}),u(z)!=="svelte-l74913"&&(z.innerHTML=$e),Tl=p(s),j(ya.$$.fragment,s),$l=p(s),j(wa.$$.fragment,s),yl=p(s),Ia=c(s,"P",{}),ke(Ia).forEach(n),this.h()},h(){_(t,"name","hf:doc:metadata"),_(t,"content",ap),_(G,"start","2"),_(W,"class","flex justify-center"),_(R,"start","2"),_(H,"start","3"),_(Y,"start","4"),_(N,"class","flex justify-center"),_(z,"start","2")},m(s,a){Xe(document.head,t),l(s,d,a),l(s,r,a),l(s,g,a),b($,s,a),l(s,y,a),b(w,s,a),l(s,F,a),l(s,T,a),l(s,Ua,a),l(s,Q,a),l(s,va,a),b(C,s,a),l(s,Ca,a),l(s,A,a),l(s,xa,a),b(E,s,a),l(s,ka,a),b(L,s,a),l(s,Za,a),b(P,s,a),l(s,Ga,a),l(s,S,a),l(s,Va,a),b(x,s,a),l(s,Ba,a),l(s,D,a),l(s,Wa,a),b(K,s,a),l(s,Ra,a),l(s,O,a),l(s,Xa,a),b(ss,s,a),l(s,Ha,a),l(s,as,a),l(s,Ya,a),l(s,ns,a),l(s,Na,a),l(s,ls,a),l(s,qa,a),b(es,s,a),l(s,za,a),l(s,ps,a),l(s,Fa,a),l(s,ts,a),l(s,Qa,a),b(rs,s,a),l(s,Aa,a),b(ms,s,a),l(s,Ea,a),l(s,cs,a),l(s,La,a),l(s,us,a),l(s,Pa,a),b(hs,s,a),l(s,Sa,a),l(s,js,a),l(s,Da,a),b(bs,s,a),l(s,Ka,a),l(s,is,a),l(s,Oa,a),l(s,os,a),l(s,sn,a),b(fs,s,a),l(s,an,a),b(k,s,a),l(s,nn,a),b(ds,s,a),l(s,ln,a),l(s,gs,a),l(s,en,a),l(s,Ms,a),l(s,pn,a),b(Z,s,a),l(s,tn,a),b(Js,s,a),l(s,rn,a),l(s,Ts,a),l(s,mn,a),l(s,$s,a),l(s,cn,a),b(ys,s,a),l(s,un,a),l(s,ws,a),l(s,hn,a),b(_s,s,a),l(s,jn,a),l(s,Is,a),l(s,bn,a),l(s,Us,a),l(s,on,a),l(s,vs,a),l(s,fn,a),l(s,Cs,a),l(s,dn,a),b(xs,s,a),l(s,gn,a),l(s,G,a),l(s,Mn,a),b(ks,s,a),l(s,Jn,a),l(s,Zs,a),l(s,Tn,a),l(s,Gs,a),l(s,$n,a),b(Vs,s,a),l(s,yn,a),l(s,Bs,a),l(s,wn,a),b(Ws,s,a),l(s,_n,a),l(s,Rs,a),l(s,In,a),b(Xs,s,a),l(s,Un,a),l(s,Hs,a),l(s,vn,a),b(Ys,s,a),l(s,Cn,a),l(s,Ns,a),l(s,xn,a),b(qs,s,a),l(s,kn,a),l(s,zs,a),l(s,Zn,a),b(Fs,s,a),l(s,Gn,a),b(Qs,s,a),l(s,Vn,a),l(s,As,a),l(s,Bn,a),b(V,s,a),l(s,Wn,a),l(s,Es,a),l(s,Rn,a),b(B,s,a),l(s,Xn,a),b(Ls,s,a),l(s,Hn,a),l(s,Ps,a),l(s,Yn,a),b(Ss,s,a),l(s,Nn,a),l(s,W,a),l(s,qn,a),l(s,Ds,a),l(s,zn,a),b(Ks,s,a),l(s,Fn,a),l(s,Os,a),l(s,Qn,a),b(sa,s,a),l(s,An,a),l(s,R,a),l(s,En,a),b(aa,s,a),l(s,Ln,a),b(X,s,a),l(s,Pn,a),l(s,H,a),l(s,Sn,a),b(na,s,a),l(s,Dn,a),l(s,Y,a),l(s,Kn,a),b(la,s,a),l(s,On,a),l(s,ea,a),l(s,sl,a),b(pa,s,a),l(s,al,a),l(s,N,a),l(s,nl,a),b(q,s,a),l(s,ll,a),b(ta,s,a),l(s,el,a),l(s,ra,a),l(s,pl,a),b(ma,s,a),l(s,tl,a),b(ca,s,a),l(s,rl,a),l(s,ua,a),l(s,ml,a),l(s,ha,a),l(s,cl,a),b(ja,s,a),l(s,ul,a),l(s,ba,a),l(s,hl,a),b(ia,s,a),l(s,jl,a),l(s,oa,a),l(s,bl,a),b(fa,s,a),l(s,il,a),l(s,da,a),l(s,ol,a),b(ga,s,a),l(s,fl,a),l(s,Ma,a),l(s,dl,a),b(Ja,s,a),l(s,gl,a),l(s,Ta,a),l(s,Ml,a),b($a,s,a),l(s,Jl,a),l(s,z,a),l(s,Tl,a),b(ya,s,a),l(s,$l,a),b(wa,s,a),l(s,yl,a),l(s,Ia,a),wl=!0},p(s,[a]){const ye={};a&2&&(ye.$$scope={dirty:a,ctx:s}),C.$set(ye);const we={};a&2&&(we.$$scope={dirty:a,ctx:s}),x.$set(we);const _e={};a&2&&(_e.$$scope={dirty:a,ctx:s}),k.$set(_e);const Ie={};a&2&&(Ie.$$scope={dirty:a,ctx:s}),Z.$set(Ie);const Ue={};a&2&&(Ue.$$scope={dirty:a,ctx:s}),V.$set(Ue);const ve={};a&2&&(ve.$$scope={dirty:a,ctx:s}),B.$set(ve);const Ce={};a&2&&(Ce.$$scope={dirty:a,ctx:s}),X.$set(Ce);const xe={};a&2&&(xe.$$scope={dirty:a,ctx:s}),q.$set(xe)},i(s){wl\|\|(i($.$$.fragment,s),i(w.$$.fragment,s),i(C.$$.fragment,s),i(E.$$.fragment,s),i(L.$$.fragment,s),i(P.$$.fragment,s),i(x.$$.fragment,s),i(K.$$.fragment,s),i(ss.$$.fragment,s),i(es.$$.fragment,s),i(rs.$$.fragment,s),i(ms.$$.fragment,s),i(hs.$$.fragment,s),i(bs.$$.fragment,s),i(fs.$$.fragment,s),i(k.$$.fragment,s),i(ds.$$.fragment,s),i(Z.$$.fragment,s),i(Js.$$.fragment,s),i(ys.$$.fragment,s),i(_s.$$.fragment,s),i(xs.$$.fragment,s),i(ks.$$.fragment,s),i(Vs.$$.fragment,s),i(Ws.$$.fragment,s),i(Xs.$$.fragment,s),i(Ys.$$.fragment,s),i(qs.$$.fragment,s),i(Fs.$$.fragment,s),i(Qs.$$.fragment,s),i(V.$$.fragment,s),i(B.$$.fragment,s),i(Ls.$$.fragment,s),i(Ss.$$.fragment,s),i(Ks.$$.fragment,s),i(sa.$$.fragment,s),i(aa.$$.fragment,s),i(X.$$.fragment,s),i(na.$$.fragment,s),i(la.$$.fragment,s),i(pa.$$.fragment,s),i(q.$$.fragment,s),i(ta.$$.fragment,s),i(ma.$$.fragment,s),i(ca.$$.fragment,s),i(ja.$$.fragment,s),i(ia.$$.fragment,s),i(fa.$$.fragment,s),i(ga.$$.fragment,s),i(Ja.$$.fragment,s),i($a.$$.fragment,s),i(ya.$$.fragment,s),i(wa.$$.fragment,s),wl=!0)},o(s){o($.$$.fragment,s),o(w.$$.fragment,s),o(C.$$.fragment,s),o(E.$$.fragment,s),o(L.$$.fragment,s),o(P.$$.fragment,s),o(x.$$.fragment,s),o(K.$$.fragment,s),o(ss.$$.fragment,s),o(es.$$.fragment,s),o(rs.$$.fragment,s),o(ms.$$.fragment,s),o(hs.$$.fragment,s),o(bs.$$.fragment,s),o(fs.$$.fragment,s),o(k.$$.fragment,s),o(ds.$$.fragment,s),o(Z.$$.fragment,s),o(Js.$$.fragment,s),o(ys.$$.fragment,s),o(_s.$$.fragment,s),o(xs.$$.fragment,s),o(ks.$$.fragment,s),o(Vs.$$.fragment,s),o(Ws.$$.fragment,s),o(Xs.$$.fragment,s),o(Ys.$$.fragment,s),o(qs.$$.fragment,s),o(Fs.$$.fragment,s),o(Qs.$$.fragment,s),o(V.$$.fragment,s),o(B.$$.fragment,s),o(Ls.$$.fragment,s),o(Ss.$$.fragment,s),o(Ks.$$.fragment,s),o(sa.$$.fragment,s),o(aa.$$.fragment,s),o(X.$$.fragment,s),o(na.$$.fragment,s),o(la.$$.fragment,s),o(pa.$$.fragment,s),o(q.$$.fragment,s),o(ta.$$.fragment,s),o(ma.$$.fragment,s),o(ca.$$.fragment,s),o(ja.$$.fragment,s),o(ia.$$.fragment,s),o(fa.$$.fragment,s),o(ga.$$.fragment,s),o(Ja.$$.fragment,s),o($a.$$.fragment,s),o(ya.$$.fragment,s),o(wa.$$.fragment,s),wl=!1},d(s){s&&(n(d),n(r),n(g),n(y),n(F),n(T),n(Ua),n(Q),n(va),n(Ca),n(A),n(xa),n(ka),n(Za),n(Ga),n(S),n(Va),n(Ba),n(D),n(Wa),n(Ra),n(O),n(Xa),n(Ha),n(as),n(Ya),n(ns),n(Na),n(ls),n(qa),n(za),n(ps),n(Fa),n(ts),n(Qa),n(Aa),n(Ea),n(cs),n(La),n(us),n(Pa),n(Sa),n(js),n(Da),n(Ka),n(is),n(Oa),n(os),n(sn),n(an),n(nn),n(ln),n(gs),n(en),n(Ms),n(pn),n(tn),n(rn),n(Ts),n(mn),n($s),n(cn),n(un),n(ws),n(hn),n(jn),n(Is),n(bn),n(Us),n(on),n(vs),n(fn),n(Cs),n(dn),n(gn),n(G),n(Mn),n(Jn),n(Zs),n(Tn),n(Gs),n($n),n(yn),n(Bs),n(wn),n(_n),n(Rs),n(In),n(Un),n(Hs),n(vn),n(Cn),n(Ns),n(xn),n(kn),n(zs),n(Zn),n(Gn),n(Vn),n(As),n(Bn),n(Wn),n(Es),n(Rn),n(Xn),n(Hn),n(Ps),n(Yn),n(Nn),n(W),n(qn),n(Ds),n(zn),n(Fn),n(Os),n(Qn),n(An),n(R),n(En),n(Ln),n(Pn),n(H),n(Sn),n(Dn),n(Y),n(Kn),n(On),n(ea),n(sl),n(al),n(N),n(nl),n(ll),n(el),n(ra),n(pl),n(tl),n(rl),n(ua),n(ml),n(ha),n(cl),n(ul),n(ba),n(hl),n(jl),n(oa),n(bl),n(il),n(da),n(ol),n(fl),n(Ma),n(dl),n(gl),n(Ta),n(Ml),n(Jl),n(z),n(Tl),n($l),n(yl),n(Ia)),n(t),f($,s),f(w,s),f(C,s),f(E,s),f(L,s),f(P,s),f(x,s),f(K,s),f(ss,s),f(es,s),f(rs,s),f(ms,s),f(hs,s),f(bs,s),f(fs,s),f(k,s),f(ds,s),f(Z,s),f(Js,s),f(ys,s),f(_s,s),f(xs,s),f(ks,s),f(Vs,s),f(Ws,s),f(Xs,s),f(Ys,s),f(qs,s),f(Fs,s),f(Qs,s),f(V,s),f(B,s),f(Ls,s),f(Ss,s),f(Ks,s),f(sa,s),f(aa,s),f(X,s),f(na,s),f(la,s),f(pa,s),f(q,s),f(ta,s),f(ma,s),f(ca,s),f(ja,s),f(ia,s),f(fa,s),f(ga,s),f(Ja,s),f($a,s),f(ya,s),f(wa,s)}}}const ap='{"title":"Preprocess","local":"preprocess","sections":[{"title":"Natural Language Processing","local":"natural-language-processing","sections":[{"title":"Pad","local":"pad","sections":[],"depth":3},{"title":"Truncation","local":"truncation","sections":[],"depth":3},{"title":"Build tensors","local":"build-tensors","sections":[],"depth":3}],"depth":2},{"title":"Audio","local":"audio","sections":[],"depth":2},{"title":"Computer Vision","local":"computer-vision","sections":[{"title":"Pad","local":"pad","sections":[],"depth":3}],"depth":2},{"title":"Multi Modal","local":"multi-modal","sections":[],"depth":2}],"depth":1}';function np(J){return Ve(()=>{new URLSearchParams(window.location.search).get("fw")}),[]}class hp extends Be{constructor(t){super(),We(this,t,np,sp,Ge,{})}}export{hp as component};

Xet Storage Details

Size:: 97 kB
Xet hash:: 873990bc530107783588ffe3bca222ee730f49f234f0fca1e06c12a0c0f96648

Xet efficiently stores files, intelligently splitting them into unique chunks and accelerating uploads and downloads. More info.