course/pr_1021/fa/_app/immutable/nodes/9.6eece623.js

import{s as on,o as Mn,n as cn}from"../chunks/scheduler.39a43cde.js";import{S as dn,i as hn,g as o,s as p,r as m,m as lt,A as un,h as M,f as d,c as i,j as $,u as J,x as j,n as tt,k,y as n,a as w,v as f,t as u,b as _s,d as h,w as U,p as $s}from"../chunks/index.23ec2204.js";import{T as Fe}from"../chunks/Tip.99600415.js";import{Y as Ne}from"../chunks/Youtube.70c27fbc.js";import{C}from"../chunks/CodeBlock.0e2be86f.js";import{C as pn}from"../chunks/CourseFloatingBanner.7c35bccf.js";import{F as yn}from"../chunks/FrameworkSwitchCourse.9ca78d26.js";import{H as qe}from"../chunks/Heading.c42e7061.js";import{E as jn}from"../chunks/getInferenceSnippets.5ece089d.js";function mn(T){let e,r;return e=new pn({props:{chapter:3,classNames:"absolute z-10 right-0 top-0",notebooks:[{label:"گوگل کولَب",value:"https://colab.research.google.com/github/huggingface/notebooks/blob/master/course/fa/chapter3/section2_tf.ipynb"},{label:"Aws Studio",value:"https://studiolab.sagemaker.aws/import/github/huggingface/notebooks/blob/master/course/fa/chapter3/section2_tf.ipynb"}]}}),{c(){m(e.$$.fragment)},l(t){J(e.$$.fragment,t)},m(t,c){f(e,t,c),r=!0},i(t){r||(h(e.$$.fragment,t),r=!0)},o(t){u(e.$$.fragment,t),r=!1},d(t){U(e,t)}}}function Jn(T){let e,r;return e=new pn({props:{chapter:3,classNames:"absolute z-10 right-0 top-0",notebooks:[{label:"گوگل کولَب",value:"https://colab.research.google.com/github/huggingface/notebooks/blob/master/course/fa/chapter3/section2_pt.ipynb"},{label:"Aws Studio",value:"https://studiolab.sagemaker.aws/import/github/huggingface/notebooks/blob/master/course/fa/chapter3/section2_pt.ipynb"}]}}),{c(){m(e.$$.fragment)},l(t){J(e.$$.fragment,t)},m(t,c){f(e,t,c),r=!0},i(t){r||(h(e.$$.fragment,t),r=!0)},o(t){u(e.$$.fragment,t),r=!1},d(t){U(e,t)}}}function fn(T){let e,r='در این بخش در ادامه مثال <a href="/course/chapter2">فصل قبل</a>، نحوه تعلیم مدل‌های دسته‌بندی کننده رشته‌ها را در یک بَتچ با استفاده از تِنسورفلو شرح می‌دهیم:',t,c,y,x;return y=new C({props:{code:"aW1wb3J0JTIwdGVuc29yZmxvdyUyMGFzJTIwdGYlMEFpbXBvcnQlMjBudW1weSUyMGFzJTIwbnAlMEFmcm9tJTIwdHJhbnNmb3JtZXJzJTIwaW1wb3J0JTIwQXV0b1Rva2VuaXplciUyQyUyMFRGQXV0b01vZGVsRm9yU2VxdWVuY2VDbGFzc2lmaWNhdGlvbiUwQSUwQSUyMyUyMFNhbWUlMjBhcyUyMGJlZm9yZSUwQWNoZWNrcG9pbnQlMjAlM0QlMjAlMjJiZXJ0LWJhc2UtdW5jYXNlZCUyMiUwQXRva2VuaXplciUyMCUzRCUyMEF1dG9Ub2tlbml6ZXIuZnJvbV9wcmV0cmFpbmVkKGNoZWNrcG9pbnQpJTBBbW9kZWwlMjAlM0QlMjBURkF1dG9Nb2RlbEZvclNlcXVlbmNlQ2xhc3NpZmljYXRpb24uZnJvbV9wcmV0cmFpbmVkKGNoZWNrcG9pbnQpJTBBc2VxdWVuY2VzJTIwJTNEJTIwJTVCJTBBJTIwJTIwJTIwJTIwJTIySSd2ZSUyMGJlZW4lMjB3YWl0aW5nJTIwZm9yJTIwYSUyMEh1Z2dpbmdGYWNlJTIwY291cnNlJTIwbXklMjB3aG9sZSUyMGxpZmUuJTIyJTJDJTBBJTIwJTIwJTIwJTIwJTIyVGhpcyUyMGNvdXJzZSUyMGlzJTIwYW1hemluZyElMjIlMkMlMEElNUQlMEFiYXRjaCUyMCUzRCUyMGRpY3QodG9rZW5pemVyKHNlcXVlbmNlcyUyQyUyMHBhZGRpbmclM0RUcnVlJTJDJTIwdHJ1bmNhdGlvbiUzRFRydWUlMkMlMjByZXR1cm5fdGVuc29ycyUzRCUyMnRmJTIyKSklMEElMEElMjMlMjBUaGlzJTIwaXMlMjBuZXclMEFtb2RlbC5jb21waWxlKG9wdGltaXplciUzRCUyMmFkYW0lMjIlMkMlMjBsb3NzJTNEJTIyc3BhcnNlX2NhdGVnb3JpY2FsX2Nyb3NzZW50cm9weSUyMiklMEFsYWJlbHMlMjAlM0QlMjB0Zi5jb252ZXJ0X3RvX3RlbnNvciglNUIxJTJDJTIwMSU1RCklMEFtb2RlbC50cmFpbl9vbl9iYXRjaChiYXRjaCUyQyUyMGxhYmVscyk=",highlighted:`<span class="hljs-keyword">import</span> tensorflow <span class="hljs-keyword">as</span> tf
<span class="hljs-keyword">import</span> numpy <span class="hljs-keyword">as</span> np
<span class="hljs-keyword">from</span> transformers <span class="hljs-keyword">import</span> AutoTokenizer, TFAutoModelForSequenceClassification

<span class="hljs-comment"># Same as before</span>
checkpoint = <span class="hljs-string">&quot;bert-base-uncased&quot;</span>
tokenizer = AutoTokenizer.from_pretrained(checkpoint)
model = TFAutoModelForSequenceClassification.from_pretrained(checkpoint)
sequences = [
    <span class="hljs-string">&quot;I&#x27;ve been waiting for a HuggingFace course my whole life.&quot;</span>,
    <span class="hljs-string">&quot;This course is amazing!&quot;</span>,
]
batch = <span class="hljs-built_in">dict</span>(tokenizer(sequences, padding=<span class="hljs-literal">True</span>, truncation=<span class="hljs-literal">True</span>, return_tensors=<span class="hljs-string">&quot;tf&quot;</span>))

<span class="hljs-comment"># This is new</span>
model.<span class="hljs-built_in">compile</span>(optimizer=<span class="hljs-string">&quot;adam&quot;</span>, loss=<span class="hljs-string">&quot;sparse_categorical_crossentropy&quot;</span>)
labels = tf.convert_to_tensor([<span class="hljs-number">1</span>, <span class="hljs-number">1</span>])
model.train_on_batch(batch, labels)`,wrap:!1}}),{c(){e=o("p"),e.innerHTML=r,t=p(),c=o("div"),m(y.$$.fragment),this.h()},l(s){e=M(s,"P",{"data-svelte-h":!0}),j(e)!=="svelte-161h743"&&(e.innerHTML=r),t=i(s),c=M(s,"DIV",{dir:!0});var b=$(c);J(y.$$.fragment,b),b.forEach(d),this.h()},h(){k(c,"dir","ltr")},m(s,b){w(s,e,b),w(s,t,b),w(s,c,b),f(y,c,null),x=!0},i(s){x||(h(y.$$.fragment,s),x=!0)},o(s){u(y.$$.fragment,s),x=!1},d(s){s&&(d(e),d(t),d(c)),U(y)}}}function Un(T){let e,r='در این بخش در ادامه مثال <a href="/course/chapter2">فصل قبل</a>، نحوه تعلیم مدل‌های دسته‌بندی کننده رشته‌ها را در یک بَتچ با استفاده از پایتورچ شرح می‌دهیم:',t,c,y,x;return y=new C({props:{code:"aW1wb3J0JTIwdG9yY2glMEFmcm9tJTIwdG9yY2gub3B0aW0lMjBpbXBvcnQlMjBBZGFtVyUwQWZyb20lMjB0cmFuc2Zvcm1lcnMlMjBpbXBvcnQlMjBBdXRvVG9rZW5pemVyJTJDJTIwQXV0b01vZGVsRm9yU2VxdWVuY2VDbGFzc2lmaWNhdGlvbiUwQSUwQSUyMyUyMFNhbWUlMjBhcyUyMGJlZm9yZSUwQWNoZWNrcG9pbnQlMjAlM0QlMjAlMjJiZXJ0LWJhc2UtdW5jYXNlZCUyMiUwQXRva2VuaXplciUyMCUzRCUyMEF1dG9Ub2tlbml6ZXIuZnJvbV9wcmV0cmFpbmVkKGNoZWNrcG9pbnQpJTBBbW9kZWwlMjAlM0QlMjBBdXRvTW9kZWxGb3JTZXF1ZW5jZUNsYXNzaWZpY2F0aW9uLmZyb21fcHJldHJhaW5lZChjaGVja3BvaW50KSUwQXNlcXVlbmNlcyUyMCUzRCUyMCU1QiUwQSUyMCUyMCUyMCUyMCUyMkkndmUlMjBiZWVuJTIwd2FpdGluZyUyMGZvciUyMGElMjBIdWdnaW5nRmFjZSUyMGNvdXJzZSUyMG15JTIwd2hvbGUlMjBsaWZlLiUyMiUyQyUwQSUyMCUyMCUyMCUyMCUyMlRoaXMlMjBjb3Vyc2UlMjBpcyUyMGFtYXppbmchJTIyJTJDJTBBJTVEJTBBYmF0Y2glMjAlM0QlMjB0b2tlbml6ZXIoc2VxdWVuY2VzJTJDJTIwcGFkZGluZyUzRFRydWUlMkMlMjB0cnVuY2F0aW9uJTNEVHJ1ZSUyQyUyMHJldHVybl90ZW5zb3JzJTNEJTIycHQlMjIpJTBBJTBBJTIzJTIwVGhpcyUyMGlzJTIwbmV3JTBBYmF0Y2glNUIlMjJsYWJlbHMlMjIlNUQlMjAlM0QlMjB0b3JjaC50ZW5zb3IoJTVCMSUyQyUyMDElNUQpJTBBJTBBb3B0aW1pemVyJTIwJTNEJTIwQWRhbVcobW9kZWwucGFyYW1ldGVycygpKSUwQWxvc3MlMjAlM0QlMjBtb2RlbCgqKmJhdGNoKS5sb3NzJTBBbG9zcy5iYWNrd2FyZCgpJTBBb3B0aW1pemVyLnN0ZXAoKQ==",highlighted:`<span class="hljs-keyword">import</span> torch
<span class="hljs-keyword">from</span> torch.optim <span class="hljs-keyword">import</span> AdamW
<span class="hljs-keyword">from</span> transformers <span class="hljs-keyword">import</span> AutoTokenizer, AutoModelForSequenceClassification

<span class="hljs-comment"># Same as before</span>
checkpoint = <span class="hljs-string">&quot;bert-base-uncased&quot;</span>
tokenizer = AutoTokenizer.from_pretrained(checkpoint)
model = AutoModelForSequenceClassification.from_pretrained(checkpoint)
sequences = [
    <span class="hljs-string">&quot;I&#x27;ve been waiting for a HuggingFace course my whole life.&quot;</span>,
    <span class="hljs-string">&quot;This course is amazing!&quot;</span>,
]
batch = tokenizer(sequences, padding=<span class="hljs-literal">True</span>, truncation=<span class="hljs-literal">True</span>, return_tensors=<span class="hljs-string">&quot;pt&quot;</span>)

<span class="hljs-comment"># This is new</span>
batch[<span class="hljs-string">&quot;labels&quot;</span>] = torch.tensor([<span class="hljs-number">1</span>, <span class="hljs-number">1</span>])

optimizer = AdamW(model.parameters())
loss = model(**batch).loss
loss.backward()
optimizer.step()`,wrap:!1}}),{c(){e=o("p"),e.innerHTML=r,t=p(),c=o("div"),m(y.$$.fragment),this.h()},l(s){e=M(s,"P",{"data-svelte-h":!0}),j(e)!=="svelte-jyoxwm"&&(e.innerHTML=r),t=i(s),c=M(s,"DIV",{dir:!0});var b=$(c);J(y.$$.fragment,b),b.forEach(d),this.h()},h(){k(c,"dir","ltr")},m(s,b){w(s,e,b),w(s,t,b),w(s,c,b),f(y,c,null),x=!0},i(s){x||(h(y.$$.fragment,s),x=!0)},o(s){u(y.$$.fragment,s),x=!1},d(s){s&&(d(e),d(t),d(c)),U(y)}}}function Tn(T){let e,r;return e=new Ne({props:{id:"W_gMJF0xomE"}}),{c(){m(e.$$.fragment)},l(t){J(e.$$.fragment,t)},m(t,c){f(e,t,c),r=!0},i(t){r||(h(e.$$.fragment,t),r=!0)},o(t){u(e.$$.fragment,t),r=!1},d(t){U(e,t)}}}function bn(T){let e,r;return e=new Ne({props:{id:"_BZearw7f0w"}}),{c(){m(e.$$.fragment)},l(t){J(e.$$.fragment,t)},m(t,c){f(e,t,c),r=!0},i(t){r||(h(e.$$.fragment,t),r=!0)},o(t){u(e.$$.fragment,t),r=!1},d(t){U(e,t)}}}function gn(T){let e;return{c(){e=lt("⚠️ **هشدار** مطمئن شوید که `datasets` نصب شده است. برای اطمینان، دستور `pip install datasets` را اجرا کنید. سپس، مجموعه داده MRPC را بارگذاری کنید و آن را چاپ کنید تا ببینید چه چیزی در آن وجود دارد.")},l(r){e=tt(r,"⚠️ **هشدار** مطمئن شوید که `datasets` نصب شده است. برای اطمینان، دستور `pip install datasets` را اجرا کنید. سپس، مجموعه داده MRPC را بارگذاری کنید و آن را چاپ کنید تا ببینید چه چیزی در آن وجود دارد.")},m(r,t){w(r,e,t)},d(r){r&&d(e)}}}function wn(T){let e;return{c(){e=lt("✏️ **امتحان کنید!** عنصر شماره ۱۵ از مجموعه `training` و عنصر شماره ۸۷ از مجموعه `validation` را مشاهده کنید. برچسب‌های آنها چیست؟")},l(r){e=tt(r,"✏️ **امتحان کنید!** عنصر شماره ۱۵ از مجموعه `training` و عنصر شماره ۸۷ از مجموعه `validation` را مشاهده کنید. برچسب‌های آنها چیست؟")},m(r,t){w(r,e,t)},d(r){r&&d(e)}}}function _n(T){let e,r;return e=new Ne({props:{id:"P-rZWqcB6CE"}}),{c(){m(e.$$.fragment)},l(t){J(e.$$.fragment,t)},m(t,c){f(e,t,c),r=!0},i(t){r||(h(e.$$.fragment,t),r=!0)},o(t){u(e.$$.fragment,t),r=!1},d(t){U(e,t)}}}function $n(T){let e,r;return e=new Ne({props:{id:"0u3ioSwev3s"}}),{c(){m(e.$$.fragment)},l(t){J(e.$$.fragment,t)},m(t,c){f(e,t,c),r=!0},i(t){r||(h(e.$$.fragment,t),r=!0)},o(t){u(e.$$.fragment,t),r=!1},d(t){U(e,t)}}}function kn(T){let e,r="✏️ <strong>امتحان کنید!</strong> عنصر شماره ۱۵ از مجموعه <code>training</code> را بردارید و دو جمله را به صورت جداگانه و جفت توکِن کنید. تفاوت دو نتیجه چیست؟";return{c(){e=o("p"),e.innerHTML=r},l(t){e=M(t,"P",{"data-svelte-h":!0}),j(e)!=="svelte-16csf4p"&&(e.innerHTML=r)},m(t,c){w(t,e,c)},p:cn,d(t){t&&d(e)}}}function Cn(T){let e,r="تابعی که مسئول کنار هم گذاشتن نمونه‌ها در یک بَتچ می‌باشد <em>تابع ترکیب کننده</em> خوانده می‌شود. تابع ترکیب کننده پیش‌فرض تابعی است که فقط نمونه‌های شما را به <code>tf.Tensor</code> تبدیل کرده و آنها را به هم الحاق می‌کند (اگر عناصر شما لیست، تاپِل یا دیکشنری باشند این کار به صورت بازگشتی انجام می‌گیرد). از آنجایی که ورودی‌های ما هم‌طول نخواهند بود استفاده از این تابع برای ما امکان پذیر نیست. ناهم‌طولی ورودی‌ها به این خاطر است که ما فرایند هم‌طول‌سازی را عمدا به تعویق انداختیم تا فقط در زمان نیاز آن را روی هر بَتچ اجرا کنیم و از داشتن ورودی‌های بیش از اندازه طولانی با مقدار زیادی هم‌طول‌سازی پیش‌گیری کنیم. این روش، فرایند تعلیم را تا اندازه‌ای سرعت می‌بخشد، اما توجه داشته باشید که اگر شما در حال تعلیم روی TPU هستید این کار می‌تواند مشکل ساز باشد چرا که TPU اشکال معین را ترجیح می‌دهد، حتی اگر نیاز به هم‌طول‌سازی اضافه داشته باشد.";return{c(){e=o("p"),e.innerHTML=r},l(t){e=M(t,"P",{"data-svelte-h":!0}),j(e)!=="svelte-i7c8sq"&&(e.innerHTML=r)},m(t,c){w(t,e,c)},d(t){t&&d(e)}}}function xn(T){let e,r="تابعی که مسئول کنار هم گذاشتن نمونه‌ها در یک بَتچ می‌باشد <em>تابع ترکیب کننده</em> خوانده می‌شود. شما می‌توانید این تابع را که در حالت پیش‌ فرض نمونه‌های شما را به تِنسور پایتورچ تبدیل کرده و به هم الحاق می‌کند (اگر عناصر شما لیست، تاپِل یا دیکشنری باشند این کار به صورت بازگشتی انجام می‌گیرد) هنگام ساختن <code>DataLoader</code> به داخل آن ارسال کنید. از آنجایی که ورودی‌های ما هم‌طول نخواهند بود استفاده از این تابع برای ما امکان‌پذیر نیست. ناهم‌طولی ورودی‌ها به این خاطر است که ما فرایند هم‌طول‌سازی را عمدا به تعویق انداختیم تا فقط در زمان نیاز آن را روی هر بَتچ اجرا کنیم و از داشتن ورودی‌های بیش از اندازه طولانی با مقدار زیادی هم‌طول‌سازی پیش‌گیری کنیم. این روش، فرایند تعلیم را تا اندازه‌ای سرعت می‌بخشد، اما توجه داشته باشید که اگر شما در حال تعلیم روی TPU هستید این کار می‌تواند مشکل ساز باشد چرا که TPU اشکال معین را ترجیح می‌دهد، حتی اگر نیاز به هم‌طول‌سازی اضافه داشته باشد.";return{c(){e=o("p"),e.innerHTML=r},l(t){e=M(t,"P",{"data-svelte-h":!0}),j(e)!=="svelte-14mld1s"&&(e.innerHTML=r)},m(t,c){w(t,e,c)},d(t){t&&d(e)}}}function vn(T){let e,r,t;return r=new C({props:{code:"ZnJvbSUyMHRyYW5zZm9ybWVycyUyMGltcG9ydCUyMERhdGFDb2xsYXRvcldpdGhQYWRkaW5nJTBBJTBBZGF0YV9jb2xsYXRvciUyMCUzRCUyMERhdGFDb2xsYXRvcldpdGhQYWRkaW5nKHRva2VuaXplciUzRHRva2VuaXplciUyQyUyMHJldHVybl90ZW5zb3JzJTNEJTIydGYlMjIp",highlighted:`<span class="hljs-keyword">from</span> transformers <span class="hljs-keyword">import</span> DataCollatorWithPadding

data_collator = DataCollatorWithPadding(tokenizer=tokenizer, return_tensors=<span class="hljs-string">&quot;tf&quot;</span>)`,wrap:!1}}),{c(){e=o("div"),m(r.$$.fragment),this.h()},l(c){e=M(c,"DIV",{dir:!0});var y=$(e);J(r.$$.fragment,y),y.forEach(d),this.h()},h(){k(e,"dir","ltr")},m(c,y){w(c,e,y),f(r,e,null),t=!0},i(c){t||(h(r.$$.fragment,c),t=!0)},o(c){u(r.$$.fragment,c),t=!1},d(c){c&&d(e),U(r)}}}function In(T){let e,r,t;return r=new C({props:{code:"ZnJvbSUyMHRyYW5zZm9ybWVycyUyMGltcG9ydCUyMERhdGFDb2xsYXRvcldpdGhQYWRkaW5nJTBBJTBBZGF0YV9jb2xsYXRvciUyMCUzRCUyMERhdGFDb2xsYXRvcldpdGhQYWRkaW5nKHRva2VuaXplciUzRHRva2VuaXplcik=",highlighted:`<span class="hljs-keyword">from</span> transformers <span class="hljs-keyword">import</span> DataCollatorWithPadding

data_collator = DataCollatorWithPadding(tokenizer=tokenizer)`,wrap:!1}}),{c(){e=o("div"),m(r.$$.fragment),this.h()},l(c){e=M(c,"DIV",{dir:!0});var y=$(e);J(r.$$.fragment,y),y.forEach(d),this.h()},h(){k(e,"dir","ltr")},m(c,y){w(c,e,y),f(r,e,null),t=!0},i(c){t||(h(r.$$.fragment,c),t=!0)},o(c){u(r.$$.fragment,c),t=!1},d(c){c&&d(e),U(r)}}}function Zn(T){let e,r,t,c,y="به نظر خوب می‌آید! اکنون که از متن خالص به بَتچ‌هایی رسیده‌ایم که مدل‌مان می‌تواند با آنها کار کند، آماده کوک‌ کردن مدل هستیم:",x;return r=new C({props:{code:"JTdCJ2F0dGVudGlvbl9tYXNrJyUzQSUyMHRvcmNoLlNpemUoJTVCOCUyQyUyMDY3JTVEKSUyQyUwQSUyMCdpbnB1dF9pZHMnJTNBJTIwdG9yY2guU2l6ZSglNUI4JTJDJTIwNjclNUQpJTJDJTBBJTIwJ3Rva2VuX3R5cGVfaWRzJyUzQSUyMHRvcmNoLlNpemUoJTVCOCUyQyUyMDY3JTVEKSUyQyUwQSUyMCdsYWJlbHMnJTNBJTIwdG9yY2guU2l6ZSglNUI4JTVEKSU3RA==",highlighted:`{<span class="hljs-string">&#x27;attention_mask&#x27;</span>: torch.Size([<span class="hljs-number">8</span>, <span class="hljs-number">67</span>]),
 <span class="hljs-string">&#x27;input_ids&#x27;</span>: torch.Size([<span class="hljs-number">8</span>, <span class="hljs-number">67</span>]),
 <span class="hljs-string">&#x27;token_type_ids&#x27;</span>: torch.Size([<span class="hljs-number">8</span>, <span class="hljs-number">67</span>]),
 <span class="hljs-string">&#x27;labels&#x27;</span>: torch.Size([<span class="hljs-number">8</span>])}`,wrap:!1}}),{c(){e=o("div"),m(r.$$.fragment),t=p(),c=o("p"),c.textContent=y,this.h()},l(s){e=M(s,"DIV",{dir:!0});var b=$(e);J(r.$$.fragment,b),b.forEach(d),t=i(s),c=M(s,"P",{"data-svelte-h":!0}),j(c)!=="svelte-onjpfx"&&(c.textContent=y),this.h()},h(){k(e,"dir","ltr")},m(s,b){w(s,e,b),f(r,e,null),w(s,t,b),w(s,c,b),x=!0},i(s){x||(h(r.$$.fragment,s),x=!0)},o(s){u(r.$$.fragment,s),x=!1},d(s){s&&(d(e),d(t),d(c)),U(r)}}}function Rn(T){let e,r,t;return r=new C({props:{code:"JTdCJ2F0dGVudGlvbl9tYXNrJyUzQSUyMFRlbnNvclNoYXBlKCU1QjglMkMlMjA2NyU1RCklMkMlMEElMjAnaW5wdXRfaWRzJyUzQSUyMFRlbnNvclNoYXBlKCU1QjglMkMlMjA2NyU1RCklMkMlMEElMjAndG9rZW5fdHlwZV9pZHMnJTNBJTIwVGVuc29yU2hhcGUoJTVCOCUyQyUyMDY3JTVEKSUyQyUwQSUyMCdsYWJlbHMnJTNBJTIwVGVuc29yU2hhcGUoJTVCOCU1RCklN0Q=",highlighted:`{<span class="hljs-string">&#x27;attention_mask&#x27;</span>: TensorShape([<span class="hljs-number">8</span>, <span class="hljs-number">67</span>]),
 <span class="hljs-string">&#x27;input_ids&#x27;</span>: TensorShape([<span class="hljs-number">8</span>, <span class="hljs-number">67</span>]),
 <span class="hljs-string">&#x27;token_type_ids&#x27;</span>: TensorShape([<span class="hljs-number">8</span>, <span class="hljs-number">67</span>]),
 <span class="hljs-string">&#x27;labels&#x27;</span>: TensorShape([<span class="hljs-number">8</span>])}`,wrap:!1}}),{c(){e=o("div"),m(r.$$.fragment),this.h()},l(c){e=M(c,"DIV",{dir:!0});var y=$(e);J(r.$$.fragment,y),y.forEach(d),this.h()},h(){k(e,"dir","ltr")},m(c,y){w(c,e,y),f(r,e,null),t=!0},i(c){t||(h(r.$$.fragment,c),t=!0)},o(c){u(r.$$.fragment,c),t=!1},d(c){c&&d(e),U(r)}}}function An(T){let e,r="✏️ <strong>امتحان کنید!</strong> پروسه پیش‌پردازش را روی دیتاسِت GLUE SST-2 باز تکرار کنید. از آنجایی که این مجموعه به جای دو جمله‌ها شامل تک جمله‌ها می‌باشد این کار کمی متفاوت است، اما بقیه کارهایی که انجام داده‌ایم باید یکسان به نظر برسند. برای یک چالش مشکل‌تر، سعی کنید تابع پیش‌پردازشی بنویسید که برای همه مسئله‌های GLUE کار کند.";return{c(){e=o("p"),e.innerHTML=r},l(t){e=M(t,"P",{"data-svelte-h":!0}),j(e)!=="svelte-hig0bc"&&(e.innerHTML=r)},m(t,c){w(t,e,c)},p:cn,d(t){t&&d(e)}}}function rn(T){let e,r='اکنون که دیتاسِت‌مان و یک <code>collator</code> داده در اختیار داریم، نیاز داریم که آنها را باهم بکار ببریم. ما می‌توانستیم بَتچ‌ها را دستی لود کرده و آنها را <code>collate</code> کنیم، اما این روش کار زیادی می‌برد و احتمالا خیلی هم بهینه نخواهد بود. در عوض، تابعی ساده وجود دارد که راه حل بهینه‌ای برای این مسئله ارائه می‌کند: <span dir="ltr"><code>to_tf_dataset()</code></span>. این تابع یک <code>tf.data.Dataset</code> شامل پارامتری اختیاری برای تابع <code>collation</code> را دور دیتاسِت‌تان می‌پیچد. <code>tf.data.Dataset</code> یک فرمت بومی تِنسورفلو است که کِراس می‌تواند برای <span dir="ltr"><code>model.fit()</code></span> استفاده کند، در نتیجه همین یک تابع می‌تواند یک دیتاسِت هاگینگ‌فِیس را به سرعت به فرمت آماده برای تعلیم تبدیل کند. اجازه دهید آنرا در عمل با دیتاسِت‌مان مشاهده کنیم!',t,c,y,x,s,b="این هم از این! حالا می‌توانیم این دیتاسِت‌ها را به درس بعدی ببریم، جایی که تعلیم پس از همه سختی‌های  پیش‌پردازش به طرز خوشایندی سرراست خواهد بود.",H;return y=new C({props:{code:"dGZfdHJhaW5fZGF0YXNldCUyMCUzRCUyMHRva2VuaXplZF9kYXRhc2V0cyU1QiUyMnRyYWluJTIyJTVELnRvX3RmX2RhdGFzZXQoJTBBJTIwJTIwJTIwJTIwY29sdW1ucyUzRCU1QiUyMmF0dGVudGlvbl9tYXNrJTIyJTJDJTIwJTIyaW5wdXRfaWRzJTIyJTJDJTIwJTIydG9rZW5fdHlwZV9pZHMlMjIlNUQlMkMlMEElMjAlMjAlMjAlMjBsYWJlbF9jb2xzJTNEJTVCJTIybGFiZWxzJTIyJTVEJTJDJTBBJTIwJTIwJTIwJTIwc2h1ZmZsZSUzRFRydWUlMkMlMEElMjAlMjAlMjAlMjBjb2xsYXRlX2ZuJTNEZGF0YV9jb2xsYXRvciUyQyUwQSUyMCUyMCUyMCUyMGJhdGNoX3NpemUlM0Q4JTJDJTBBKSUwQSUwQXRmX3ZhbGlkYXRpb25fZGF0YXNldCUyMCUzRCUyMHRva2VuaXplZF9kYXRhc2V0cyU1QiUyMnZhbGlkYXRpb24lMjIlNUQudG9fdGZfZGF0YXNldCglMEElMjAlMjAlMjAlMjBjb2x1bW5zJTNEJTVCJTIyYXR0ZW50aW9uX21hc2slMjIlMkMlMjAlMjJpbnB1dF9pZHMlMjIlMkMlMjAlMjJ0b2tlbl90eXBlX2lkcyUyMiU1RCUyQyUwQSUyMCUyMCUyMCUyMGxhYmVsX2NvbHMlM0QlNUIlMjJsYWJlbHMlMjIlNUQlMkMlMEElMjAlMjAlMjAlMjBzaHVmZmxlJTNERmFsc2UlMkMlMEElMjAlMjAlMjAlMjBjb2xsYXRlX2ZuJTNEZGF0YV9jb2xsYXRvciUyQyUwQSUyMCUyMCUyMCUyMGJhdGNoX3NpemUlM0Q4JTJDJTBBKQ==",highlighted:`tf_train_dataset = tokenized_datasets[<span class="hljs-string">&quot;train&quot;</span>].to_tf_dataset(
    columns=[<span class="hljs-string">&quot;attention_mask&quot;</span>, <span class="hljs-string">&quot;input_ids&quot;</span>, <span class="hljs-string">&quot;token_type_ids&quot;</span>],
    label_cols=[<span class="hljs-string">&quot;labels&quot;</span>],
    shuffle=<span class="hljs-literal">True</span>,
    collate_fn=data_collator,
    batch_size=<span class="hljs-number">8</span>,
)

tf_validation_dataset = tokenized_datasets[<span class="hljs-string">&quot;validation&quot;</span>].to_tf_dataset(
    columns=[<span class="hljs-string">&quot;attention_mask&quot;</span>, <span class="hljs-string">&quot;input_ids&quot;</span>, <span class="hljs-string">&quot;token_type_ids&quot;</span>],
    label_cols=[<span class="hljs-string">&quot;labels&quot;</span>],
    shuffle=<span class="hljs-literal">False</span>,
    collate_fn=data_collator,
    batch_size=<span class="hljs-number">8</span>,
)`,wrap:!1}}),{c(){e=o("p"),e.innerHTML=r,t=p(),c=o("div"),m(y.$$.fragment),x=p(),s=o("p"),s.textContent=b,this.h()},l(_){e=M(_,"P",{"data-svelte-h":!0}),j(e)!=="svelte-1mf2c3v"&&(e.innerHTML=r),t=i(_),c=M(_,"DIV",{dir:!0});var v=$(c);J(y.$$.fragment,v),v.forEach(d),x=i(_),s=M(_,"P",{"data-svelte-h":!0}),j(s)!=="svelte-oiqtai"&&(s.textContent=b),this.h()},h(){k(c,"dir","ltr")},m(_,v){w(_,e,v),w(_,t,v),w(_,c,v),f(y,c,null),w(_,x,v),w(_,s,v),H=!0},i(_){H||(h(y.$$.fragment,_),H=!0)},o(_){u(y.$$.fragment,_),H=!1},d(_){_&&(d(e),d(t),d(c),d(x),d(s)),U(y)}}}function Nn(T){let e,r,t,c,y,x,s,b,H,_,v,Qe,Z,R,Ve,ks,nt="البته تعلیم با استفاده از دو جمله به نتایج چشم‌گیری منتهی نخواهد شد. برای به دست آوردن نتایج بهتر نیاز به آماده‌سازی دیتاسِت بزرگتری خواهید داشت.",Le,Cs,at='در این بخش ما از دیتاسِت MRPC[^1] که در یک <a href="https://www.aclweb.org/anthology/I05-5002.pdf" rel="nofollow">مقاله</a>، نوشته‌ی ویلیام بی دالن و کریس براکت، معرفی شده به عنوان یک مثال استفاده خواهیم کرد. این دیتاسِت شامل ۵۸۰۱ جفت جمله و یک برچسب می‌باشد که برچسب نشان دهنده متناظر بودن جملات می‌باشد (به عنوان مثال اینکه آیا دو جمله معنی یکسانی دارند یا خیر). علت انتخاب این دیتاسِت این است که دیتاسِت کوچکی است و تجربه تعلیم روی آن آسان است.',Pe,L,Ke,A,N,Ge,xs,rt='هاب تنها شامل مدل‌ها نمی‌باشد؛ بلکه شامل دیتاسِت‌های متعدد در بسیاری از زبان‌های مختلف می‌باشد. شما می‌توانید دیتاسِت‌ها را در این <a href="https://huggingface.co/datasets" rel="nofollow">لینک</a> جستجو کنید و پیشنهاد می‌کنیم پس از اتمام این بخش یک دیتاسِت جدید را دریافت و پردازش کنید (بخش مستندات عمومی را در <a href="https://huggingface.co/docs/datasets/loading" rel="nofollow">اینجا</a> مشاهده کنید). اما اجازه بدهید اکنون روی دیتاسِت MRPC تمرکز کنیم! این یکی از ۱۰ دیتاسِت <a href="https://gluebenchmark.com/" rel="nofollow">GLUE benchmark</a> است که یک محک تهیه شده در محیط دانشگاهی جهت اندازه گیری کارکرد مدل‌های یادگیری ماشینی در ۱۰ مسئله دسته‌بندی متن مختلف می‌باشد.',Oe,vs,ct="کتابخانه دیتاسِت هاگینگ‌فِیس یک دستور بسیار ساده جهت دانلود و انبار کردن یک دیتاسِت در هاب ارائه می‌کند. ما می‌توانیم دیتاسِت MRPC را به روش زیر دانلود کنیم:",sl,W,Y,el,Is,pt=`raw_datasets = load_dataset(“glue”, “mrpc”)
raw_datasets`,ll,P,tl,Zs,it="همانطور که می‌بینید یک شیء <code>DatasetDict</code> بدست می‌آوریم که شامل مجموعه <code>training</code>، مجموعه <code>validation</code> و مجموعه <code>test</code> می‌باشد. هر یک از این‌ها شامل چندین ستون (<code>label</code>، <code>sentence2</code>، <code>sentence1</code> و <code>idx</code>) و تعداد متغیری سطر که عناصر هر مجموعه را تشکیل می‌دهند می‌باشد. (بنابراین، ۳۶۶۸ جفت جمله در مجموعه <code>training</code> وجود دارد، ۴۰۸ تا در مجموعه <code>validation</code> و ۱۷۲۵ تا در مجموعه <code>test</code>).",nl,Rs,ot='این دستور دیتاسِت را دانلود و به صورت پیش‌فرض در پوشه‌ <span dir="ltr"><em>~/.cache/huggingface/dataset</em></span> انبار می‌کند. از فصل ۲ به یاد داشته باشید که می‌توانید پوشه‌ انبار کردن‌تان را با تنظیم متغیر محیطی <code>HF_HOME</code> به دلخواه تغییر دهید.',al,As,Mt="ما می‌توانیم به هر جفت از جملات در شئ <code>raw_datasets</code> با استفاده از اندیس, مانند یک دیکشنری دسترسی پیدا کنیم:",rl,Ns,K,cl,Qs,O,pl,Vs,dt="می‌بینیم که برچسب‌ها از پیش اعداد صحیح هستند، بنابراین لازم نیست هیچ پیش‌پردازشی روی آنها انجام دهیم. برای این که بدانیم کدام مقدار عددی صحیح به کدام برچسب مربوط می‌شود، می‌توانیم <code>features</code> از ‌<code>raw_train_dataset</code>‌مان را بررسی کنیم. این کار نوع هر ستون را به ما خواهد گفت.",il,Gs,ss,ol,Bs,es,Ml,Es,ht="در پشت صحنه، <code>label</code> از نوع <code>ClassLabel</code> می‌باشد، و نگاشت اعداد صحیح به نام برچسب در پوشه‌ <em>names</em> ذخیره شده است. <code>0</code> مربوط به <code>not_equivalent</code> و <code>1</code> مربوط به <code>equivalent</code> می‌باشد.",dl,S,hl,ls,ul,Q,V,Be,Xs,ut='به منظور پیش‌پردازش دیتاسِت‌، لازم است متن را به اعدادی قابل پردازش برای مدل تبدیل کنیم. همانطور که در<a href="/course/chapter2">فصل قبل</a> مشاهده کردید، این کار با استفاده از یک توکِنایزر انجام می‌شود. ما می‌توانیم یک یا چند جمله را به توکِنایزر بدهیم، در نتیجه می‌توانیم به طور مستقیم تمام جملات اول و دوم هر جفت جمله را به صورت زیر توکِن کنیم:',yl,Ws,ts,jl,zs,yt="با این حال، نمی‌توانیم دو جمله را به مدل ارسال کنیم تا پیش‌بینی کند که متناظر هستند یا خیر. ما نیاز داریم با دو رشته به صورت یک جفت برخورد کنیم و پیش‌پردازش مناسب را به آن اعمال کنیم. خوشبختانه، توکِنایزر می‌تواند یک جفت رشته را دریافت کند و آنرا به گونه‌ای که مدل BERT ما انتظار دارد آماده‌سازی کند:",ml,Ds,ns,Jl,Hs,as,fl,Ys,jt='در <a href="/course/chapter2">فصل ۲</a> در مورد کلیدهای <code>input_ids</code> و <code>attention_mask</code> بحث کردیم، اما از گفتگو در مورد <code>token_type_ids</code> اجتناب کردیم. در این مثال این همان چیزی است که به مدل می‌گوید کدام بخش از ورودی جمله اول و کدام بخش جمله دوم است.',Ul,F,Tl,Ss,mt="اگر شناسه‌های داخل <code>input_ids</code> را به کلمات کدگشایی کنیم:",bl,Fs,rs,gl,qs,Jt="خواهیم داشت:",wl,Ls,cs,_l,Ps,ft='بنابراین می‌بینیم که مدل انتظار دارد وقتی که دو جمله داریم ورودی‌ها به صورت <span dir="ltr"><code>[CLS] sentence1 [SEP] sentence2 [SEP]</code></span> باشند.',$l,Ks,ps,kl,Os,Ut='همانطور که می‌بینید، بخش‌هایی از ورودی که مربوط به <span dir="ltr"><code>[CLS] sentence1 [SEP]</code></span> هستند اندیس نشان دهنده نوع توکِن آنها <code>0</code> و بخش‌هایی که مربوط به <span dir="ltr"><code>sentence2 [SEP]</code></span> هستند اندیس نشان دهنده نوع توکِن‌شان <code>1</code> می‌باشد.',Cl,se,Tt="توجه داشته باشید که اگر نقطه تعلیم متفاوتی را انتخاب کنید، در ورودی‌ها لزوما <code>token_type_ids</code> نخواهید داشت (به عنوان مثال، اگر از یک DistilBERT استفاده کنید آنها بازگردانده نخواهند شد). آنها فقط زمانی بازگردانده می‌شوند که مدل می‌داند با آنها چکار کند، به این خاطر که آنها را در زمان پیش‌تعلیم دیده است.",xl,ee,bt='در اینجا، مدل BERT با شناسه‌هایی که نشان دهنده نوع توکِن هستند از پیش‌ تعلیم دیده و علاوه بر هدف تکمیل جاهای خالی متن که در <a href="/course/chapter1">فصل ۱</a> در مورد آن صحبت کردیم وظیفه‌ دیگری تحت عنوان <em>پیش‌بینی جمله‌ بعدی</em> بر عهده دارد. هدف از این وظیفه مدل کردن رابطه بین جملات جفتی می‌باشد.',vl,le,gt="در پیش‌بینی جمله بعدی، لیستی از جمله‌های جفت شده (با کلماتی که به طور تصادفی پنهان شده‌اند) به مدل داده می‌شوند و از مدل خواسته می‌شود پیش‌بینی کند که آیا جمله دوم در ادامه‌ جمله‌ اول قرار دارد یا خیر. برای سخت‌تر کردن مسئله، در نیمی از حالت‌ها دو جمله در متن اصلی به دنبال هم آمده‌، و در نیمی دیگر از دو متن متفاوت می‌آیند.",Il,te,wt="در مجموع، نیازی نیست نگران وجود یا عدم وجود <code>token_type_ids</code> در ورودی‌های توکِن شده خود باشید: مادامی که از نقطه تعلیم یکسان برای توکِنایزر و مدل استفاده کنید، همه چیز خوب پیش خواهد رفت چرا که توکِنایزر می‌داند چه چیزی برای مدل فراهم کند.",Zl,ne,_t='اکنون که مشاهده کردیم چگونه توکِن کننده ما می‌تواند با دو جمله برخورد کند، می‌توانیم آن را برای توکِن کردن کل دیتاسِت‌مان به کار ببریم: مانند <a href="/course/chapter2">فصل قبل</a>، ما می‌توانیم توکِنایزر را با لیستی از جفت جمله‌ها، با دادن لیست جملات اول و سپس لیست جملات دوم، تغذیه کنیم. این روش همچنین با گزینه‌های <code>padding</code> و <code>truncation</code> که در <a href="/course/chapter2">فصل ۲</a> مشاهده کردیم سازگاری دارد. بنابراین، یک روش برای پیش‌پردازش دیتاسِت <code>training</code> اینگونه می‌باشد:',Rl,ae,is,Al,re,$t='این روش به خوبی کار می‌کند، اما مشکل‌اش این است که دیکشنری (از کلیدهای ما شامل، <code>input_ids</code>, <code>attention_mask</code> و <code>token_type_ids</code> و مقادیر آنها که لیست‌هایی از لیست‌ها هستند) برمی‌گرداند. همچنین این روش فقط زمانی کار می‌کند که حافظه موقت کافی جهت ذخیره‌سازی کل دیتاسِت در حین توکِن کردن داشته باشید (در حالی که دیتاسِت‌های موجود در کتابخانه <code>Datatasets</code> از هاگینگ‌فِیس فایل‌هایی از نوع <a href="https://arrow.apache.org/" rel="nofollow">Apache Arrow</a> هستند که روی دیسک ذخیره شده‌اند، بنابراین شما فقط نمونه‌هایی را که جهت ذخیره در حافظه درخواست کرده‌اید نگه‌ می‌دارید).',Nl,ce,kt='به منظور نگه داشتن داده به صورت یک دیتاسِت، از تابع <span dir="ltr"><a href="https://huggingface.co/docs/datasets/package_reference/main_classes#datasets.Dataset.map" rel="nofollow"><code>Dataset.map()</code></a></span> استفاده می‌کنیم. چنانچه به پیش‌پردازش‌های بیشتری علاوه‌ بر توکِن کردن نیاز داشته باشیم این روش انعطاف‌پذیری لازم را به ما می‌دهد. تابع <span dir="ltr"><code>map()</code></span> با اعمال کردن یک عملیات روی هر عنصر دیتاسِت عمل می‌کند، بنابراین اجازه دهید تابعی تعریف کنیم که ورودی‌ها را توکِن کند:',Ql,pe,os,Vl,ie,Ct='این تابع دیکشنری (مثل اقلام داخل دیتاسِت) دریافت می‌کند و دیکشنری دیگری با کلیدهای <code>input_ids</code>، <code>attention_mask</code> و <code>token_type_ids</code> برمی‌گرداند. توجه داشته باشید از آنجایی که توکِنایزر روی لیست‌هایی از دو جمله‌ها کار می‌کند، همان‌طور که قبلا مشاهده کردیم، این تابع نیز در صورتی که دیکشنری <code>example</code> شامل چندین نمونه (هر کلید به عنوان لیستی از جمله‌ها) باشد کار می‌کند. این به ما این امکان را خواهد داد که از گزینه <code>batched=True</code> در فراخوانی تابع <span dir="ltr"><code>map()</code></span> استفاده کنیم که توکِنایزر را به میزان زیادی سریع‌تر خواهد کرد. این <code>tokenizer</code> با توکِنایزری در کتابخانه <a href="https://github.com/huggingface/tokenizers" rel="nofollow">Tokenizers</a> از هاگینگ‌فِیس که به زبان برنامه‌‌نویسی Rust نوشته شده پشتیبانی می‌شود. این توکِنایزر می‌تواند بسیار سریع باشد، اما فقط به شرطی که ورودی‌های زیادی را به صورت یک جا به آن بدهیم.',Gl,oe,xt="توجه داشته باشید که ما آرگومان هم‌طول‌سازی را در تابع توکِن کننده‌مان نادیده گرفته‌ایم. این به این خاطر است که هم‌طول‌سازی روی همه نمونه‌ها برای بیشترین طول به صرفه نیست: بهتر است که نمونه‌ها را زمانی که در حال ساختن بَتچ هستیم هم‌طول کنیم، در این صورت فقط نیاز داریم نمونه‌ها را به اندازه بزرگترین طول همان بَتچ و نه بیشترین طول در سرتاسر دیتاسِت‌ هم‌طول کنیم. این روش زمانی که ورودی‌ها دارای طول‌های بسیار متغیری هستند وقت و انرژی زیادی را صرفه‌جویی خواهد کرد.",Bl,Me,vt="در اینجا نشان می‌دهیم چگونه تابع تولید توکِن را روی کل دیتاسِت به یکباره اعمال می‌کنیم. ما از <code>batched=True</code> در فراخوانی تابع <code>map</code> استفاده می‌کنیم بنابر این تابع ما به جای اینکه روی هر عنصر به صورت جداگانه عمل کند روی چندین عنصر از دیتاسِت به یکباره عمل می‌کند. این کار اجازه می‌دهد که پیش‌پردازش سریع‌تر انجام گیرد:",El,de,Ms,Xl,he,It="کتابخانه <code>Datasets</code> از هاگینگ‌فِیس این پیش‌پردازش را با افزودن -فیلدهای- جدید به دیتاسِت‌ها، یکی به اِزای هر کلید در -دیکشنری- که توسط تابع پیش‌پردازش بازگردانده می‌شوند، اعمال می‌کند:",Wl,ue,ds,zl,ye,Zt='شما حتی می‌توانید زمانی که تابع پیش‌پردازش خود را اعمال می‌کنید، با ارسال آرگومان <code>num_proc</code> در تابع <span dir="ltr"><code>map()</code></span> از چندپردازشی استفاده کنید. در اینجا ما این کار را انجام ندادیم چرا که کتابخانه <code>Tokenizers</code> هاگینگ‌فِیس از پیش، از چندین رشته پردازشی برای توکِن کردن سریع‌تر نمونه‌های ما استفاده می‌کند، اما اگر شما از یک توکِنایزر سریع که با این کتابخانه پشتیبانی شود استفاده نمی‌کنید، این روش می‌تواند پیش‌پردازش شما را سریع‌تر کند.',Dl,je,Rt='تابع <code>tokenize_function</code> ما یک دیکشنری شامل کلیدهای <code>input_ids</code>، <code>attention_mask</code> و <code>token_type_ids</code> برمی‌گرداند به گونه‌ای که این کلیدها به صورت سه فیلد جدید به همه بخش‌های دیتاسِت افزوده گردند. توجه داشته باشید اگر تابع پیش‌پردازش ما برای یک کلید موجود در دیتاسِت مقدار جدیدی بازمی‌گرداند ما می‌توانستیم فیلدهای موجود در دیتاسِتی که تابع <span dir="ltr"><code>map()</code></span> به آن اعمال می‌شود را نیز تغییر دهیم.',Hl,me,At="آخرین کاری که باید انجام دهیم این است که هنگامی که عناصر را با هم در یک بَتچ قرار می‌دهیم، طول همه عناصر را به اندازه بلندترین عنصر برسانیم - تکنیکی که ما به آن <em>هم‌طول‌سازی پویا</em> می‌گوییم.",Yl,hs,Sl,us,Fl,Ee,Je,Nt="برای انجام این کار در عمل، ما باید یک تابع ترکیب کننده تعریف کنیم که میزان درستی از هم‌طول‌سازی را به آیتم‌های دیتاسِت‌هایی که ما می‌خواهیم باهم در یک بَتچ قرار دهیم اعمال کند. خوشبختانه، کتابخانه ترنسفورمرهای هاگینگ‌فِیس چنین قابلیتی را توسط کلاس <code>DataCollatorWithPadding</code> به ما می‌دهد. به محض این که شیء‌ای از این کلاس را تعریف کنیم (یعنی تعیین کنیم چه توکِنی برای هم‌طول‌سازی استفاده کند و مدل انتظار هم‌طول‌سازی از سمت چپ یا راست ورودی‌ها را داشته باشد) یک توکِنایزر را برداشته و هر کاری را که لازم دارید انجام می‌دهد:",ql,G,B,Xe,fe,Qt="اجازه دهید چند نمونه از مجموعه <code>training</code> را که می‌خواهیم باهم در یک بَتچ قرار دهیم برداریم تا این ابزار جدید را امتحان کنیم. در اینجا ستون‌های <code>idx</code>، <code>sentence1</code> و <code>sentence2</code> را حذف می‌کنیم چرا که احتیاج نخواهند شد و شامل رشته‌های متنی می‌شوند (که ما نمی‌توانیم تنسورهایی از رشته‌های متنی ایجاد کنیم) و سپس نگاهی می‌اندازیم به طول هر ورودی در هر بَتچ:",Ll,Ue,ys,Pl,Te,js,Kl,be,Vt="تعجبی ندارد که نمونه‌هایی با طول‌های متغییر، از ۳۲ تا ۶۷ بدست می‌آوریم. هم‌طول‌سازی پویا به این معنی است که نمونه‌های موجود در این بَتچ باید همگی با طول ۶۷، که بزرگترین طول داخل بَتچ می‌باشد، هم‌طول شده باشند. بدون هم‌طول‌سازی پویا، همه نمونه‌ها در کل دیتاسِت باید به اندازه بزرگ‌ترین طول یا بزرگ‌ترین طول قابل پذیرش برای مدل، هم‌طول شوند. اجازه دهید بررسی کنیم آیا <code>data_collator</code> ما بَتچ را به درستی هم‌طول می‌کند:",Ol,ge,ms,st,E,X,We,q,et,ze,we,Gt="[^1]: Microsoft Research Paraphrase Corpus",De,Js,He,ve,Ye;y=new yn({props:{fw:T[0]}}),b=new qe({props:{title:"پردازش داده",local:"پردازش-داده",headingTag:"h1"}});const Bt=[Jn,mn],fs=[];function Et(a,g){return a[0]==="pt"?0:1}_=Et(T),v=fs[_]=Bt[_](T);const Xt=[Un,fn],Us=[];function Wt(a,g){return a[0]==="pt"?0:1}Z=Wt(T),R=Us[Z]=Xt[Z](T),L=new qe({props:{title:"بارگذاری دیتاسِت‌ها از هاب",local:"بارگذاری-دیتاستها-از-هاب",headingTag:"h3"}});const zt=[bn,Tn],Ts=[];function Dt(a,g){return a[0]==="pt"?0:1}A=Dt(T),N=Ts[A]=zt[A](T),Y=new Fe({props:{$$slots:{default:[gn]},$$scope:{ctx:T}}}),P=new C({props:{code:"JTBBJTNDJTJGZGl2JTNFJTBBJTBBJTNDZGl2JTIwZGlyJTNEJTIybHRyJTIyJTNFJTBBJTBBJTYwJTYwJTYwcHl0aG9uJTIwb3V0JTBBRGF0YXNldERpY3QoJTdCJTBBJTIwJTIwJTIwJTIwdHJhaW4lM0ElMjBEYXRhc2V0KCU3QiUwQSUyMCUyMCUyMCUyMCUyMCUyMCUyMCUyMGZlYXR1cmVzJTNBJTIwJTVCJ3NlbnRlbmNlMSclMkMlMjAnc2VudGVuY2UyJyUyQyUyMCdsYWJlbCclMkMlMjAnaWR4JyU1RCUyQyUwQSUyMCUyMCUyMCUyMCUyMCUyMCUyMCUyMG51bV9yb3dzJTNBJTIwMzY2OCUwQSUyMCUyMCUyMCUyMCU3RCklMEElMjAlMjAlMjAlMjB2YWxpZGF0aW9uJTNBJTIwRGF0YXNldCglN0IlMEElMjAlMjAlMjAlMjAlMjAlMjAlMjAlMjBmZWF0dXJlcyUzQSUyMCU1QidzZW50ZW5jZTEnJTJDJTIwJ3NlbnRlbmNlMiclMkMlMjAnbGFiZWwnJTJDJTIwJ2lkeCclNUQlMkMlMEElMjAlMjAlMjAlMjAlMjAlMjAlMjAlMjBudW1fcm93cyUzQSUyMDQwOCUwQSUyMCUyMCUyMCUyMCU3RCklMEElMjAlMjAlMjAlMjB0ZXN0JTNBJTIwRGF0YXNldCglN0IlMEElMjAlMjAlMjAlMjAlMjAlMjAlMjAlMjBmZWF0dXJlcyUzQSUyMCU1QidzZW50ZW5jZTEnJTJDJTIwJ3NlbnRlbmNlMiclMkMlMjAnbGFiZWwnJTJDJTIwJ2lkeCclNUQlMkMlMEElMjAlMjAlMjAlMjAlMjAlMjAlMjAlMjBudW1fcm93cyUzQSUyMDE3MjUlMEElMjAlMjAlMjAlMjAlN0QpJTBBJTdEKQ==",highlighted:`
&lt;/div&gt;

&lt;div dir=<span class="hljs-string">&quot;ltr&quot;</span>&gt;

\`\`\`python out
<span class="hljs-title function_ invoke__">DatasetDict</span>({
    <span class="hljs-attr">train</span>: <span class="hljs-title function_ invoke__">Dataset</span>({
        <span class="hljs-attr">features</span>: [<span class="hljs-string">&#x27;sentence1&#x27;</span>, <span class="hljs-string">&#x27;sentence2&#x27;</span>, <span class="hljs-string">&#x27;label&#x27;</span>, <span class="hljs-string">&#x27;idx&#x27;</span>],
        <span class="hljs-attr">num_rows</span>: <span class="hljs-number">3668</span>
    })
    <span class="hljs-attr">validation</span>: <span class="hljs-title function_ invoke__">Dataset</span>({
        <span class="hljs-attr">features</span>: [<span class="hljs-string">&#x27;sentence1&#x27;</span>, <span class="hljs-string">&#x27;sentence2&#x27;</span>, <span class="hljs-string">&#x27;label&#x27;</span>, <span class="hljs-string">&#x27;idx&#x27;</span>],
        <span class="hljs-attr">num_rows</span>: <span class="hljs-number">408</span>
    })
    <span class="hljs-attr">test</span>: <span class="hljs-title function_ invoke__">Dataset</span>({
        <span class="hljs-attr">features</span>: [<span class="hljs-string">&#x27;sentence1&#x27;</span>, <span class="hljs-string">&#x27;sentence2&#x27;</span>, <span class="hljs-string">&#x27;label&#x27;</span>, <span class="hljs-string">&#x27;idx&#x27;</span>],
        <span class="hljs-attr">num_rows</span>: <span class="hljs-number">1725</span>
    })
})`,wrap:!1}}),K=new C({props:{code:"cmF3X3RyYWluX2RhdGFzZXQlMjAlM0QlMjByYXdfZGF0YXNldHMlNUIlMjJ0cmFpbiUyMiU1RCUwQXJhd190cmFpbl9kYXRhc2V0JTVCMCU1RA==",highlighted:`raw_train_dataset = raw_datasets[<span class="hljs-string">&quot;train&quot;</span>]
raw_train_dataset[<span class="hljs-number">0</span>]`,wrap:!1}}),O=new C({props:{code:"JTdCJ2lkeCclM0ElMjAwJTJDJTBBJTIwJ2xhYmVsJyUzQSUyMDElMkMlMEElMjAnc2VudGVuY2UxJyUzQSUyMCdBbXJvemklMjBhY2N1c2VkJTIwaGlzJTIwYnJvdGhlciUyMCUyQyUyMHdob20lMjBoZSUyMGNhbGxlZCUyMCUyMiUyMHRoZSUyMHdpdG5lc3MlMjAlMjIlMjAlMkMlMjBvZiUyMGRlbGliZXJhdGVseSUyMGRpc3RvcnRpbmclMjBoaXMlMjBldmlkZW5jZSUyMC4nJTJDJTBBJTIwJ3NlbnRlbmNlMiclM0ElMjAnUmVmZXJyaW5nJTIwdG8lMjBoaW0lMjBhcyUyMG9ubHklMjAlMjIlMjB0aGUlMjB3aXRuZXNzJTIwJTIyJTIwJTJDJTIwQW1yb3ppJTIwYWNjdXNlZCUyMGhpcyUyMGJyb3RoZXIlMjBvZiUyMGRlbGliZXJhdGVseSUyMGRpc3RvcnRpbmclMjBoaXMlMjBldmlkZW5jZSUyMC4nJTdE",highlighted:`{<span class="hljs-string">&#x27;idx&#x27;</span>: <span class="hljs-number">0</span>,
 <span class="hljs-string">&#x27;label&#x27;</span>: <span class="hljs-number">1</span>,
 <span class="hljs-string">&#x27;sentence1&#x27;</span>: <span class="hljs-string">&#x27;Amrozi accused his brother , whom he called &quot; the witness &quot; , of deliberately distorting his evidence .&#x27;</span>,
 <span class="hljs-string">&#x27;sentence2&#x27;</span>: <span class="hljs-string">&#x27;Referring to him as only &quot; the witness &quot; , Amrozi accused his brother of deliberately distorting his evidence .&#x27;</span>}`,wrap:!1}}),ss=new C({props:{code:"cmF3X3RyYWluX2RhdGFzZXQuZmVhdHVyZXM=",highlighted:"raw_train_dataset.features",wrap:!1}}),es=new C({props:{code:"JTdCJ3NlbnRlbmNlMSclM0ElMjBWYWx1ZShkdHlwZSUzRCdzdHJpbmcnJTJDJTIwaWQlM0ROb25lKSUyQyUwQSUyMCdzZW50ZW5jZTInJTNBJTIwVmFsdWUoZHR5cGUlM0Qnc3RyaW5nJyUyQyUyMGlkJTNETm9uZSklMkMlMEElMjAnbGFiZWwnJTNBJTIwQ2xhc3NMYWJlbChudW1fY2xhc3NlcyUzRDIlMkMlMjBuYW1lcyUzRCU1Qidub3RfZXF1aXZhbGVudCclMkMlMjAnZXF1aXZhbGVudCclNUQlMkMlMjBuYW1lc19maWxlJTNETm9uZSUyQyUyMGlkJTNETm9uZSklMkMlMEElMjAnaWR4JyUzQSUyMFZhbHVlKGR0eXBlJTNEJ2ludDMyJyUyQyUyMGlkJTNETm9uZSklN0Q=",highlighted:`{<span class="hljs-string">&#x27;sentence1&#x27;</span>: Value(dtype=<span class="hljs-string">&#x27;string&#x27;</span>, <span class="hljs-built_in">id</span>=<span class="hljs-literal">None</span>),
 <span class="hljs-string">&#x27;sentence2&#x27;</span>: Value(dtype=<span class="hljs-string">&#x27;string&#x27;</span>, <span class="hljs-built_in">id</span>=<span class="hljs-literal">None</span>),
 <span class="hljs-string">&#x27;label&#x27;</span>: ClassLabel(num_classes=<span class="hljs-number">2</span>, names=[<span class="hljs-string">&#x27;not_equivalent&#x27;</span>, <span class="hljs-string">&#x27;equivalent&#x27;</span>], names_file=<span class="hljs-literal">None</span>, <span class="hljs-built_in">id</span>=<span class="hljs-literal">None</span>),
 <span class="hljs-string">&#x27;idx&#x27;</span>: Value(dtype=<span class="hljs-string">&#x27;int32&#x27;</span>, <span class="hljs-built_in">id</span>=<span class="hljs-literal">None</span>)}`,wrap:!1}}),S=new Fe({props:{$$slots:{default:[wn]},$$scope:{ctx:T}}}),ls=new qe({props:{title:"پیش‌پردازش دیتاسِت‌‌ها",local:"پیشپردازش-دیتاستها",headingTag:"h3"}});const Ht=[$n,_n],bs=[];function Yt(a,g){return a[0]==="pt"?0:1}Q=Yt(T),V=bs[Q]=Ht[Q](T),ts=new C({props:{code:"ZnJvbSUyMHRyYW5zZm9ybWVycyUyMGltcG9ydCUyMEF1dG9Ub2tlbml6ZXIlMEElMEFjaGVja3BvaW50JTIwJTNEJTIwJTIyYmVydC1iYXNlLXVuY2FzZWQlMjIlMEF0b2tlbml6ZXIlMjAlM0QlMjBBdXRvVG9rZW5pemVyLmZyb21fcHJldHJhaW5lZChjaGVja3BvaW50KSUwQXRva2VuaXplZF9zZW50ZW5jZXNfMSUyMCUzRCUyMHRva2VuaXplcihyYXdfZGF0YXNldHMlNUIlMjJ0cmFpbiUyMiU1RCU1QiUyMnNlbnRlbmNlMSUyMiU1RCklMEF0b2tlbml6ZWRfc2VudGVuY2VzXzIlMjAlM0QlMjB0b2tlbml6ZXIocmF3X2RhdGFzZXRzJTVCJTIydHJhaW4lMjIlNUQlNUIlMjJzZW50ZW5jZTIlMjIlNUQp",highlighted:`<span class="hljs-keyword">from</span> transformers <span class="hljs-keyword">import</span> AutoTokenizer

checkpoint = <span class="hljs-string">&quot;bert-base-uncased&quot;</span>
tokenizer = AutoTokenizer.from_pretrained(checkpoint)
tokenized_sentences_1 = tokenizer(raw_datasets[<span class="hljs-string">&quot;train&quot;</span>][<span class="hljs-string">&quot;sentence1&quot;</span>])
tokenized_sentences_2 = tokenizer(raw_datasets[<span class="hljs-string">&quot;train&quot;</span>][<span class="hljs-string">&quot;sentence2&quot;</span>])`,wrap:!1}}),ns=new C({props:{code:"aW5wdXRzJTIwJTNEJTIwdG9rZW5pemVyKCUyMlRoaXMlMjBpcyUyMHRoZSUyMGZpcnN0JTIwc2VudGVuY2UuJTIyJTJDJTIwJTIyVGhpcyUyMGlzJTIwdGhlJTIwc2Vjb25kJTIwb25lLiUyMiklMEFpbnB1dHM=",highlighted:`inputs = tokenizer(<span class="hljs-string">&quot;This is the first sentence.&quot;</span>, <span class="hljs-string">&quot;This is the second one.&quot;</span>)
inputs`,wrap:!1}}),as=new C({props:{code:"JTdCJTIwJTBBJTIwJTIwJ2lucHV0X2lkcyclM0ElMjAlNUIxMDElMkMlMjAyMDIzJTJDJTIwMjAwMyUyQyUyMDE5OTYlMkMlMjAyMDM0JTJDJTIwNjI1MSUyQyUyMDEwMTIlMkMlMjAxMDIlMkMlMjAyMDIzJTJDJTIwMjAwMyUyQyUyMDE5OTYlMkMlMjAyMTE3JTJDJTIwMjAyOCUyQyUyMDEwMTIlMkMlMjAxMDIlNUQlMkMlMEElMjAlMjAndG9rZW5fdHlwZV9pZHMnJTNBJTIwJTVCMCUyQyUyMDAlMkMlMjAwJTJDJTIwMCUyQyUyMDAlMkMlMjAwJTJDJTIwMCUyQyUyMDAlMkMlMjAxJTJDJTIwMSUyQyUyMDElMkMlMjAxJTJDJTIwMSUyQyUyMDElMkMlMjAxJTVEJTJDJTBBJTIwJTIwJ2F0dGVudGlvbl9tYXNrJyUzQSUyMCU1QjElMkMlMjAxJTJDJTIwMSUyQyUyMDElMkMlMjAxJTJDJTIwMSUyQyUyMDElMkMlMjAxJTJDJTIwMSUyQyUyMDElMkMlMjAxJTJDJTIwMSUyQyUyMDElMkMlMjAxJTJDJTIwMSU1RCUwQSU3RA==",highlighted:`{ 
  <span class="hljs-string">&#x27;input_ids&#x27;</span>: [<span class="hljs-number">101</span>, <span class="hljs-number">2023</span>, <span class="hljs-number">2003</span>, <span class="hljs-number">1996</span>, <span class="hljs-number">2034</span>, <span class="hljs-number">6251</span>, <span class="hljs-number">1012</span>, <span class="hljs-number">102</span>, <span class="hljs-number">2023</span>, <span class="hljs-number">2003</span>, <span class="hljs-number">1996</span>, <span class="hljs-number">2117</span>, <span class="hljs-number">2028</span>, <span class="hljs-number">1012</span>, <span class="hljs-number">102</span>],
  <span class="hljs-string">&#x27;token_type_ids&#x27;</span>: [<span class="hljs-number">0</span>, <span class="hljs-number">0</span>, <span class="hljs-number">0</span>, <span class="hljs-number">0</span>, <span class="hljs-number">0</span>, <span class="hljs-number">0</span>, <span class="hljs-number">0</span>, <span class="hljs-number">0</span>, <span class="hljs-number">1</span>, <span class="hljs-number">1</span>, <span class="hljs-number">1</span>, <span class="hljs-number">1</span>, <span class="hljs-number">1</span>, <span class="hljs-number">1</span>, <span class="hljs-number">1</span>],
  <span class="hljs-string">&#x27;attention_mask&#x27;</span>: [<span class="hljs-number">1</span>, <span class="hljs-number">1</span>, <span class="hljs-number">1</span>, <span class="hljs-number">1</span>, <span class="hljs-number">1</span>, <span class="hljs-number">1</span>, <span class="hljs-number">1</span>, <span class="hljs-number">1</span>, <span class="hljs-number">1</span>, <span class="hljs-number">1</span>, <span class="hljs-number">1</span>, <span class="hljs-number">1</span>, <span class="hljs-number">1</span>, <span class="hljs-number">1</span>, <span class="hljs-number">1</span>]
}`,wrap:!1}}),F=new Fe({props:{$$slots:{default:[kn]},$$scope:{ctx:T}}}),rs=new C({props:{code:"dG9rZW5pemVyLmNvbnZlcnRfaWRzX3RvX3Rva2VucyhpbnB1dHMlNUIlMjJpbnB1dF9pZHMlMjIlNUQp",highlighted:'tokenizer.convert_ids_to_tokens(inputs[<span class="hljs-string">&quot;input_ids&quot;</span>])',wrap:!1}}),cs=new C({props:{code:"JTVCJyU1QkNMUyU1RCclMkMlMjAndGhpcyclMkMlMjAnaXMnJTJDJTIwJ3RoZSclMkMlMjAnZmlyc3QnJTJDJTIwJ3NlbnRlbmNlJyUyQyUyMCcuJyUyQyUyMCclNUJTRVAlNUQnJTJDJTIwJ3RoaXMnJTJDJTIwJ2lzJyUyQyUyMCd0aGUnJTJDJTIwJ3NlY29uZCclMkMlMjAnb25lJyUyQyUyMCcuJyUyQyUyMCclNUJTRVAlNUQnJTVE",highlighted:'[<span class="hljs-string">&#x27;[CLS]&#x27;</span>, <span class="hljs-string">&#x27;this&#x27;</span>, <span class="hljs-string">&#x27;is&#x27;</span>, <span class="hljs-string">&#x27;the&#x27;</span>, <span class="hljs-string">&#x27;first&#x27;</span>, <span class="hljs-string">&#x27;sentence&#x27;</span>, <span class="hljs-string">&#x27;.&#x27;</span>, <span class="hljs-string">&#x27;[SEP]&#x27;</span>, <span class="hljs-string">&#x27;this&#x27;</span>, <span class="hljs-string">&#x27;is&#x27;</span>, <span class="hljs-string">&#x27;the&#x27;</span>, <span class="hljs-string">&#x27;second&#x27;</span>, <span class="hljs-string">&#x27;one&#x27;</span>, <span class="hljs-string">&#x27;.&#x27;</span>, <span class="hljs-string">&#x27;[SEP]&#x27;</span>]',wrap:!1}}),ps=new C({props:{code:"JTVCJyU1QkNMUyU1RCclMkMlMjAndGhpcyclMkMlMjAnaXMnJTJDJTIwJ3RoZSclMkMlMjAnZmlyc3QnJTJDJTIwJ3NlbnRlbmNlJyUyQyUyMCcuJyUyQyUyMCclNUJTRVAlNUQnJTJDJTIwJ3RoaXMnJTJDJTIwJ2lzJyUyQyUyMCd0aGUnJTJDJTIwJ3NlY29uZCclMkMlMjAnb25lJyUyQyUyMCcuJyUyQyUyMCclNUJTRVAlNUQnJTVEJTBBJTVCJTIwJTIwJTIwJTIwJTIwJTIwMCUyQyUyMCUyMCUyMCUyMCUyMCUyMDAlMkMlMjAlMjAlMjAlMjAwJTJDJTIwJTIwJTIwJTIwJTIwMCUyQyUyMCUyMCUyMCUyMCUyMCUyMCUyMDAlMkMlMjAlMjAlMjAlMjAlMjAlMjAlMjAlMjAlMjAlMjAwJTJDJTIwJTIwJTIwMCUyQyUyMCUyMCUyMCUyMCUyMCUyMCUyMDAlMkMlMjAlMjAlMjAlMjAlMjAlMjAxJTJDJTIwJTIwJTIwJTIwMSUyQyUyMCUyMCUyMCUyMCUyMDElMkMlMjAlMjAlMjAlMjAlMjAlMjAlMjAlMjAxJTJDJTIwJTIwJTIwJTIwJTIwMSUyQyUyMCUyMCUyMDElMkMlMjAlMjAlMjAlMjAlMjAlMjAlMjAxJTVE",highlighted:`[<span class="hljs-string">&#x27;[CLS]&#x27;</span>, <span class="hljs-string">&#x27;this&#x27;</span>, <span class="hljs-string">&#x27;is&#x27;</span>, <span class="hljs-string">&#x27;the&#x27;</span>, <span class="hljs-string">&#x27;first&#x27;</span>, <span class="hljs-string">&#x27;sentence&#x27;</span>, <span class="hljs-string">&#x27;.&#x27;</span>, <span class="hljs-string">&#x27;[SEP]&#x27;</span>, <span class="hljs-string">&#x27;this&#x27;</span>, <span class="hljs-string">&#x27;is&#x27;</span>, <span class="hljs-string">&#x27;the&#x27;</span>, <span class="hljs-string">&#x27;second&#x27;</span>, <span class="hljs-string">&#x27;one&#x27;</span>, <span class="hljs-string">&#x27;.&#x27;</span>, <span class="hljs-string">&#x27;[SEP]&#x27;</span>]
[      <span class="hljs-number">0</span>,      <span class="hljs-number">0</span>,    <span class="hljs-number">0</span>,     <span class="hljs-number">0</span>,       <span class="hljs-number">0</span>,          <span class="hljs-number">0</span>,   <span class="hljs-number">0</span>,       <span class="hljs-number">0</span>,      <span class="hljs-number">1</span>,    <span class="hljs-number">1</span>,     <span class="hljs-number">1</span>,        <span class="hljs-number">1</span>,     <span class="hljs-number">1</span>,   <span class="hljs-number">1</span>,       <span class="hljs-number">1</span>]`,wrap:!1}}),is=new C({props:{code:"dG9rZW5pemVkX2RhdGFzZXQlMjAlM0QlMjB0b2tlbml6ZXIoJTBBJTIwJTIwJTIwJTIwcmF3X2RhdGFzZXRzJTVCJTIydHJhaW4lMjIlNUQlNUIlMjJzZW50ZW5jZTElMjIlNUQlMkMlMEElMjAlMjAlMjAlMjByYXdfZGF0YXNldHMlNUIlMjJ0cmFpbiUyMiU1RCU1QiUyMnNlbnRlbmNlMiUyMiU1RCUyQyUwQSUyMCUyMCUyMCUyMHBhZGRpbmclM0RUcnVlJTJDJTBBJTIwJTIwJTIwJTIwdHJ1bmNhdGlvbiUzRFRydWUlMkMlMEEp",highlighted:`tokenized_dataset = tokenizer(
    raw_datasets[<span class="hljs-string">&quot;train&quot;</span>][<span class="hljs-string">&quot;sentence1&quot;</span>],
    raw_datasets[<span class="hljs-string">&quot;train&quot;</span>][<span class="hljs-string">&quot;sentence2&quot;</span>],
    padding=<span class="hljs-literal">True</span>,
    truncation=<span class="hljs-literal">True</span>,
)`,wrap:!1}}),os=new C({props:{code:"ZGVmJTIwdG9rZW5pemVfZnVuY3Rpb24oZXhhbXBsZSklM0ElMEElMjAlMjAlMjAlMjByZXR1cm4lMjB0b2tlbml6ZXIoZXhhbXBsZSU1QiUyMnNlbnRlbmNlMSUyMiU1RCUyQyUyMGV4YW1wbGUlNUIlMjJzZW50ZW5jZTIlMjIlNUQlMkMlMjB0cnVuY2F0aW9uJTNEVHJ1ZSk=",highlighted:`<span class="hljs-keyword">def</span> <span class="hljs-title function_">tokenize_function</span>(<span class="hljs-params">example</span>):
    <span class="hljs-keyword">return</span> tokenizer(example[<span class="hljs-string">&quot;sentence1&quot;</span>], example[<span class="hljs-string">&quot;sentence2&quot;</span>], truncation=<span class="hljs-literal">True</span>)`,wrap:!1}}),Ms=new C({props:{code:"dG9rZW5pemVkX2RhdGFzZXRzJTIwJTNEJTIwcmF3X2RhdGFzZXRzLm1hcCh0b2tlbml6ZV9mdW5jdGlvbiUyQyUyMGJhdGNoZWQlM0RUcnVlKSUwQXRva2VuaXplZF9kYXRhc2V0cw==",highlighted:`tokenized_datasets = raw_datasets.<span class="hljs-built_in">map</span>(tokenize_function, batched=<span class="hljs-literal">True</span>)
tokenized_datasets`,wrap:!1}}),ds=new C({props:{code:"RGF0YXNldERpY3QoJTdCJTBBJTIwJTIwJTIwJTIwdHJhaW4lM0ElMjBEYXRhc2V0KCU3QiUwQSUyMCUyMCUyMCUyMCUyMCUyMCUyMCUyMGZlYXR1cmVzJTNBJTIwJTVCJ2F0dGVudGlvbl9tYXNrJyUyQyUyMCdpZHgnJTJDJTIwJ2lucHV0X2lkcyclMkMlMjAnbGFiZWwnJTJDJTIwJ3NlbnRlbmNlMSclMkMlMjAnc2VudGVuY2UyJyUyQyUyMCd0b2tlbl90eXBlX2lkcyclNUQlMkMlMEElMjAlMjAlMjAlMjAlMjAlMjAlMjAlMjBudW1fcm93cyUzQSUyMDM2NjglMEElMjAlMjAlMjAlMjAlN0QpJTBBJTIwJTIwJTIwJTIwdmFsaWRhdGlvbiUzQSUyMERhdGFzZXQoJTdCJTBBJTIwJTIwJTIwJTIwJTIwJTIwJTIwJTIwZmVhdHVyZXMlM0ElMjAlNUInYXR0ZW50aW9uX21hc2snJTJDJTIwJ2lkeCclMkMlMjAnaW5wdXRfaWRzJyUyQyUyMCdsYWJlbCclMkMlMjAnc2VudGVuY2UxJyUyQyUyMCdzZW50ZW5jZTInJTJDJTIwJ3Rva2VuX3R5cGVfaWRzJyU1RCUyQyUwQSUyMCUyMCUyMCUyMCUyMCUyMCUyMCUyMG51bV9yb3dzJTNBJTIwNDA4JTBBJTIwJTIwJTIwJTIwJTdEKSUwQSUyMCUyMCUyMCUyMHRlc3QlM0ElMjBEYXRhc2V0KCU3QiUwQSUyMCUyMCUyMCUyMCUyMCUyMCUyMCUyMGZlYXR1cmVzJTNBJTIwJTVCJ2F0dGVudGlvbl9tYXNrJyUyQyUyMCdpZHgnJTJDJTIwJ2lucHV0X2lkcyclMkMlMjAnbGFiZWwnJTJDJTIwJ3NlbnRlbmNlMSclMkMlMjAnc2VudGVuY2UyJyUyQyUyMCd0b2tlbl90eXBlX2lkcyclNUQlMkMlMEElMjAlMjAlMjAlMjAlMjAlMjAlMjAlMjBudW1fcm93cyUzQSUyMDE3MjUlMEElMjAlMjAlMjAlMjAlN0QpJTBBJTdEKQ==",highlighted:`DatasetDict({
    train: Dataset({
        features: [<span class="hljs-string">&#x27;attention_mask&#x27;</span>, <span class="hljs-string">&#x27;idx&#x27;</span>, <span class="hljs-string">&#x27;input_ids&#x27;</span>, <span class="hljs-string">&#x27;label&#x27;</span>, <span class="hljs-string">&#x27;sentence1&#x27;</span>, <span class="hljs-string">&#x27;sentence2&#x27;</span>, <span class="hljs-string">&#x27;token_type_ids&#x27;</span>],
        num_rows: <span class="hljs-number">3668</span>
    })
    validation: Dataset({
        features: [<span class="hljs-string">&#x27;attention_mask&#x27;</span>, <span class="hljs-string">&#x27;idx&#x27;</span>, <span class="hljs-string">&#x27;input_ids&#x27;</span>, <span class="hljs-string">&#x27;label&#x27;</span>, <span class="hljs-string">&#x27;sentence1&#x27;</span>, <span class="hljs-string">&#x27;sentence2&#x27;</span>, <span class="hljs-string">&#x27;token_type_ids&#x27;</span>],
        num_rows: <span class="hljs-number">408</span>
    })
    test: Dataset({
        features: [<span class="hljs-string">&#x27;attention_mask&#x27;</span>, <span class="hljs-string">&#x27;idx&#x27;</span>, <span class="hljs-string">&#x27;input_ids&#x27;</span>, <span class="hljs-string">&#x27;label&#x27;</span>, <span class="hljs-string">&#x27;sentence1&#x27;</span>, <span class="hljs-string">&#x27;sentence2&#x27;</span>, <span class="hljs-string">&#x27;token_type_ids&#x27;</span>],
        num_rows: <span class="hljs-number">1725</span>
    })
})`,wrap:!1}}),hs=new qe({props:{title:"هم‌طول‌سازی پویا",local:"همطولسازی-پویا",headingTag:"h3"}}),us=new Ne({props:{id:"7q5NyFT8REg"}});function St(a,g){return a[0]==="pt"?xn:Cn}let Se=St(T),D=Se(T);const Ft=[In,vn],gs=[];function qt(a,g){return a[0]==="pt"?0:1}G=qt(T),B=gs[G]=Ft[G](T),ys=new C({props:{code:"c2FtcGxlcyUyMCUzRCUyMHRva2VuaXplZF9kYXRhc2V0cyU1QiUyMnRyYWluJTIyJTVEJTVCJTNBOCU1RCUwQXNhbXBsZXMlMjAlM0QlMjAlN0JrJTNBJTIwdiUyMGZvciUyMGslMkMlMjB2JTIwaW4lMjBzYW1wbGVzLml0ZW1zKCklMjBpZiUyMGslMjBub3QlMjBpbiUyMCU1QiUyMmlkeCUyMiUyQyUyMCUyMnNlbnRlbmNlMSUyMiUyQyUyMCUyMnNlbnRlbmNlMiUyMiU1RCU3RCUwQSU1Qmxlbih4KSUyMGZvciUyMHglMjBpbiUyMHNhbXBsZXMlNUIlMjJpbnB1dF9pZHMlMjIlNUQlNUQ=",highlighted:`samples = tokenized_datasets[<span class="hljs-string">&quot;train&quot;</span>][:<span class="hljs-number">8</span>]
samples = {k: v <span class="hljs-keyword">for</span> k, v <span class="hljs-keyword">in</span> samples.items() <span class="hljs-keyword">if</span> k <span class="hljs-keyword">not</span> <span class="hljs-keyword">in</span> [<span class="hljs-string">&quot;idx&quot;</span>, <span class="hljs-string">&quot;sentence1&quot;</span>, <span class="hljs-string">&quot;sentence2&quot;</span>]}
[<span class="hljs-built_in">len</span>(x) <span class="hljs-keyword">for</span> x <span class="hljs-keyword">in</span> samples[<span class="hljs-string">&quot;input_ids&quot;</span>]]`,wrap:!1}}),js=new C({props:{code:"JTVCNTAlMkMlMjA1OSUyQyUyMDQ3JTJDJTIwNjclMkMlMjA1OSUyQyUyMDUwJTJDJTIwNjIlMkMlMjAzMiU1RA==",highlighted:'[<span class="hljs-number">50</span>, <span class="hljs-number">59</span>, <span class="hljs-number">47</span>, <span class="hljs-number">67</span>, <span class="hljs-number">59</span>, <span class="hljs-number">50</span>, <span class="hljs-number">62</span>, <span class="hljs-number">32</span>]',wrap:!1}}),ms=new C({props:{code:"YmF0Y2glMjAlM0QlMjBkYXRhX2NvbGxhdG9yKHNhbXBsZXMpJTBBJTdCayUzQSUyMHYuc2hhcGUlMjBmb3IlMjBrJTJDJTIwdiUyMGluJTIwYmF0Y2guaXRlbXMoKSU3RA==",highlighted:`batch = data_collator(samples)
{k: v.shape <span class="hljs-keyword">for</span> k, v <span class="hljs-keyword">in</span> batch.items()}`,wrap:!1}});const Lt=[Rn,Zn],ws=[];function Pt(a,g){return a[0]==="tf"?0:1}E=Pt(T),X=ws[E]=Lt[E](T),q=new Fe({props:{$$slots:{default:[An]},$$scope:{ctx:T}}});let I=T[0]==="tf"&&rn();return Js=new jn({props:{source:"https://github.com/huggingface/course/blob/main/chapters/fa/chapter3/2.mdx"}}),{c(){e=o("meta"),r=p(),t=o("p"),c=p(),m(y.$$.fragment),x=p(),s=o("div"),m(b.$$.fragment),H=p(),v.c(),Qe=p(),R.c(),Ve=p(),ks=o("p"),ks.textContent=nt,Le=p(),Cs=o("p"),Cs.innerHTML=at,Pe=p(),m(L.$$.fragment),Ke=p(),N.c(),Ge=p(),xs=o("p"),xs.innerHTML=rt,Oe=p(),vs=o("p"),vs.textContent=ct,sl=p(),W=o("div"),m(Y.$$.fragment),el=lt(" \n```py\nfrom datasets import load_dataset\n"),Is=o("p"),Is.textContent=pt,ll=p(),m(P.$$.fragment),tl=p(),Zs=o("p"),Zs.innerHTML=it,nl=p(),Rs=o("p"),Rs.innerHTML=ot,al=p(),As=o("p"),As.innerHTML=Mt,rl=p(),Ns=o("div"),m(K.$$.fragment),cl=p(),Qs=o("div"),m(O.$$.fragment),pl=p(),Vs=o("p"),Vs.innerHTML=dt,il=p(),Gs=o("div"),m(ss.$$.fragment),ol=p(),Bs=o("div"),m(es.$$.fragment),Ml=p(),Es=o("p"),Es.innerHTML=ht,dl=p(),m(S.$$.fragment),hl=p(),m(ls.$$.fragment),ul=p(),V.c(),Be=p(),Xs=o("p"),Xs.innerHTML=ut,yl=p(),Ws=o("div"),m(ts.$$.fragment),jl=p(),zs=o("p"),zs.textContent=yt,ml=p(),Ds=o("div"),m(ns.$$.fragment),Jl=p(),Hs=o("div"),m(as.$$.fragment),fl=p(),Ys=o("p"),Ys.innerHTML=jt,Ul=p(),m(F.$$.fragment),Tl=p(),Ss=o("p"),Ss.innerHTML=mt,bl=p(),Fs=o("div"),m(rs.$$.fragment),gl=p(),qs=o("p"),qs.textContent=Jt,wl=p(),Ls=o("div"),m(cs.$$.fragment),_l=p(),Ps=o("p"),Ps.innerHTML=ft,$l=p(),Ks=o("div"),m(ps.$$.fragment),kl=p(),Os=o("p"),Os.innerHTML=Ut,Cl=p(),se=o("p"),se.innerHTML=Tt,xl=p(),ee=o("p"),ee.innerHTML=bt,vl=p(),le=o("p"),le.textContent=gt,Il=p(),te=o("p"),te.innerHTML=wt,Zl=p(),ne=o("p"),ne.innerHTML=_t,Rl=p(),ae=o("div"),m(is.$$.fragment),Al=p(),re=o("p"),re.innerHTML=$t,Nl=p(),ce=o("p"),ce.innerHTML=kt,Ql=p(),pe=o("div"),m(os.$$.fragment),Vl=p(),ie=o("p"),ie.innerHTML=Ct,Gl=p(),oe=o("p"),oe.textContent=xt,Bl=p(),Me=o("p"),Me.innerHTML=vt,El=p(),de=o("div"),m(Ms.$$.fragment),Xl=p(),he=o("p"),he.innerHTML=It,Wl=p(),ue=o("div"),m(ds.$$.fragment),zl=p(),ye=o("p"),ye.innerHTML=Zt,Dl=p(),je=o("p"),je.innerHTML=Rt,Hl=p(),me=o("p"),me.innerHTML=At,Yl=p(),m(hs.$$.fragment),Sl=p(),m(us.$$.fragment),Fl=p(),D.c(),Ee=p(),Je=o("p"),Je.innerHTML=Nt,ql=p(),B.c(),Xe=p(),fe=o("p"),fe.innerHTML=Qt,Ll=p(),Ue=o("div"),m(ys.$$.fragment),Pl=p(),Te=o("div"),m(js.$$.fragment),Kl=p(),be=o("p"),be.innerHTML=Vt,Ol=p(),ge=o("div"),m(ms.$$.fragment),st=p(),X.c(),We=p(),m(q.$$.fragment),et=p(),I&&I.c(),ze=p(),we=o("p"),we.textContent=Gt,De=p(),m(Js.$$.fragment),He=p(),ve=o("p"),this.h()},l(a){const g=un("svelte-u9bgzb",document.head);e=M(g,"META",{name:!0,content:!0}),g.forEach(d),r=i(a),t=M(a,"P",{}),$(t).forEach(d),c=i(a),J(y.$$.fragment,a),x=i(a),s=M(a,"DIV",{dir:!0});var l=$(s);J(b.$$.fragment,l),H=i(l),v.l(l),Qe=i(l),R.l(l),Ve=i(l),ks=M(l,"P",{"data-svelte-h":!0}),j(ks)!=="svelte-16ytbon"&&(ks.textContent=nt),Le=i(l),Cs=M(l,"P",{"data-svelte-h":!0}),j(Cs)!=="svelte-3v7jh0"&&(Cs.innerHTML=at),Pe=i(l),J(L.$$.fragment,l),Ke=i(l),N.l(l),Ge=i(l),xs=M(l,"P",{"data-svelte-h":!0}),j(xs)!=="svelte-1yb3c89"&&(xs.innerHTML=rt),Oe=i(l),vs=M(l,"P",{"data-svelte-h":!0}),j(vs)!=="svelte-srdhcr"&&(vs.textContent=ct),sl=i(l),W=M(l,"DIV",{dir:!0});var z=$(W);J(Y.$$.fragment,z),el=tt(z," \n```py\nfrom datasets import load_dataset\n"),Is=M(z,"P",{"data-svelte-h":!0}),j(Is)!=="svelte-1nnases"&&(Is.textContent=pt),ll=i(z),J(P.$$.fragment,z),z.forEach(d),tl=i(l),Zs=M(l,"P",{"data-svelte-h":!0}),j(Zs)!=="svelte-gdljod"&&(Zs.innerHTML=it),nl=i(l),Rs=M(l,"P",{"data-svelte-h":!0}),j(Rs)!=="svelte-s1wg7l"&&(Rs.innerHTML=ot),al=i(l),As=M(l,"P",{"data-svelte-h":!0}),j(As)!=="svelte-1kzlf81"&&(As.innerHTML=Mt),rl=i(l),Ns=M(l,"DIV",{dir:!0});var _e=$(Ns);J(K.$$.fragment,_e),_e.forEach(d),cl=i(l),Qs=M(l,"DIV",{dir:!0});var $e=$(Qs);J(O.$$.fragment,$e),$e.forEach(d),pl=i(l),Vs=M(l,"P",{"data-svelte-h":!0}),j(Vs)!=="svelte-wh80yr"&&(Vs.innerHTML=dt),il=i(l),Gs=M(l,"DIV",{dir:!0});var Ie=$(Gs);J(ss.$$.fragment,Ie),Ie.forEach(d),ol=i(l),Bs=M(l,"DIV",{dir:!0});var Ze=$(Bs);J(es.$$.fragment,Ze),Ze.forEach(d),Ml=i(l),Es=M(l,"P",{"data-svelte-h":!0}),j(Es)!=="svelte-1o2rd7n"&&(Es.innerHTML=ht),dl=i(l),J(S.$$.fragment,l),hl=i(l),J(ls.$$.fragment,l),ul=i(l),V.l(l),Be=i(l),Xs=M(l,"P",{"data-svelte-h":!0}),j(Xs)!=="svelte-ahsm5e"&&(Xs.innerHTML=ut),yl=i(l),Ws=M(l,"DIV",{dir:!0});var ke=$(Ws);J(ts.$$.fragment,ke),ke.forEach(d),jl=i(l),zs=M(l,"P",{"data-svelte-h":!0}),j(zs)!=="svelte-1h1ly7o"&&(zs.textContent=yt),ml=i(l),Ds=M(l,"DIV",{dir:!0});var Re=$(Ds);J(ns.$$.fragment,Re),Re.forEach(d),Jl=i(l),Hs=M(l,"DIV",{dir:!0});var Ce=$(Hs);J(as.$$.fragment,Ce),Ce.forEach(d),fl=i(l),Ys=M(l,"P",{"data-svelte-h":!0}),j(Ys)!=="svelte-nuk9b6"&&(Ys.innerHTML=jt),Ul=i(l),J(F.$$.fragment,l),Tl=i(l),Ss=M(l,"P",{"data-svelte-h":!0}),j(Ss)!=="svelte-cqy60s"&&(Ss.innerHTML=mt),bl=i(l),Fs=M(l,"DIV",{dir:!0});var xe=$(Fs);J(rs.$$.fragment,xe),xe.forEach(d),gl=i(l),qs=M(l,"P",{"data-svelte-h":!0}),j(qs)!=="svelte-bdarub"&&(qs.textContent=Jt),wl=i(l),Ls=M(l,"DIV",{dir:!0});var Ae=$(Ls);J(cs.$$.fragment,Ae),Ae.forEach(d),_l=i(l),Ps=M(l,"P",{"data-svelte-h":!0}),j(Ps)!=="svelte-1dyhz55"&&(Ps.innerHTML=ft),$l=i(l),Ks=M(l,"DIV",{dir:!0});var Kt=$(Ks);J(ps.$$.fragment,Kt),Kt.forEach(d),kl=i(l),Os=M(l,"P",{"data-svelte-h":!0}),j(Os)!=="svelte-2dtklq"&&(Os.innerHTML=Ut),Cl=i(l),se=M(l,"P",{"data-svelte-h":!0}),j(se)!=="svelte-1c1bett"&&(se.innerHTML=Tt),xl=i(l),ee=M(l,"P",{"data-svelte-h":!0}),j(ee)!=="svelte-1ykrfsj"&&(ee.innerHTML=bt),vl=i(l),le=M(l,"P",{"data-svelte-h":!0}),j(le)!=="svelte-f8kh1s"&&(le.textContent=gt),Il=i(l),te=M(l,"P",{"data-svelte-h":!0}),j(te)!=="svelte-1byd8at"&&(te.innerHTML=wt),Zl=i(l),ne=M(l,"P",{"data-svelte-h":!0}),j(ne)!=="svelte-1kzp71k"&&(ne.innerHTML=_t),Rl=i(l),ae=M(l,"DIV",{dir:!0});var Ot=$(ae);J(is.$$.fragment,Ot),Ot.forEach(d),Al=i(l),re=M(l,"P",{"data-svelte-h":!0}),j(re)!=="svelte-1jpwoag"&&(re.innerHTML=$t),Nl=i(l),ce=M(l,"P",{"data-svelte-h":!0}),j(ce)!=="svelte-px2m4p"&&(ce.innerHTML=kt),Ql=i(l),pe=M(l,"DIV",{dir:!0});var sn=$(pe);J(os.$$.fragment,sn),sn.forEach(d),Vl=i(l),ie=M(l,"P",{"data-svelte-h":!0}),j(ie)!=="svelte-3wy7wj"&&(ie.innerHTML=Ct),Gl=i(l),oe=M(l,"P",{"data-svelte-h":!0}),j(oe)!=="svelte-rvqa6x"&&(oe.textContent=xt),Bl=i(l),Me=M(l,"P",{"data-svelte-h":!0}),j(Me)!=="svelte-1cposln"&&(Me.innerHTML=vt),El=i(l),de=M(l,"DIV",{dir:!0});var en=$(de);J(Ms.$$.fragment,en),en.forEach(d),Xl=i(l),he=M(l,"P",{"data-svelte-h":!0}),j(he)!=="svelte-pi82k9"&&(he.innerHTML=It),Wl=i(l),ue=M(l,"DIV",{dir:!0});var ln=$(ue);J(ds.$$.fragment,ln),ln.forEach(d),zl=i(l),ye=M(l,"P",{"data-svelte-h":!0}),j(ye)!=="svelte-jk3oxg"&&(ye.innerHTML=Zt),Dl=i(l),je=M(l,"P",{"data-svelte-h":!0}),j(je)!=="svelte-1xxpkgr"&&(je.innerHTML=Rt),Hl=i(l),me=M(l,"P",{"data-svelte-h":!0}),j(me)!=="svelte-1y0zsyc"&&(me.innerHTML=At),Yl=i(l),J(hs.$$.fragment,l),Sl=i(l),J(us.$$.fragment,l),Fl=i(l),D.l(l),Ee=i(l),Je=M(l,"P",{"data-svelte-h":!0}),j(Je)!=="svelte-1cgx1mn"&&(Je.innerHTML=Nt),ql=i(l),B.l(l),Xe=i(l),fe=M(l,"P",{"data-svelte-h":!0}),j(fe)!=="svelte-15zjgh"&&(fe.innerHTML=Qt),Ll=i(l),Ue=M(l,"DIV",{dir:!0});var tn=$(Ue);J(ys.$$.fragment,tn),tn.forEach(d),Pl=i(l),Te=M(l,"DIV",{dir:!0});var nn=$(Te);J(js.$$.fragment,nn),nn.forEach(d),Kl=i(l),be=M(l,"P",{"data-svelte-h":!0}),j(be)!=="svelte-16t56lj"&&(be.innerHTML=Vt),Ol=i(l),ge=M(l,"DIV",{dir:!0});var an=$(ge);J(ms.$$.fragment,an),an.forEach(d),st=i(l),X.l(l),We=i(l),J(q.$$.fragment,l),et=i(l),I&&I.l(l),ze=i(l),we=M(l,"P",{"data-svelte-h":!0}),j(we)!=="svelte-qf10w3"&&(we.textContent=Gt),l.forEach(d),De=i(a),J(Js.$$.fragment,a),He=i(a),ve=M(a,"P",{}),$(ve).forEach(d),this.h()},h(){k(e,"name","hf:doc:metadata"),k(e,"content",Qn),k(W,"dir","ltr"),k(Ns,"dir","ltr"),k(Qs,"dir","ltr"),k(Gs,"dir","ltr"),k(Bs,"dir","ltr"),k(Ws,"dir","ltr"),k(Ds,"dir","ltr"),k(Hs,"dir","ltr"),k(Fs,"dir","ltr"),k(Ls,"dir","ltr"),k(Ks,"dir","ltr"),k(ae,"dir","ltr"),k(pe,"dir","ltr"),k(de,"dir","ltr"),k(ue,"dir","ltr"),k(Ue,"dir","ltr"),k(Te,"dir","ltr"),k(ge,"dir","ltr"),k(s,"dir","rtl")},m(a,g){n(document.head,e),w(a,r,g),w(a,t,g),w(a,c,g),f(y,a,g),w(a,x,g),w(a,s,g),f(b,s,null),n(s,H),fs[_].m(s,null),n(s,Qe),Us[Z].m(s,null),n(s,Ve),n(s,ks),n(s,Le),n(s,Cs),n(s,Pe),f(L,s,null),n(s,Ke),Ts[A].m(s,null),n(s,Ge),n(s,xs),n(s,Oe),n(s,vs),n(s,sl),n(s,W),f(Y,W,null),n(W,el),n(W,Is),n(W,ll),f(P,W,null),n(s,tl),n(s,Zs),n(s,nl),n(s,Rs),n(s,al),n(s,As),n(s,rl),n(s,Ns),f(K,Ns,null),n(s,cl),n(s,Qs),f(O,Qs,null),n(s,pl),n(s,Vs),n(s,il),n(s,Gs),f(ss,Gs,null),n(s,ol),n(s,Bs),f(es,Bs,null),n(s,Ml),n(s,Es),n(s,dl),f(S,s,null),n(s,hl),f(ls,s,null),n(s,ul),bs[Q].m(s,null),n(s,Be),n(s,Xs),n(s,yl),n(s,Ws),f(ts,Ws,null),n(s,jl),n(s,zs),n(s,ml),n(s,Ds),f(ns,Ds,null),n(s,Jl),n(s,Hs),f(as,Hs,null),n(s,fl),n(s,Ys),n(s,Ul),f(F,s,null),n(s,Tl),n(s,Ss),n(s,bl),n(s,Fs),f(rs,Fs,null),n(s,gl),n(s,qs),n(s,wl),n(s,Ls),f(cs,Ls,null),n(s,_l),n(s,Ps),n(s,$l),n(s,Ks),f(ps,Ks,null),n(s,kl),n(s,Os),n(s,Cl),n(s,se),n(s,xl),n(s,ee),n(s,vl),n(s,le),n(s,Il),n(s,te),n(s,Zl),n(s,ne),n(s,Rl),n(s,ae),f(is,ae,null),n(s,Al),n(s,re),n(s,Nl),n(s,ce),n(s,Ql),n(s,pe),f(os,pe,null),n(s,Vl),n(s,ie),n(s,Gl),n(s,oe),n(s,Bl),n(s,Me),n(s,El),n(s,de),f(Ms,de,null),n(s,Xl),n(s,he),n(s,Wl),n(s,ue),f(ds,ue,null),n(s,zl),n(s,ye),n(s,Dl),n(s,je),n(s,Hl),n(s,me),n(s,Yl),f(hs,s,null),n(s,Sl),f(us,s,null),n(s,Fl),D.m(s,null),n(s,Ee),n(s,Je),n(s,ql),gs[G].m(s,null),n(s,Xe),n(s,fe),n(s,Ll),n(s,Ue),f(ys,Ue,null),n(s,Pl),n(s,Te),f(js,Te,null),n(s,Kl),n(s,be),n(s,Ol),n(s,ge),f(ms,ge,null),n(s,st),ws[E].m(s,null),n(s,We),f(q,s,null),n(s,et),I&&I.m(s,null),n(s,ze),n(s,we),w(a,De,g),f(Js,a,g),w(a,He,g),w(a,ve,g),Ye=!0},p(a,[g]){const l={};g&1&&(l.fw=a[0]),y.$set(l);let z=_;_=Et(a),_!==z&&($s(),u(fs[z],1,1,()=>{fs[z]=null}),_s(),v=fs[_],v||(v=fs[_]=Bt[_](a),v.c()),h(v,1),v.m(s,Qe));let _e=Z;Z=Wt(a),Z!==_e&&($s(),u(Us[_e],1,1,()=>{Us[_e]=null}),_s(),R=Us[Z],R||(R=Us[Z]=Xt[Z](a),R.c()),h(R,1),R.m(s,Ve));let $e=A;A=Dt(a),A!==$e&&($s(),u(Ts[$e],1,1,()=>{Ts[$e]=null}),_s(),N=Ts[A],N||(N=Ts[A]=zt[A](a),N.c()),h(N,1),N.m(s,Ge));const Ie={};g&2&&(Ie.$$scope={dirty:g,ctx:a}),Y.$set(Ie);const Ze={};g&2&&(Ze.$$scope={dirty:g,ctx:a}),S.$set(Ze);let ke=Q;Q=Yt(a),Q!==ke&&($s(),u(bs[ke],1,1,()=>{bs[ke]=null}),_s(),V=bs[Q],V||(V=bs[Q]=Ht[Q](a),V.c()),h(V,1),V.m(s,Be));const Re={};g&2&&(Re.$$scope={dirty:g,ctx:a}),F.$set(Re),Se!==(Se=St(a))&&(D.d(1),D=Se(a),D&&(D.c(),D.m(s,Ee)));let Ce=G;G=qt(a),G!==Ce&&($s(),u(gs[Ce],1,1,()=>{gs[Ce]=null}),_s(),B=gs[G],B||(B=gs[G]=Ft[G](a),B.c()),h(B,1),B.m(s,Xe));let xe=E;E=Pt(a),E!==xe&&($s(),u(ws[xe],1,1,()=>{ws[xe]=null}),_s(),X=ws[E],X||(X=ws[E]=Lt[E](a),X.c()),h(X,1),X.m(s,We));const Ae={};g&2&&(Ae.$$scope={dirty:g,ctx:a}),q.$set(Ae),a[0]==="tf"?I?g&1&&h(I,1):(I=rn(),I.c(),h(I,1),I.m(s,ze)):I&&($s(),u(I,1,1,()=>{I=null}),_s())},i(a){Ye||(h(y.$$.fragment,a),h(b.$$.fragment,a),h(v),h(R),h(L.$$.fragment,a),h(N),h(Y.$$.fragment,a),h(P.$$.fragment,a),h(K.$$.fragment,a),h(O.$$.fragment,a),h(ss.$$.fragment,a),h(es.$$.fragment,a),h(S.$$.fragment,a),h(ls.$$.fragment,a),h(V),h(ts.$$.fragment,a),h(ns.$$.fragment,a),h(as.$$.fragment,a),h(F.$$.fragment,a),h(rs.$$.fragment,a),h(cs.$$.fragment,a),h(ps.$$.fragment,a),h(is.$$.fragment,a),h(os.$$.fragment,a),h(Ms.$$.fragment,a),h(ds.$$.fragment,a),h(hs.$$.fragment,a),h(us.$$.fragment,a),h(B),h(ys.$$.fragment,a),h(js.$$.fragment,a),h(ms.$$.fragment,a),h(X),h(q.$$.fragment,a),h(I),h(Js.$$.fragment,a),Ye=!0)},o(a){u(y.$$.fragment,a),u(b.$$.fragment,a),u(v),u(R),u(L.$$.fragment,a),u(N),u(Y.$$.fragment,a),u(P.$$.fragment,a),u(K.$$.fragment,a),u(O.$$.fragment,a),u(ss.$$.fragment,a),u(es.$$.fragment,a),u(S.$$.fragment,a),u(ls.$$.fragment,a),u(V),u(ts.$$.fragment,a),u(ns.$$.fragment,a),u(as.$$.fragment,a),u(F.$$.fragment,a),u(rs.$$.fragment,a),u(cs.$$.fragment,a),u(ps.$$.fragment,a),u(is.$$.fragment,a),u(os.$$.fragment,a),u(Ms.$$.fragment,a),u(ds.$$.fragment,a),u(hs.$$.fragment,a),u(us.$$.fragment,a),u(B),u(ys.$$.fragment,a),u(js.$$.fragment,a),u(ms.$$.fragment,a),u(X),u(q.$$.fragment,a),u(I),u(Js.$$.fragment,a),Ye=!1},d(a){a&&(d(r),d(t),d(c),d(x),d(s),d(De),d(He),d(ve)),d(e),U(y,a),U(b),fs[_].d(),Us[Z].d(),U(L),Ts[A].d(),U(Y),U(P),U(K),U(O),U(ss),U(es),U(S),U(ls),bs[Q].d(),U(ts),U(ns),U(as),U(F),U(rs),U(cs),U(ps),U(is),U(os),U(Ms),U(ds),U(hs),U(us),D.d(),gs[G].d(),U(ys),U(js),U(ms),ws[E].d(),U(q),I&&I.d(),U(Js,a)}}}const Qn='{"title":"پردازش داده","local":"پردازش-داده","sections":[{"title":"بارگذاری دیتاسِت‌ها از هاب","local":"بارگذاری-دیتاستها-از-هاب","sections":[],"depth":3},{"title":"پیش‌پردازش دیتاسِت‌‌ها","local":"پیشپردازش-دیتاستها","sections":[],"depth":3},{"title":"هم‌طول‌سازی پویا","local":"همطولسازی-پویا","sections":[],"depth":3}],"depth":1}';function Vn(T,e,r){let t="pt";return Mn(()=>{const c=new URLSearchParams(window.location.search);r(0,t=c.get("fw")||"pt")}),[t]}class Sn extends dn{constructor(e){super(),hn(this,e,Vn,Nn,on,{})}}export{Sn as component};