transformers/pr_37155/ar/_app/immutable/nodes/24.bb2b7a0d.js

import{s as Pt,n as Ot,o as Kt}from"../chunks/scheduler.5eb9d175.js";import{S as el,i as tl,g as i,s as n,r as o,A as ll,h as m,f as l,c as a,j as Dt,u as J,x as p,k as St,y as sl,a as s,v as M,d as r,t as c,w as U}from"../chunks/index.fcdcb606.js";import{C as T}from"../chunks/CodeBlock.53177c36.js";import{H as u,E as nl}from"../chunks/index.babee552.js";function al(ut){let g,ue,Te,de,d,fe,f,dt='هناك العديد من النماذج متعددة اللغات في مكتبة 🤗 Transformers، وتختلف طريقة استخدامها للاستدلال عن النماذج أحادية اللغة. ولكن ليس كل استخدام النماذج متعددة اللغات مختلف. فبعض النماذج، مثل <a href="https://huggingface.co/google-bert/bert-base-multilingual-uncased" rel="nofollow">google-bert/bert-base-multilingual-uncased</a>، يمكن استخدامها تمامًا مثل النموذج أحادي اللغة. سيوضح لك هذا الدليل كيفية استخدام النماذج متعددة اللغات التي تختلف طريقة استخدامها للاستدلال.',ye,y,be,b,ft="يحتوي XLM على عشر نسخ مختلفة، واحدة منها فقط أحادية اللغة. ويمكن تقسيم نسخ النماذج التسع المتبقية إلى فئتين: نسخ التي تستخدم تضمينات اللغة (language embeddings)  وتلك التي لا تستخدمها.",$e,$,he,h,yt="تستخدم النماذج التالية من XLM تضمينات اللغة لتحديد اللغة المستخدمة أثناء الاستدلال:",je,j,bt="<li><code>FacebookAI/xlm-mlm-ende-1024</code> (نمذجة اللغة المقنعة، الإنجليزية-الألمانية)</li> <li><code>FacebookAI/xlm-mlm-enfr-1024</code> (نمذجة اللغة المقنعة، الإنجليزية-الفرنسية)</li> <li><code>FacebookAI/xlm-mlm-enro-1024</code> (نمذجة اللغة المقنعة، الإنجليزية-الرومانية)</li> <li><code>FacebookAI/xlm-mlm-xnli15-1024</code> (نمذجة اللغة المقنعة، لغات XNLI)</li> <li><code>FacebookAI/xlm-mlm-tlm-xnli15-1024</code> (نمذجة اللغة المقنعة + الترجمة، لغات XNLI)</li> <li><code>FacebookAI/xlm-clm-enfr-1024</code> (نمذجة اللغة السببية، الإنجليزية-الفرنسية)</li> <li><code>FacebookAI/xlm-clm-ende-1024</code> (نمذجة اللغة السببية، الإنجليزية-الألمانية)</li>",we,w,$t="تُمثل تضمينات اللغة على شكل مصفوفة بنفس شكل  <code>input_ids</code> التي يتم تمريره إلى النموذج. وتعتمد القيم في هذه المصفوفات على اللغة المستخدمة ويتم تحديدها بواسطة معاملى المجزىء <code>lang2id</code> و <code>id2lang</code>.",ke,k,ht="في هذا المثال، قم بتحميل نسخة <code>FacebookAI/xlm-clm-enfr-1024</code> ( نمذجة اللغة السببية، الإنجليزية-الفرنسية):",xe,x,Ce,C,jt="تُظهر خاصية <code>lang2id</code> في المجزىء اللغات وأرقام تعريفها في هذا النموذج:",Ze,Z,ve,v,wt="بعد ذلك، قم بإنشاء مثال على المدخلات:",_e,_,Ie,I,kt="قم بتعيين معرف اللغة إلى <code>&quot;en&quot;</code> واستخدمه لتحديد تضمين اللغة. وتضمين اللغة عبارة عن مصفوفة مملوءة بـ <code>0</code> لأن هذا هو معرف اللغة الإنجليزية. يجب أن تكون هذه المصفوفة بنفس حجم <code>input_ids</code>.",Ve,V,Xe,X,xt="الآن يمكنك تمرير <code>input_ids</code> وتضمين اللغة إلى النموذج:",Qe,Q,Re,R,Ct='يمكن لنص البرنامج النصي <a href="https://github.com/huggingface/transformers/tree/main/examples/pytorch/text-generation/run_generation.py" rel="nofollow">run_generation.py</a> توليد النص باستخدام تضمينات اللغة مع نقاط تفتيش <code>xlm-clm</code>.',Ge,G,We,W,Zt="النماذج التالية من XLM لا تتطلب تضمينات اللغة أثناء الاستنتاج:",Ee,E,vt="<li><code>FacebookAI/xlm-mlm-17-1280</code> (نمذجة اللغة المقنعة، 17 لغة)</li> <li><code>FacebookAI/xlm-mlm-100-1280</code> (نمذجة اللغة المقنعة، 100 لغة)</li>",Le,L,_t="تُستخدم هذه النماذج لتمثيل الجمل العامة، على عكس نسح XLM السابقة.",Be,B,Fe,F,It="يمكن استخدام النماذج التالية من BERT للمهام متعددة اللغات:",ze,z,Vt="<li><code>google-bert/bert-base-multilingual-uncased</code> (نمذجة اللغة المقنعة + التنبؤ بالجملة التالية، 102 لغة)</li> <li><code>google-bert/bert-base-multilingual-cased</code> (نمذجة اللغة المقنعة + التنبؤ بالجملة التالية، 104 لغات)</li>",He,H,Xt="لا تتطلب هذه النماذج تضمينات اللغة أثناء الاستدلال. يجب أن تُحدّد اللغة من السياق وتستنتج وفقاً لذلك.",qe,q,Ne,N,Qt="يمكن استخدام النماذج التالية من XLM-RoBERTa للمهام متعددة اللغات:",Ye,Y,Rt="<li><code>FacebookAI/xlm-roberta-base</code> (نمذجة اللغة المقنعة، 100 لغة)</li> <li><code>FacebookAI/xlm-roberta-large</code> (نمذجة اللغة المقنعة، 100 لغة)</li>",Ae,A,Gt="تم تدريب XLM-RoBERTa على 2.5 تيرابايت من بيانات CommonCrawl الجديدة والمحسنة في 100 لغة. ويوفر مكاسب قوية على النماذج متعددة اللغات التي تم إصدارها سابقاً مثل mBERT أو XLM في مهام المصب مثل التصنيف، ووضع العلامات التسلسلية، والأسئلة والأجوبة.",De,D,Se,S,Wt="يمكن استخدام النماذج التالية من M2M100 للترجمة متعددة اللغات:",Pe,P,Et="<li><code>facebook/m2m100_418M</code> (الترجمة)</li> <li><code>facebook/m2m100_1.2B</code> (الترجمة)</li>",Oe,O,Lt="في هذا المثال، قم بتحميل نسحة  <code>facebook/m2m100_418M</code> لترجمة النص من الصينية إلى الإنجليزية. يمكنك تعيين اللغة المصدر في المجزىء اللغوى:",Ke,K,et,ee,Bt="تقسيم النّص إلى رموز:",tt,te,lt,le,Ft="يجبر M2M100 معرف اللغة الهدف كأول رمز مولد للترجمة إلى اللغة الهدف. قم بتعيين <code>forced_bos_token_id</code> إلى <code>en</code> في طريقة <code>generate</code> للترجمة إلى الإنجليزية:",st,se,nt,ne,at,ae,zt="يمكن استخدام النماذج التالية من MBart للترجمة متعددة اللغات:",it,ie,Ht="<li><code>facebook/mbart-large-50-one-to-many-mmt</code> (الترجمة الآلية متعددة اللغات من واحد إلى كثير، 50 لغة)</li> <li><code>facebook/mbart-large-50-many-to-many-mmt</code> (الترجمة الآلية متعددة اللغات من كثير إلى كثير، 50 لغة)</li> <li><code>facebook/mbart-large-50-many-to-one-mmt</code> (الترجمة الآلية متعددة اللغات من كثير إلى واحد، 50 لغة)</li> <li><code>facebook/mbart-large-50</code> (الترجمة متعددة اللغات، 50 لغة)</li> <li><code>facebook/mbart-large-cc25</code></li>",mt,me,qt="في هذا المثال، قم بتحميل نسخة <code>facebook/mbart-large-50-many-to-many-mmt</code> لترجمة النص من الفنلندية إلى الإنجليزية. يمكنك تعيين اللغة المصدر في المجزىء:",pt,pe,ot,oe,Nt="تقسيم النّص إلى رموز:",Jt,Je,Mt,Me,Yt="يجبر MBart معرف لغة الهدف كأول رمز مولد للترجمة إلى اللغة الهدف. قم بتعيين <code>forced_bos_token_id</code> إلى <code>en</code> في طريقة <code>generate</code> للترجمة إلى الإنجليزية:",rt,re,ct,ce,At="إذا كنت تستخدم نسخة <code>facebook/mbart-large-50-many-to-one-mmt</code>، فلا تحتاج إلى إجبار معرف لغة الهدف كأول رمز مولد، وإلا فإن الاستخدام هو نفسه.",Ut,Ue,Tt,ge,gt;return d=new u({props:{title:"النماذج متعددة اللغات للاستدلال",local:"النماذج-متعددة-اللغات-للاستدلال",headingTag:"h1"}}),y=new u({props:{title:"XLM",local:"xlm",headingTag:"h2"}}),$=new u({props:{title:"XLM مع تضمينات اللغة",local:"xlm-مع-تضمينات-اللغة",headingTag:"h3"}}),x=new T({props:{code:"aW1wb3J0JTIwdG9yY2glMEFmcm9tJTIwdHJhbnNmb3JtZXJzJTIwaW1wb3J0JTIwWExNVG9rZW5pemVyJTJDJTIwWExNV2l0aExNSGVhZE1vZGVsJTBBJTBBdG9rZW5pemVyJTIwJTNEJTIwWExNVG9rZW5pemVyLmZyb21fcHJldHJhaW5lZCglMjJGYWNlYm9va0FJJTJGeGxtLWNsbS1lbmZyLTEwMjQlMjIpJTBBbW9kZWwlMjAlM0QlMjBYTE1XaXRoTE1IZWFkTW9kZWwuZnJvbV9wcmV0cmFpbmVkKCUyMkZhY2Vib29rQUklMkZ4bG0tY2xtLWVuZnItMTAyNCUyMik=",highlighted:`<span class="hljs-meta">&gt;&gt;&gt; </span><span class="hljs-keyword">import</span> torch
<span class="hljs-meta">&gt;&gt;&gt; </span><span class="hljs-keyword">from</span> transformers <span class="hljs-keyword">import</span> XLMTokenizer, XLMWithLMHeadModel

<span class="hljs-meta">&gt;&gt;&gt; </span>tokenizer = XLMTokenizer.from_pretrained(<span class="hljs-string">&quot;FacebookAI/xlm-clm-enfr-1024&quot;</span>)
<span class="hljs-meta">&gt;&gt;&gt; </span>model = XLMWithLMHeadModel.from_pretrained(<span class="hljs-string">&quot;FacebookAI/xlm-clm-enfr-1024&quot;</span>)`,wrap:!1}}),Z=new T({props:{code:"cHJpbnQodG9rZW5pemVyLmxhbmcyaWQp",highlighted:`<span class="hljs-meta">&gt;&gt;&gt; </span><span class="hljs-built_in">print</span>(tokenizer.lang2id)
{<span class="hljs-string">&#x27;en&#x27;</span>: <span class="hljs-number">0</span>, <span class="hljs-string">&#x27;fr&#x27;</span>: <span class="hljs-number">1</span>}`,wrap:!1}}),_=new T({props:{code:"aW5wdXRfaWRzJTIwJTNEJTIwdG9yY2gudGVuc29yKCU1QnRva2VuaXplci5lbmNvZGUoJTIyV2lraXBlZGlhJTIwd2FzJTIwdXNlZCUyMHRvJTIyKSU1RCklMjAlMjAlMjMlMjBiYXRjaCUyMHNpemUlMjBvZiUyMDE=",highlighted:'<span class="hljs-meta">&gt;&gt;&gt; </span>input_ids = torch.tensor([tokenizer.encode(<span class="hljs-string">&quot;Wikipedia was used to&quot;</span>)])  <span class="hljs-comment"># batch size of 1</span>',wrap:!1}}),V=new T({props:{code:"bGFuZ3VhZ2VfaWQlMjAlM0QlMjB0b2tlbml6ZXIubGFuZzJpZCU1QiUyMmVuJTIyJTVEJTIwJTIwJTIzJTIwMCUwQWxhbmdzJTIwJTNEJTIwdG9yY2gudGVuc29yKCU1Qmxhbmd1YWdlX2lkJTVEJTIwKiUyMGlucHV0X2lkcy5zaGFwZSU1QjElNUQpJTIwJTIwJTIzJTIwdG9yY2gudGVuc29yKCU1QjAlMkMlMjAwJTJDJTIwMCUyQyUyMC4uLiUyQyUyMDAlNUQpJTBBJTBBJTIzJTIwJUQ5JTg2JUQ5JTgyJUQ5JTg4JUQ5JTg1JTIwJUQ4JUE4JUQ4JUE1JUQ4JUI5JUQ4JUE3JUQ4JUFGJUQ4JUE5JTIwJUQ4JUFBJUQ4JUI0JUQ5JTgzJUQ5JThBJUQ5JTg0JUQ5JTg3JUQ4JUE3JTIwJUQ5JTg0JUQ4JUFBJUQ5JTgzJUQ5JTg4JUQ5JTg2JTIwJUQ4JUE4JUQ4JUE3JUQ5JTg0JUQ4JUFEJUQ4JUFDJUQ5JTg1JTIwKGJhdGNoX3NpemUlRDglOEMlMjBzZXF1ZW5jZV9sZW5ndGgpJTBBbGFuZ3MlMjAlM0QlMjBsYW5ncy52aWV3KDElMkMlMjAtMSklMjAlMjAlMjMlMjAlRDglQTclRDklODQlRDglQTIlRDklODYlMjAlRDglQTglRDglQTclRDklODQlRDglQUQlRDglQUMlRDklODUlMjAlNUIxJUQ4JThDJTIwc2VxdWVuY2VfbGVuZ3RoJTVEJTIwKCVEOSU4NCVEOCVBRiVEOSU4QSVEOSU4NiVEOCVBNyUyMGJhdGNoJTIwc2l6ZSUyMCVEOCVBQSVEOCVCMyVEOCVBNyVEOSU4OCVEOSU4QSUyMDEp",highlighted:`<span class="hljs-meta">&gt;&gt;&gt; </span>language_id = tokenizer.lang2id[<span class="hljs-string">&quot;en&quot;</span>]  <span class="hljs-comment"># 0</span>
<span class="hljs-meta">&gt;&gt;&gt; </span>langs = torch.tensor([language_id] * input_ids.shape[<span class="hljs-number">1</span>])  <span class="hljs-comment"># torch.tensor([0, 0, 0, ..., 0])</span>

<span class="hljs-meta">&gt;&gt;&gt; </span><span class="hljs-comment"># نقوم بإعادة تشكيلها لتكون بالحجم (batch_size، sequence_length)</span>
<span class="hljs-meta">&gt;&gt;&gt; </span>langs = langs.view(<span class="hljs-number">1</span>, -<span class="hljs-number">1</span>)  <span class="hljs-comment"># الآن بالحجم [1، sequence_length] (لدينا batch size تساوي 1)</span>`,wrap:!1}}),Q=new T({props:{code:"b3V0cHV0cyUyMCUzRCUyMG1vZGVsKGlucHV0X2lkcyUyQyUyMGxhbmdzJTNEbGFuZ3Mp",highlighted:'<span class="hljs-meta">&gt;&gt;&gt; </span>outputs = model(input_ids, langs=langs)',wrap:!1}}),G=new u({props:{title:"XLM بدون تضمينات اللغة",local:"xlm-بدون-تضمينات-اللغة",headingTag:"h3"}}),B=new u({props:{title:"BERT",local:"bert",headingTag:"h2"}}),q=new u({props:{title:"XLM-RoBERTa",local:"xlm-roberta",headingTag:"h2"}}),D=new u({props:{title:"M2M100",local:"m2m100",headingTag:"h2"}}),K=new T({props:{code:"ZnJvbSUyMHRyYW5zZm9ybWVycyUyMGltcG9ydCUyME0yTTEwMEZvckNvbmRpdGlvbmFsR2VuZXJhdGlvbiUyQyUyME0yTTEwMFRva2VuaXplciUwQSUwQWVuX3RleHQlMjAlM0QlMjAlMjJEbyUyMG5vdCUyMG1lZGRsZSUyMGluJTIwdGhlJTIwYWZmYWlycyUyMG9mJTIwd2l6YXJkcyUyQyUyMGZvciUyMHRoZXklMjBhcmUlMjBzdWJ0bGUlMjBhbmQlMjBxdWljayUyMHRvJTIwYW5nZXIuJTIyJTBBY2hpbmVzZV90ZXh0JTIwJTNEJTIwJTIyJUU0JUI4JThEJUU4JUE2JTgxJUU2JThGJTkyJUU2JTg5JThCJUU1JUI3JUFCJUU1JUI4JUFCJUU3JTlBJTg0JUU0JUJBJThCJUU1JThCJTk5JTJDJTIwJUU1JTlCJUEwJUU3JTgyJUJBJUU0JUJCJTk2JUU1JTgwJTkxJUU2JTk4JUFGJUU1JUJFJUFFJUU1JUE2JTk5JUU3JTlBJTg0JTJDJTIwJUU1JUJFJTg4JUU1JUJGJUFCJUU1JUIwJUIxJUU2JTlDJTgzJUU3JTk5JUJDJUU2JTgwJTkyLiUyMiUwQSUwQXRva2VuaXplciUyMCUzRCUyME0yTTEwMFRva2VuaXplci5mcm9tX3ByZXRyYWluZWQoJTIyZmFjZWJvb2slMkZtMm0xMDBfNDE4TSUyMiUyQyUyMHNyY19sYW5nJTNEJTIyemglMjIpJTBBbW9kZWwlMjAlM0QlMjBNMk0xMDBGb3JDb25kaXRpb25hbEdlbmVyYXRpb24uZnJvbV9wcmV0cmFpbmVkKCUyMmZhY2Vib29rJTJGbTJtMTAwXzQxOE0lMjIp",highlighted:`<span class="hljs-meta">&gt;&gt;&gt; </span><span class="hljs-keyword">from</span> transformers <span class="hljs-keyword">import</span> M2M100ForConditionalGeneration, M2M100Tokenizer

<span class="hljs-meta">&gt;&gt;&gt; </span>en_text = <span class="hljs-string">&quot;Do not meddle in the affairs of wizards, for they are subtle and quick to anger.&quot;</span>
<span class="hljs-meta">&gt;&gt;&gt; </span>chinese_text = <span class="hljs-string">&quot;不要插手巫師的事務, 因為他們是微妙的, 很快就會發怒.&quot;</span>

<span class="hljs-meta">&gt;&gt;&gt; </span>tokenizer = M2M100Tokenizer.from_pretrained(<span class="hljs-string">&quot;facebook/m2m100_418M&quot;</span>, src_lang=<span class="hljs-string">&quot;zh&quot;</span>)
<span class="hljs-meta">&gt;&gt;&gt; </span>model = M2M100ForConditionalGeneration.from_pretrained(<span class="hljs-string">&quot;facebook/m2m100_418M&quot;</span>)`,wrap:!1}}),te=new T({props:{code:"ZW5jb2RlZF96aCUyMCUzRCUyMHRva2VuaXplcihjaGluZXNlX3RleHQlMkMlMjByZXR1cm5fdGVuc29ycyUzRCUyMnB0JTIyKQ==",highlighted:'<span class="hljs-meta">&gt;&gt;&gt; </span>encoded_zh = tokenizer(chinese_text, return_tensors=<span class="hljs-string">&quot;pt&quot;</span>)',wrap:!1}}),se=new T({props:{code:"Z2VuZXJhdGVkX3Rva2VucyUyMCUzRCUyMG1vZGVsLmdlbmVyYXRlKCoqZW5jb2RlZF96aCUyQyUyMGZvcmNlZF9ib3NfdG9rZW5faWQlM0R0b2tlbml6ZXIuZ2V0X2xhbmdfaWQoJTIyZW4lMjIpKSUwQXRva2VuaXplci5iYXRjaF9kZWNvZGUoZ2VuZXJhdGVkX3Rva2VucyUyQyUyMHNraXBfc3BlY2lhbF90b2tlbnMlM0RUcnVlKQ==",highlighted:`<span class="hljs-meta">&gt;&gt;&gt; </span>generated_tokens = model.generate(**encoded_zh, forced_bos_token_id=tokenizer.get_lang_id(<span class="hljs-string">&quot;en&quot;</span>))
<span class="hljs-meta">&gt;&gt;&gt; </span>tokenizer.batch_decode(generated_tokens, skip_special_tokens=<span class="hljs-literal">True</span>)
<span class="hljs-string">&#x27;Do not interfere with the matters of the witches, because they are delicate and will soon be angry.&#x27;</span>`,wrap:!1}}),ne=new u({props:{title:"MBart",local:"mbart",headingTag:"h2"}}),pe=new T({props:{code:"ZnJvbSUyMHRyYW5zZm9ybWVycyUyMGltcG9ydCUyMEF1dG9Ub2tlbml6ZXIlMkMlMjBBdXRvTW9kZWxGb3JTZXEyU2VxTE0lMEElMEFlbl90ZXh0JTIwJTNEJTIwJTIyRG8lMjBub3QlMjBtZWRkbGUlMjBpbiUyMHRoZSUyMGFmZmFpcnMlMjBvZiUyMHdpemFyZHMlMkMlMjBmb3IlMjB0aGV5JTIwYXJlJTIwc3VidGxlJTIwYW5kJTIwcXVpY2slMjB0byUyMGFuZ2VyLiUyMiUwQWZpX3RleHQlMjAlM0QlMjAlMjIlQzMlODRsJUMzJUE0JTIwc2VrYWFubnUlMjB2ZWxob2plbiUyMGFzaW9paGluJTJDJTIwc2lsbCVDMyVBNCUyMG5lJTIwb3ZhdCUyMGhpZW5vdmFyYWlzaWElMjBqYSUyMG5vcGVhc3RpJTIwdmloYWlzaWEuJTIyJTBBJTBBdG9rZW5pemVyJTIwJTNEJTIwQXV0b1Rva2VuaXplci5mcm9tX3ByZXRyYWluZWQoJTIyZmFjZWJvb2slMkZtYmFydC1sYXJnZS01MC1tYW55LXRvLW1hbnktbW10JTIyJTJDJTIwc3JjX2xhbmclM0QlMjJmaV9GSSUyMiklMEFtb2RlbCUyMCUzRCUyMEF1dG9Nb2RlbEZvclNlcTJTZXFMTS5mcm9tX3ByZXRyYWluZWQoJTIyZmFjZWJvb2slMkZtYmFydC1sYXJnZS01MC1tYW55LXRvLW1hbnktbW10JTIyKQ==",highlighted:`<span class="hljs-meta">&gt;&gt;&gt; </span><span class="hljs-keyword">from</span> transformers <span class="hljs-keyword">import</span> AutoTokenizer, AutoModelForSeq2SeqLM

<span class="hljs-meta">&gt;&gt;&gt; </span>en_text = <span class="hljs-string">&quot;Do not meddle in the affairs of wizards, for they are subtle and quick to anger.&quot;</span>
<span class="hljs-meta">&gt;&gt;&gt; </span>fi_text = <span class="hljs-string">&quot;Älä sekaannu velhojen asioihin, sillä ne ovat hienovaraisia ja nopeasti vihaisia.&quot;</span>

<span class="hljs-meta">&gt;&gt;&gt; </span>tokenizer = AutoTokenizer.from_pretrained(<span class="hljs-string">&quot;facebook/mbart-large-50-many-to-many-mmt&quot;</span>, src_lang=<span class="hljs-string">&quot;fi_FI&quot;</span>)
<span class="hljs-meta">&gt;&gt;&gt; </span>model = AutoModelForSeq2SeqLM.from_pretrained(<span class="hljs-string">&quot;facebook/mbart-large-50-many-to-many-mmt&quot;</span>)`,wrap:!1}}),Je=new T({props:{code:"ZW5jb2RlZF9lbiUyMCUzRCUyMHRva2VuaXplcihlbl90ZXh0JTJDJTIwcmV0dXJuX3RlbnNvcnMlM0QlMjJwdCUyMik=",highlighted:'<span class="hljs-meta">&gt;&gt;&gt; </span>encoded_en = tokenizer(en_text, return_tensors=<span class="hljs-string">&quot;pt&quot;</span>)',wrap:!1}}),re=new T({props:{code:"Z2VuZXJhdGVkX3Rva2VucyUyMCUzRCUyMG1vZGVsLmdlbmVyYXRlKCoqZW5jb2RlZF9lbiUyQyUyMGZvcmNlZF9ib3NfdG9rZW5faWQlM0R0b2tlbml6ZXIubGFuZ19jb2RlX3RvX2lkJTVCJTIyZW5fWFglMjIlNUQpJTBBdG9rZW5pemVyLmJhdGNoX2RlY29kZShnZW5lcmF0ZWRfdG9rZW5zJTJDJTIwc2tpcF9zcGVjaWFsX3Rva2VucyUzRFRydWUp",highlighted:`<span class="hljs-meta">&gt;&gt;&gt; </span>generated_tokens = model.generate(**encoded_en, forced_bos_token_id=tokenizer.lang_code_to_id[<span class="hljs-string">&quot;en_XX&quot;</span>])
<span class="hljs-meta">&gt;&gt;&gt; </span>tokenizer.batch_decode(generated_tokens, skip_special_tokens=<span class="hljs-literal">True</span>)
<span class="hljs-string">&quot;Don&#x27;t interfere with the wizard&#x27;s affairs, because they are subtle, will soon get angry.&quot;</span>`,wrap:!1}}),Ue=new nl({props:{source:"https://github.com/huggingface/transformers/blob/main/docs/source/ar/multilingual.md"}}),{c(){g=i("meta"),ue=n(),Te=i("p"),de=n(),o(d.$$.fragment),fe=n(),f=i("p"),f.innerHTML=dt,ye=n(),o(y.$$.fragment),be=n(),b=i("p"),b.textContent=ft,$e=n(),o($.$$.fragment),he=n(),h=i("p"),h.textContent=yt,je=n(),j=i("ul"),j.innerHTML=bt,we=n(),w=i("p"),w.innerHTML=$t,ke=n(),k=i("p"),k.innerHTML=ht,xe=n(),o(x.$$.fragment),Ce=n(),C=i("p"),C.innerHTML=jt,Ze=n(),o(Z.$$.fragment),ve=n(),v=i("p"),v.textContent=wt,_e=n(),o(_.$$.fragment),Ie=n(),I=i("p"),I.innerHTML=kt,Ve=n(),o(V.$$.fragment),Xe=n(),X=i("p"),X.innerHTML=xt,Qe=n(),o(Q.$$.fragment),Re=n(),R=i("p"),R.innerHTML=Ct,Ge=n(),o(G.$$.fragment),We=n(),W=i("p"),W.textContent=Zt,Ee=n(),E=i("ul"),E.innerHTML=vt,Le=n(),L=i("p"),L.textContent=_t,Be=n(),o(B.$$.fragment),Fe=n(),F=i("p"),F.textContent=It,ze=n(),z=i("ul"),z.innerHTML=Vt,He=n(),H=i("p"),H.textContent=Xt,qe=n(),o(q.$$.fragment),Ne=n(),N=i("p"),N.textContent=Qt,Ye=n(),Y=i("ul"),Y.innerHTML=Rt,Ae=n(),A=i("p"),A.textContent=Gt,De=n(),o(D.$$.fragment),Se=n(),S=i("p"),S.textContent=Wt,Pe=n(),P=i("ul"),P.innerHTML=Et,Oe=n(),O=i("p"),O.innerHTML=Lt,Ke=n(),o(K.$$.fragment),et=n(),ee=i("p"),ee.textContent=Bt,tt=n(),o(te.$$.fragment),lt=n(),le=i("p"),le.innerHTML=Ft,st=n(),o(se.$$.fragment),nt=n(),o(ne.$$.fragment),at=n(),ae=i("p"),ae.textContent=zt,it=n(),ie=i("ul"),ie.innerHTML=Ht,mt=n(),me=i("p"),me.innerHTML=qt,pt=n(),o(pe.$$.fragment),ot=n(),oe=i("p"),oe.textContent=Nt,Jt=n(),o(Je.$$.fragment),Mt=n(),Me=i("p"),Me.innerHTML=Yt,rt=n(),o(re.$$.fragment),ct=n(),ce=i("p"),ce.innerHTML=At,Ut=n(),o(Ue.$$.fragment),Tt=n(),ge=i("p"),this.h()},l(e){const t=ll("svelte-u9bgzb",document.head);g=m(t,"META",{name:!0,content:!0}),t.forEach(l),ue=a(e),Te=m(e,"P",{}),Dt(Te).forEach(l),de=a(e),J(d.$$.fragment,e),fe=a(e),f=m(e,"P",{"data-svelte-h":!0}),p(f)!=="svelte-1avx6c4"&&(f.innerHTML=dt),ye=a(e),J(y.$$.fragment,e),be=a(e),b=m(e,"P",{"data-svelte-h":!0}),p(b)!=="svelte-16c5ea1"&&(b.textContent=ft),$e=a(e),J($.$$.fragment,e),he=a(e),h=m(e,"P",{"data-svelte-h":!0}),p(h)!=="svelte-bncnyh"&&(h.textContent=yt),je=a(e),j=m(e,"UL",{"data-svelte-h":!0}),p(j)!=="svelte-qme59d"&&(j.innerHTML=bt),we=a(e),w=m(e,"P",{"data-svelte-h":!0}),p(w)!=="svelte-16zsdaz"&&(w.innerHTML=$t),ke=a(e),k=m(e,"P",{"data-svelte-h":!0}),p(k)!=="svelte-zjzkob"&&(k.innerHTML=ht),xe=a(e),J(x.$$.fragment,e),Ce=a(e),C=m(e,"P",{"data-svelte-h":!0}),p(C)!=="svelte-12i2dut"&&(C.innerHTML=jt),Ze=a(e),J(Z.$$.fragment,e),ve=a(e),v=m(e,"P",{"data-svelte-h":!0}),p(v)!=="svelte-1gvwrte"&&(v.textContent=wt),_e=a(e),J(_.$$.fragment,e),Ie=a(e),I=m(e,"P",{"data-svelte-h":!0}),p(I)!=="svelte-q8k5b2"&&(I.innerHTML=kt),Ve=a(e),J(V.$$.fragment,e),Xe=a(e),X=m(e,"P",{"data-svelte-h":!0}),p(X)!=="svelte-1n3w08o"&&(X.innerHTML=xt),Qe=a(e),J(Q.$$.fragment,e),Re=a(e),R=m(e,"P",{"data-svelte-h":!0}),p(R)!=="svelte-y0svvs"&&(R.innerHTML=Ct),Ge=a(e),J(G.$$.fragment,e),We=a(e),W=m(e,"P",{"data-svelte-h":!0}),p(W)!=="svelte-sqvj6c"&&(W.textContent=Zt),Ee=a(e),E=m(e,"UL",{"data-svelte-h":!0}),p(E)!=="svelte-u984j0"&&(E.innerHTML=vt),Le=a(e),L=m(e,"P",{"data-svelte-h":!0}),p(L)!=="svelte-1v7fvi2"&&(L.textContent=_t),Be=a(e),J(B.$$.fragment,e),Fe=a(e),F=m(e,"P",{"data-svelte-h":!0}),p(F)!=="svelte-wuqpny"&&(F.textContent=It),ze=a(e),z=m(e,"UL",{"data-svelte-h":!0}),p(z)!=="svelte-uyyck3"&&(z.innerHTML=Vt),He=a(e),H=m(e,"P",{"data-svelte-h":!0}),p(H)!=="svelte-h1bpfj"&&(H.textContent=Xt),qe=a(e),J(q.$$.fragment,e),Ne=a(e),N=m(e,"P",{"data-svelte-h":!0}),p(N)!=="svelte-1frphf0"&&(N.textContent=Qt),Ye=a(e),Y=m(e,"UL",{"data-svelte-h":!0}),p(Y)!=="svelte-1l2pe6a"&&(Y.innerHTML=Rt),Ae=a(e),A=m(e,"P",{"data-svelte-h":!0}),p(A)!=="svelte-1h73pd7"&&(A.textContent=Gt),De=a(e),J(D.$$.fragment,e),Se=a(e),S=m(e,"P",{"data-svelte-h":!0}),p(S)!=="svelte-1w8ml31"&&(S.textContent=Wt),Pe=a(e),P=m(e,"UL",{"data-svelte-h":!0}),p(P)!=="svelte-1jzqxs7"&&(P.innerHTML=Et),Oe=a(e),O=m(e,"P",{"data-svelte-h":!0}),p(O)!=="svelte-e8wtbp"&&(O.innerHTML=Lt),Ke=a(e),J(K.$$.fragment,e),et=a(e),ee=m(e,"P",{"data-svelte-h":!0}),p(ee)!=="svelte-w1kdq3"&&(ee.textContent=Bt),tt=a(e),J(te.$$.fragment,e),lt=a(e),le=m(e,"P",{"data-svelte-h":!0}),p(le)!=="svelte-1pzhn4e"&&(le.innerHTML=Ft),st=a(e),J(se.$$.fragment,e),nt=a(e),J(ne.$$.fragment,e),at=a(e),ae=m(e,"P",{"data-svelte-h":!0}),p(ae)!=="svelte-yo3thy"&&(ae.textContent=zt),it=a(e),ie=m(e,"UL",{"data-svelte-h":!0}),p(ie)!=="svelte-pmfr0h"&&(ie.innerHTML=Ht),mt=a(e),me=m(e,"P",{"data-svelte-h":!0}),p(me)!=="svelte-120qox6"&&(me.innerHTML=qt),pt=a(e),J(pe.$$.fragment,e),ot=a(e),oe=m(e,"P",{"data-svelte-h":!0}),p(oe)!=="svelte-w1kdq3"&&(oe.textContent=Nt),Jt=a(e),J(Je.$$.fragment,e),Mt=a(e),Me=m(e,"P",{"data-svelte-h":!0}),p(Me)!=="svelte-1gqhmz6"&&(Me.innerHTML=Yt),rt=a(e),J(re.$$.fragment,e),ct=a(e),ce=m(e,"P",{"data-svelte-h":!0}),p(ce)!=="svelte-1jqybb2"&&(ce.innerHTML=At),Ut=a(e),J(Ue.$$.fragment,e),Tt=a(e),ge=m(e,"P",{}),Dt(ge).forEach(l),this.h()},h(){St(g,"name","hf:doc:metadata"),St(g,"content",il)},m(e,t){sl(document.head,g),s(e,ue,t),s(e,Te,t),s(e,de,t),M(d,e,t),s(e,fe,t),s(e,f,t),s(e,ye,t),M(y,e,t),s(e,be,t),s(e,b,t),s(e,$e,t),M($,e,t),s(e,he,t),s(e,h,t),s(e,je,t),s(e,j,t),s(e,we,t),s(e,w,t),s(e,ke,t),s(e,k,t),s(e,xe,t),M(x,e,t),s(e,Ce,t),s(e,C,t),s(e,Ze,t),M(Z,e,t),s(e,ve,t),s(e,v,t),s(e,_e,t),M(_,e,t),s(e,Ie,t),s(e,I,t),s(e,Ve,t),M(V,e,t),s(e,Xe,t),s(e,X,t),s(e,Qe,t),M(Q,e,t),s(e,Re,t),s(e,R,t),s(e,Ge,t),M(G,e,t),s(e,We,t),s(e,W,t),s(e,Ee,t),s(e,E,t),s(e,Le,t),s(e,L,t),s(e,Be,t),M(B,e,t),s(e,Fe,t),s(e,F,t),s(e,ze,t),s(e,z,t),s(e,He,t),s(e,H,t),s(e,qe,t),M(q,e,t),s(e,Ne,t),s(e,N,t),s(e,Ye,t),s(e,Y,t),s(e,Ae,t),s(e,A,t),s(e,De,t),M(D,e,t),s(e,Se,t),s(e,S,t),s(e,Pe,t),s(e,P,t),s(e,Oe,t),s(e,O,t),s(e,Ke,t),M(K,e,t),s(e,et,t),s(e,ee,t),s(e,tt,t),M(te,e,t),s(e,lt,t),s(e,le,t),s(e,st,t),M(se,e,t),s(e,nt,t),M(ne,e,t),s(e,at,t),s(e,ae,t),s(e,it,t),s(e,ie,t),s(e,mt,t),s(e,me,t),s(e,pt,t),M(pe,e,t),s(e,ot,t),s(e,oe,t),s(e,Jt,t),M(Je,e,t),s(e,Mt,t),s(e,Me,t),s(e,rt,t),M(re,e,t),s(e,ct,t),s(e,ce,t),s(e,Ut,t),M(Ue,e,t),s(e,Tt,t),s(e,ge,t),gt=!0},p:Ot,i(e){gt||(r(d.$$.fragment,e),r(y.$$.fragment,e),r($.$$.fragment,e),r(x.$$.fragment,e),r(Z.$$.fragment,e),r(_.$$.fragment,e),r(V.$$.fragment,e),r(Q.$$.fragment,e),r(G.$$.fragment,e),r(B.$$.fragment,e),r(q.$$.fragment,e),r(D.$$.fragment,e),r(K.$$.fragment,e),r(te.$$.fragment,e),r(se.$$.fragment,e),r(ne.$$.fragment,e),r(pe.$$.fragment,e),r(Je.$$.fragment,e),r(re.$$.fragment,e),r(Ue.$$.fragment,e),gt=!0)},o(e){c(d.$$.fragment,e),c(y.$$.fragment,e),c($.$$.fragment,e),c(x.$$.fragment,e),c(Z.$$.fragment,e),c(_.$$.fragment,e),c(V.$$.fragment,e),c(Q.$$.fragment,e),c(G.$$.fragment,e),c(B.$$.fragment,e),c(q.$$.fragment,e),c(D.$$.fragment,e),c(K.$$.fragment,e),c(te.$$.fragment,e),c(se.$$.fragment,e),c(ne.$$.fragment,e),c(pe.$$.fragment,e),c(Je.$$.fragment,e),c(re.$$.fragment,e),c(Ue.$$.fragment,e),gt=!1},d(e){e&&(l(ue),l(Te),l(de),l(fe),l(f),l(ye),l(be),l(b),l($e),l(he),l(h),l(je),l(j),l(we),l(w),l(ke),l(k),l(xe),l(Ce),l(C),l(Ze),l(ve),l(v),l(_e),l(Ie),l(I),l(Ve),l(Xe),l(X),l(Qe),l(Re),l(R),l(Ge),l(We),l(W),l(Ee),l(E),l(Le),l(L),l(Be),l(Fe),l(F),l(ze),l(z),l(He),l(H),l(qe),l(Ne),l(N),l(Ye),l(Y),l(Ae),l(A),l(De),l(Se),l(S),l(Pe),l(P),l(Oe),l(O),l(Ke),l(et),l(ee),l(tt),l(lt),l(le),l(st),l(nt),l(at),l(ae),l(it),l(ie),l(mt),l(me),l(pt),l(ot),l(oe),l(Jt),l(Mt),l(Me),l(rt),l(ct),l(ce),l(Ut),l(Tt),l(ge)),l(g),U(d,e),U(y,e),U($,e),U(x,e),U(Z,e),U(_,e),U(V,e),U(Q,e),U(G,e),U(B,e),U(q,e),U(D,e),U(K,e),U(te,e),U(se,e),U(ne,e),U(pe,e),U(Je,e),U(re,e),U(Ue,e)}}}const il='{"title":"النماذج متعددة اللغات للاستدلال","local":"النماذج-متعددة-اللغات-للاستدلال","sections":[{"title":"XLM","local":"xlm","sections":[{"title":"XLM مع تضمينات اللغة","local":"xlm-مع-تضمينات-اللغة","sections":[],"depth":3},{"title":"XLM بدون تضمينات اللغة","local":"xlm-بدون-تضمينات-اللغة","sections":[],"depth":3}],"depth":2},{"title":"BERT","local":"bert","sections":[],"depth":2},{"title":"XLM-RoBERTa","local":"xlm-roberta","sections":[],"depth":2},{"title":"M2M100","local":"m2m100","sections":[],"depth":2},{"title":"MBart","local":"mbart","sections":[],"depth":2}],"depth":1}';function ml(ut){return Kt(()=>{new URLSearchParams(window.location.search).get("fw")}),[]}class rl extends el{constructor(g){super(),tl(this,g,ml,al,Pt,{})}}export{rl as component};