transformers/pr_33913/ar/pad_truncation.html

<meta charset="utf-8" /><meta name="hf:doc:metadata" content="{&quot;title&quot;:&quot;الحشو والتقليم&quot;,&quot;local&quot;:&quot;الحشو-والتقليم&quot;,&quot;sections&quot;:[],&quot;depth&quot;:1}">
		<link href="/docs/transformers/pr_33913/ar/_app/immutable/assets/0.e3b0c442.css" rel="modulepreload">
		<link rel="modulepreload" href="/docs/transformers/pr_33913/ar/_app/immutable/entry/start.a2b1508c.js">
		<link rel="modulepreload" href="/docs/transformers/pr_33913/ar/_app/immutable/chunks/scheduler.5eb9d175.js">
		<link rel="modulepreload" href="/docs/transformers/pr_33913/ar/_app/immutable/chunks/singletons.995fe7fe.js">
		<link rel="modulepreload" href="/docs/transformers/pr_33913/ar/_app/immutable/chunks/index.4d790b85.js">
		<link rel="modulepreload" href="/docs/transformers/pr_33913/ar/_app/immutable/chunks/paths.2c5f54bd.js">
		<link rel="modulepreload" href="/docs/transformers/pr_33913/ar/_app/immutable/entry/app.72eb63b7.js">
		<link rel="modulepreload" href="/docs/transformers/pr_33913/ar/_app/immutable/chunks/index.fcdcb606.js">
		<link rel="modulepreload" href="/docs/transformers/pr_33913/ar/_app/immutable/nodes/0.6aa6e804.js">
		<link rel="modulepreload" href="/docs/transformers/pr_33913/ar/_app/immutable/chunks/each.e59479a4.js">
		<link rel="modulepreload" href="/docs/transformers/pr_33913/ar/_app/immutable/nodes/22.47165e61.js">
		<link rel="modulepreload" href="/docs/transformers/pr_33913/ar/_app/immutable/chunks/EditOnGithub.98bf070f.js"><!-- HEAD_svelte-u9bgzb_START --><meta name="hf:doc:metadata" content="{&quot;title&quot;:&quot;الحشو والتقليم&quot;,&quot;local&quot;:&quot;الحشو-والتقليم&quot;,&quot;sections&quot;:[],&quot;depth&quot;:1}"><!-- HEAD_svelte-u9bgzb_END -->      <p></p>  <h1 class="relative group"><a id="الحشو-والتقليم" class="header-link block pr-1.5 text-lg no-hover:hidden with-hover:absolute with-hover:p-1.5 with-hover:opacity-0 with-hover:group-hover:opacity-100 with-hover:right-full" href="#الحشو-والتقليم"><span><svg class="" xmlns="http://www.w3.org/2000/svg" xmlns:xlink="http://www.w3.org/1999/xlink" aria-hidden="true" role="img" width="1em" height="1em" preserveAspectRatio="xMidYMid meet" viewBox="0 0 256 256"><path d="M167.594 88.393a8.001 8.001 0 0 1 0 11.314l-67.882 67.882a8 8 0 1 1-11.314-11.315l67.882-67.881a8.003 8.003 0 0 1 11.314 0zm-28.287 84.86l-28.284 28.284a40 40 0 0 1-56.567-56.567l28.284-28.284a8 8 0 0 0-11.315-11.315l-28.284 28.284a56 56 0 0 0 79.196 79.197l28.285-28.285a8 8 0 1 0-11.315-11.314zM212.852 43.14a56.002 56.002 0 0 0-79.196 0l-28.284 28.284a8 8 0 1 0 11.314 11.314l28.284-28.284a40 40 0 0 1 56.568 56.567l-28.285 28.285a8 8 0 0 0 11.315 11.314l28.284-28.284a56.065 56.065 0 0 0 0-79.196z" fill="currentColor"></path></svg></span></a> <span>الحشو والتقليم</span></h1> <p data-svelte-h="svelte-f8n6fm">غالبًا ما تختلف مدخلات الدُفعات في الطول، لذا لا يمكن تحويلها إلى مصفوفات ذات حجم ثابت .يُعدّ الحشو والتقليم هما استراتيجيتان للتعامل مع هذه المشكلة، لإنشاء مصفوفات مستطيلة من مجموعات ذات أطوال مختلفة. ويضيف الحشو رمز <strong>حشو</strong> خاص لضمان أن يكون للتسلسلات الأقصر نفس طول أطول تسلسل في الدفعة أو الطول الأقصى الذي يقبله النموذج. ويعمل التقليم عكس ذلك بتقليم التسلسلات الطويلة.</p> <p data-svelte-h="svelte-tgbr8f">في معظم الحالات، ييُعدّ حشو دُفعتك إلى طول أطول تسلسل فيها وتقليمها إلى الطول الأقصى المقبول من النموذج حلًا فعالًا. ومع ذلك، تدعم واجهة برمجة التطبيقات المزيد من الاستراتيجيات إذا كنت بحاجة إليها. هناك ثلاثة معامﻻت تحتاجها لفهم آلية العمل: <code>padding</code>، و<code>truncation</code>، و<code>max_length</code>.</p> <p data-svelte-h="svelte-3prtjm">يحكم معامل <code>padding</code> عملية الحشو. يمكن أن يكون قيمة منطقية أو نصية:</p> <ul data-svelte-h="svelte-1doi4bq"><li><code>True</code> أو <code>&#39;longest&#39;</code>: الحشو إلى أطول تسلسل في الدفعة (لا يتم تطبيق الحشو عند تقديم تسلسل واحد فقط).</li> <li><code>&#39;max_length&#39;</code>: الحشو إلى طول محدد بواسطة معامل <code>max_length</code> أو الطول الأقصى الذي يقبله
النموذج إذا لم يتم توفير <code>max_length</code> (<code>max_length=None</code>). سيظل الحشو مطبقًا إذا قدمت تسلسلًا واحدًا فقط.</li> <li><code>False</code> أو <code>&#39;do_not_pad&#39;</code>: لا يتم تطبيق أي حشو. هذا هو السلوك الافتراضي.</li></ul> <p data-svelte-h="svelte-18r560q">تحكم معامل <code>truncation</code> عملية التقليم. يمكن أن يكون قيمة منطقية أو نصية:</p> <p data-svelte-h="svelte-27y74w">-قيمة <code>True</code> أو <code>&#39;longest_first&#39;</code> : تقليم التسلسلات إلى طول أقصى مُحدد بواسطة معامل <code>max_length</code>، أو أقصى طول يقبله النموذج في حال عدم تحديد طول مُحدد من قبل المستخدم  (<code>max_length=None</code>). ستتم عملية التقليم إزالة رمز تلو الآخر، بدءًا من أطول تسلسل في الزوج، إلى أن يصل الطول إلى القيمة المُحددة.
-قيمة <code>&#39;only_second&#39;</code>: اقطع إلى طول أقصى محدد بواسطة معامل <code>max_length</code> أو أقصى طول يقبله النموذج إذا لم يتم توفير <code>max_length</code> (<code>max_length=None</code>). هذا سيقلم فقط الجملة الثانية من الزوج إذا تم توفير زوج من التسلسلات (أو دُفعة من أزواج التسلسلات).
-قيمة <code>&#39;only_first&#39;</code>: تقليم الجملة الأولى فقط من الزوج عند تقديم زوج من التسلسلات (أو دُفعة من أزواج التسلسلات) إلى طول أقصى مُحدد بواسطة حجة <code>max_length</code>، أو أقصى طول يقبله النموذج في حال عدم تحديد طول مُحدد من قبل المستخدم  (<code>max_length=None</code>).
-قيمة <code>False</code> أو <code>&#39;do_not_truncate&#39;</code>: لا يتم تطبيق أي تقليم. هذا هو السلوك الافتراضي.
“</p> <p data-svelte-h="svelte-12dumon">يحكم معامل  <code>max_length</code> طول الحشو والتقليم. يمكن أن يكون عدد صحيح أو <code>None</code>، وعندها يُحدد افتراضيًا إلى الطول الأقصى الذي يمكن أن يقبله النموذج. إذا لم يكن للنموذج طول إدخال أقصى محدد، يتم إلغاء تنشيط التقليم أو الحشو إلى <code>max_length</code>.</p> <p data-svelte-h="svelte-1ylu9fz">يلخّص الجدول التالي الطريقة المُوصى بها لإعداد الحشو والتقليم. إذا كنت تستخدم أزواج تسلسلات الإدخال في أي من الأمثلة التالية، فيمكنك استبدال <code>truncation=True</code> بـ <code>STRATEGY</code> المحدد في <code>[&#39;only_first&#39;، &#39;only_second&#39;، &#39;longest_first&#39;]</code>، أي <code>truncation=&#39;only_second&#39;</code> أو <code>truncation=&#39;longest_first&#39;</code> للتحكم في كيفية تقليم كلا التسلسلين في الزوج كما هو موضّح سابقًا.</p>   <h1 class="relative group"><a id="حيل-الترميز" class="header-link block pr-1.5 text-lg no-hover:hidden with-hover:absolute with-hover:p-1.5 with-hover:opacity-0 with-hover:group-hover:opacity-100 with-hover:right-full" href="#حيل-الترميز"><span><svg class="" xmlns="http://www.w3.org/2000/svg" xmlns:xlink="http://www.w3.org/1999/xlink" aria-hidden="true" role="img" width="1em" height="1em" preserveAspectRatio="xMidYMid meet" viewBox="0 0 256 256"><path d="M167.594 88.393a8.001 8.001 0 0 1 0 11.314l-67.882 67.882a8 8 0 1 1-11.314-11.315l67.882-67.881a8.003 8.003 0 0 1 11.314 0zm-28.287 84.86l-28.284 28.284a40 40 0 0 1-56.567-56.567l28.284-28.284a8 8 0 0 0-11.315-11.315l-28.284 28.284a56 56 0 0 0 79.196 79.197l28.285-28.285a8 8 0 1 0-11.315-11.314zM212.852 43.14a56.002 56.002 0 0 0-79.196 0l-28.284 28.284a8 8 0 1 0 11.314 11.314l28.284-28.284a40 40 0 0 1 56.568 56.567l-28.285 28.285a8 8 0 0 0 11.315 11.314l28.284-28.284a56.065 56.065 0 0 0 0-79.196z" fill="currentColor"></path></svg></span></a> <span>حيل الترميز</span></h1> <p data-svelte-h="svelte-rbitx2">هناك العديد من الاستراتيجيات لترميز دفعات الجمل. فيما يلي بعض الأمثلة على ذلك.</p> <table data-svelte-h="svelte-6hbzqs"><thead><tr><th>الترميز</th> <th>الحشو</th> <th>التعليمات</th></tr></thead> <tbody><tr><td>لا ترميز</td> <td>لا حشو</td> <td><code>tokenizer(batch_sentences)</code></td></tr> <tr><td></td> <td>الحشو إلى الحد الأقصى للتسلسل في الدفعة</td> <td><code>tokenizer(batch_sentences, padding=True)</code> أو</td></tr> <tr><td></td> <td></td> <td><code>tokenizer(batch_sentences, padding=&#39;longest&#39;)</code></td></tr> <tr><td></td> <td>الحشو إلى الحد الأقصى لطول إدخال النموذج</td> <td><code>tokenizer(batch_sentences, padding=&#39;max_length&#39;)</code></td></tr> <tr><td></td> <td>الحشو إلى طول محدد</td> <td><code>tokenizer(batch_sentences, padding=&#39;max_length&#39;, max_length=42)</code></td></tr> <tr><td></td> <td>الحشو إلى مضاعف لقيمة معينة</td> <td><code>tokenizer(batch_sentences, padding=True, pad_to_multiple_of=8)</code></td></tr> <tr><td>الترميز إلى الحد الأقصى لطول إدخال النموذج</td> <td>لا حشو</td> <td><code>tokenizer(batch_sentences, truncation=True)</code> أو</td></tr> <tr><td></td> <td></td> <td><code>tokenizer(batch_sentences, truncation=STRATEGY)</code></td></tr> <tr><td></td> <td>الحشو إلى الحد الأقصى للتسلسل في الدفعة</td> <td><code>tokenizer(batch_sentences, padding=True, truncation=True)</code> أو</td></tr> <tr><td></td> <td></td> <td><code>tokenizer(batch_sentences, padding=True, truncation=STRATEGY)</code></td></tr> <tr><td></td> <td>الحشو إلى الحد الأقصى لطول إدخال النموذج</td> <td><code>tokenizer(batch_sentences, padding=&#39;max_length&#39;, truncation=True)</code> أو</td></tr> <tr><td></td> <td></td> <td><code>tokenizer(batch_sentences, padding=&#39;max_length&#39;, truncation=STRATEGY)</code></td></tr> <tr><td></td> <td>الحشو إلى طول محدد</td> <td>غير ممكن</td></tr> <tr><td>الترميز إلى طول محدد</td> <td>لا حشو</td> <td><code>tokenizer(batch_sentences, truncation=True, max_length=42)</code> أو</td></tr> <tr><td></td> <td></td> <td><code>tokenizer(batch_sentences, truncation=STRATEGY, max_length=42)</code></td></tr> <tr><td></td> <td>الحشو إلى الحد الأقصى للتسلسل في الدفعة</td> <td><code>tokenizer(batch_sentences, padding=True, truncation=True, max_length=42)</code> أو</td></tr> <tr><td></td> <td></td> <td><code>tokenizer(batch_sentences, padding=True, truncation=STRATEGY, max_length=42)</code></td></tr> <tr><td></td> <td>الحشو إلى الحد الأقصى لطول إدخال النموذج</td> <td>غير ممكن</td></tr> <tr><td></td> <td>الحشو إلى طول محدد</td> <td><code>tokenizer(batch_sentences, padding=&#39;max_length&#39;, truncation=True, max_length=42)</code> أو</td></tr> <tr><td></td> <td></td> <td><code>tokenizer(batch_sentences, padding=&#39;max_length&#39;, truncation=STRATEGY, max_length=42)</code></td></tr></tbody></table> <a class="!text-gray-400 !no-underline text-sm flex items-center not-prose mt-4" href="https://github.com/huggingface/transformers/blob/main/docs/source/ar/pad_truncation.md" target="_blank"><span data-svelte-h="svelte-1kd6by1">&lt;</span> <span data-svelte-h="svelte-x0xyl0">&gt;</span> <span data-svelte-h="svelte-1dajgef"><span class="underline ml-1.5">Update</span> on GitHub</span></a>  <p></p> 
			
			<script>
				{
					__sveltekit_1x8g0d4 = {
						assets: "/docs/transformers/pr_33913/ar",
						base: "/docs/transformers/pr_33913/ar",
						env: {}
					};

					const element = document.currentScript.parentElement;

					const data = [null,null];

					Promise.all([
						import("/docs/transformers/pr_33913/ar/_app/immutable/entry/start.a2b1508c.js"),
						import("/docs/transformers/pr_33913/ar/_app/immutable/entry/app.72eb63b7.js")
					]).then(([kit, app]) => {
						kit.start(app, element, {
							node_ids: [0, 22],
							data,
							form: null,
							error: null
						});
					});
				}
			</script>