transformers/pr_37537/ar/_app/immutable/nodes/3.10fa7399.js

import{s as Ds,n as Is,o as Os}from"../chunks/scheduler.56730f09.js";import{S as Vs,i as Fs,g as r,s as m,r as P,m as c,H as d,A as Js,h,f as t,c as p,j as Ms,u as T,x as v,n as o,B as u,k as _s,y as i,a as l,v as j,d as q,t as S,w as R}from"../chunks/index.61415d3e.js";import{H as K,E as Ns}from"../chunks/index.42741e7d.js";function Ws(ks){let g,Q,A,U,w,B,x,Es="تستخدم معظم نماذج المحول (Transformer) الانتباه الكامل بحيث تكون مصفوفة الانتباه ذات الأبعاد المتساوية. ويمكن أن يمثل ذلك عقبة حسابية كبيرة عندما تكون لديك نصوص طويلة. ويعد Longformer وReformer من النماذج التي تحاول أن تكون أكثر كفاءة وتستخدم نسخة مخففة من مصفوفة الانتباه لتسريع التدريب.",D,_,I,y,zs='يستخدم <a href="model_doc/reformer">Reformer</a> انتباه LSH. في الدالة softmax(QK^t)، فإن أكبر العناصر فقط (في بعد softmax) من المصفوفة QK^t هي التي ستعطي مساهمات مفيدة. لذلك، بالنسبة لكل استعلام q في Q، يمكننا أن نأخذ في الاعتبار فقط المفاتيح k في K المشابهة لـ q فقط. وتُستخدم دالة هاش لتحديد ما إذا كان q وk متشابهين. ويتم تعديل قناع الانتباه لتجاهل الرمز الحالي (باستثناء الموضع الأول)، لأنه سيعطي استعلامًا ومفتاحًا متساويين (لذلك متشابهين للغاية). نظرًا لطبيعة دالة الهاش العشوائية نوعًا ما، يتم في الممارسة العملية استخدام عدة دوال هاش (يحددها معامل n_rounds) ثم يتم حساب المتوسط معًا.',O,$,V,b,Ls='يستخدم <a href="model_doc/longformer">Longformer</a> الانتباه المحلي: غالبًا ما يكون السياق المحلي (على سبيل المثال، ما هما الرمزان إلى اليسار واليمين؟) كافيًا لاتخاذ إجراء بالنسبة للرمز المعطى. أيضًا، عن طريق تكديس طبقات الانتباه التي لها نافذة صغيرة، سيكون للطبقة الأخيرة مجال استقبال أكبر من مجرد الرموز في النافذة، مما يسمح لها ببناء تمثيل للجملة بأكملها.',F,M,Cs="كما يتم منح بعض رموز الإدخال المختارة مسبقًا انتباهًا عالميًا: بالنسبة لهذه الرموز القليلة، يمكن لمصفوفة الانتباه الوصول إلى جميع الرموز وتكون هذه العملية متماثلة: فلجميع الرموز الأخرى إمكانية الوصول إلى تلك الرموز المحددة (بالإضافة إلى تلك الموجودة في نافذتهم المحلية). وهذا موضح في الشكل 2d من الورقة، انظر أدناه لمثال على قناع الانتباه:",J,f,Hs='<img scale="50 %" align="center" src="https://huggingface.co/datasets/huggingface/documentation-images/resolve/main/local_attention_mask.png"/>',N,k,Ps="وباستخدام مصفوفات الانتباه هذه التي تحتوي على عدد أقل من المعلمات، يسمح النموذج بمدخالات ذات طول تسلسل أكبر.",W,E,X,z,Y,n,ys,L,Ts="Reformer",$s,Z,qs='<span class="katex"><span class="katex-mathml"><math xmlns="http://www.w3.org/1998/Math/MathML"><semantics><mrow><mi>l</mi></mrow><annotation encoding="application/x-tex">l</annotation></semantics></math></span><span class="katex-html" aria-hidden="true"><span class="base"><span class="strut" style="height:0.6944em;"></span><span class="mord mathnormal" style="margin-right:0.01968em;">l</span></span></span></span>',ss,as,Ss='<span class="katex"><span class="katex-mathml"><math xmlns="http://www.w3.org/1998/Math/MathML"><semantics><mrow><mi>d</mi></mrow><annotation encoding="application/x-tex">d</annotation></semantics></math></span><span class="katex-html" aria-hidden="true"><span class="base"><span class="strut" style="height:0.6944em;"></span><span class="mord mathnormal">d</span></span></span></span>',ts,ns,Rs='<span class="katex"><span class="katex-mathml"><math xmlns="http://www.w3.org/1998/Math/MathML"><semantics><mrow><mi>l</mi></mrow><annotation encoding="application/x-tex">l</annotation></semantics></math></span><span class="katex-html" aria-hidden="true"><span class="base"><span class="strut" style="height:0.6944em;"></span><span class="mord mathnormal" style="margin-right:0.01968em;">l</span></span></span></span>',es,ls,As='<span class="katex"><span class="katex-mathml"><math xmlns="http://www.w3.org/1998/Math/MathML"><semantics><mrow><msub><mi>l</mi><mn>1</mn></msub><mo>×</mo><msub><mi>d</mi><mn>1</mn></msub></mrow><annotation encoding="application/x-tex">l_{1} \\times d_{1}</annotation></semantics></math></span><span class="katex-html" aria-hidden="true"><span class="base"><span class="strut" style="height:0.8444em;vertical-align:-0.15em;"></span><span class="mord"><span class="mord mathnormal" style="margin-right:0.01968em;">l</span><span class="msupsub"><span class="vlist-t vlist-t2"><span class="vlist-r"><span class="vlist" style="height:0.3011em;"><span style="top:-2.55em;margin-left:-0.0197em;margin-right:0.05em;"><span class="pstrut" style="height:2.7em;"></span><span class="sizing reset-size6 size3 mtight"><span class="mord mtight"><span class="mord mtight">1</span></span></span></span></span><span class="vlist-s">​</span></span><span class="vlist-r"><span class="vlist" style="height:0.15em;"><span></span></span></span></span></span></span><span class="mspace" style="margin-right:0.2222em;"></span><span class="mbin">×</span><span class="mspace" style="margin-right:0.2222em;"></span></span><span class="base"><span class="strut" style="height:0.8444em;vertical-align:-0.15em;"></span><span class="mord"><span class="mord mathnormal">d</span><span class="msupsub"><span class="vlist-t vlist-t2"><span class="vlist-r"><span class="vlist" style="height:0.3011em;"><span style="top:-2.55em;margin-left:0em;margin-right:0.05em;"><span class="pstrut" style="height:2.7em;"></span><span class="sizing reset-size6 size3 mtight"><span class="mord mtight"><span class="mord mtight">1</span></span></span></span></span><span class="vlist-s">​</span></span><span class="vlist-r"><span class="vlist" style="height:0.15em;"><span></span></span></span></span></span></span></span></span></span>',ms,ps,Gs='<span class="katex"><span class="katex-mathml"><math xmlns="http://www.w3.org/1998/Math/MathML"><semantics><mrow><msub><mi>l</mi><mn>2</mn></msub><mo>×</mo><msub><mi>d</mi><mn>2</mn></msub></mrow><annotation encoding="application/x-tex">l_{2} \\times d_{2}</annotation></semantics></math></span><span class="katex-html" aria-hidden="true"><span class="base"><span class="strut" style="height:0.8444em;vertical-align:-0.15em;"></span><span class="mord"><span class="mord mathnormal" style="margin-right:0.01968em;">l</span><span class="msupsub"><span class="vlist-t vlist-t2"><span class="vlist-r"><span class="vlist" style="height:0.3011em;"><span style="top:-2.55em;margin-left:-0.0197em;margin-right:0.05em;"><span class="pstrut" style="height:2.7em;"></span><span class="sizing reset-size6 size3 mtight"><span class="mord mtight"><span class="mord mtight">2</span></span></span></span></span><span class="vlist-s">​</span></span><span class="vlist-r"><span class="vlist" style="height:0.15em;"><span></span></span></span></span></span></span><span class="mspace" style="margin-right:0.2222em;"></span><span class="mbin">×</span><span class="mspace" style="margin-right:0.2222em;"></span></span><span class="base"><span class="strut" style="height:0.8444em;vertical-align:-0.15em;"></span><span class="mord"><span class="mord mathnormal">d</span><span class="msupsub"><span class="vlist-t vlist-t2"><span class="vlist-r"><span class="vlist" style="height:0.3011em;"><span style="top:-2.55em;margin-left:0em;margin-right:0.05em;"><span class="pstrut" style="height:2.7em;"></span><span class="sizing reset-size6 size3 mtight"><span class="mord mtight"><span class="mord mtight">2</span></span></span></span></span><span class="vlist-s">​</span></span><span class="vlist-r"><span class="vlist" style="height:0.15em;"><span></span></span></span></span></span></span></span></span></span>',is,rs,Ks='<span class="katex"><span class="katex-mathml"><math xmlns="http://www.w3.org/1998/Math/MathML"><semantics><mrow><msub><mi>l</mi><mn>1</mn></msub><mo>×</mo><msub><mi>l</mi><mn>2</mn></msub><mo>=</mo><mi>l</mi></mrow><annotation encoding="application/x-tex">l_{1} \\times l_{2} = l</annotation></semantics></math></span><span class="katex-html" aria-hidden="true"><span class="base"><span class="strut" style="height:0.8444em;vertical-align:-0.15em;"></span><span class="mord"><span class="mord mathnormal" style="margin-right:0.01968em;">l</span><span class="msupsub"><span class="vlist-t vlist-t2"><span class="vlist-r"><span class="vlist" style="height:0.3011em;"><span style="top:-2.55em;margin-left:-0.0197em;margin-right:0.05em;"><span class="pstrut" style="height:2.7em;"></span><span class="sizing reset-size6 size3 mtight"><span class="mord mtight"><span class="mord mtight">1</span></span></span></span></span><span class="vlist-s">​</span></span><span class="vlist-r"><span class="vlist" style="height:0.15em;"><span></span></span></span></span></span></span><span class="mspace" style="margin-right:0.2222em;"></span><span class="mbin">×</span><span class="mspace" style="margin-right:0.2222em;"></span></span><span class="base"><span class="strut" style="height:0.8444em;vertical-align:-0.15em;"></span><span class="mord"><span class="mord mathnormal" style="margin-right:0.01968em;">l</span><span class="msupsub"><span class="vlist-t vlist-t2"><span class="vlist-r"><span class="vlist" style="height:0.3011em;"><span style="top:-2.55em;margin-left:-0.0197em;margin-right:0.05em;"><span class="pstrut" style="height:2.7em;"></span><span class="sizing reset-size6 size3 mtight"><span class="mord mtight"><span class="mord mtight">2</span></span></span></span></span><span class="vlist-s">​</span></span><span class="vlist-r"><span class="vlist" style="height:0.15em;"><span></span></span></span></span></span></span><span class="mspace" style="margin-right:0.2778em;"></span><span class="mrel">=</span><span class="mspace" style="margin-right:0.2778em;"></span></span><span class="base"><span class="strut" style="height:0.6944em;"></span><span class="mord mathnormal" style="margin-right:0.01968em;">l</span></span></span></span>',cs,H,js="{1} + d",bs,hs,Qs='<span class="katex"><span class="katex-mathml"><math xmlns="http://www.w3.org/1998/Math/MathML"><semantics><mrow><mi>j</mi></mrow><annotation encoding="application/x-tex">j</annotation></semantics></math></span><span class="katex-html" aria-hidden="true"><span class="base"><span class="strut" style="height:0.854em;vertical-align:-0.1944em;"></span><span class="mord mathnormal" style="margin-right:0.05724em;">j</span></span></span></span>',os,gs,Us='<span class="katex"><span class="katex-mathml"><math xmlns="http://www.w3.org/1998/Math/MathML"><semantics><mrow><mi>j</mi><mi mathvariant="normal">%</mi><mi>l</mi><mn>1</mn></mrow><annotation encoding="application/x-tex">j \\% l1</annotation></semantics></math></span><span class="katex-html" aria-hidden="true"><span class="base"><span class="strut" style="height:0.9444em;vertical-align:-0.1944em;"></span><span class="mord mathnormal" style="margin-right:0.05724em;">j</span><span class="mord">%</span><span class="mord mathnormal" style="margin-right:0.01968em;">l</span><span class="mord">1</span></span></span></span>',ds,us,Bs='<span class="katex"><span class="katex-mathml"><math xmlns="http://www.w3.org/1998/Math/MathML"><semantics><mrow><mi>j</mi><mi mathvariant="normal">/</mi><mi mathvariant="normal">/</mi><mi>l</mi><mn>1</mn></mrow><annotation encoding="application/x-tex">j // l1</annotation></semantics></math></span><span class="katex-html" aria-hidden="true"><span class="base"><span class="strut" style="height:1em;vertical-align:-0.25em;"></span><span class="mord mathnormal" style="margin-right:0.05724em;">j</span><span class="mord">//</span><span class="mord mathnormal" style="margin-right:0.01968em;">l</span><span class="mord">1</span></span></span></span>',fs,vs,C,ws,G,xs;return w=new K({props:{title:"آليات الانتباه",local:"آليات-الانتباه",headingTag:"h1"}}),_=new K({props:{title:"انتباه LSH",local:"انتباه-lsh",headingTag:"h2"}}),$=new K({props:{title:"الانتباه المحلي",local:"الانتباه-المحلي",headingTag:"h2"}}),E=new K({props:{title:"حيل أخرى",local:"حيل-أخرى",headingTag:"h2"}}),z=new K({props:{title:"الترميزات الموضعية المحورية",local:"الترميزات-الموضعية-المحورية",headingTag:"h3"}}),C=new Ns({props:{source:"https://github.com/huggingface/transformers/blob/main/docs/source/ar/attention.md"}}),{c(){g=r("meta"),Q=m(),A=r("p"),U=m(),P(w.$$.fragment),B=m(),x=r("p"),x.textContent=Es,D=m(),P(_.$$.fragment),I=m(),y=r("p"),y.innerHTML=zs,O=m(),P($.$$.fragment),V=m(),b=r("p"),b.innerHTML=Ls,F=m(),M=r("p"),M.textContent=Cs,J=m(),f=r("div"),f.innerHTML=Hs,N=m(),k=r("p"),k.textContent=Ps,W=m(),P(E.$$.fragment),X=m(),P(z.$$.fragment),Y=m(),n=r("p"),ys=c("يستخدم "),L=r("a"),L.textContent=Ts,$s=c(" ترميزات موضعية محورية: في نماذج المحول التقليدية، يكون الترميز الموضعي E مصفوفة بحجم"),Z=new d(!1),ss=c(" في"),as=new d(!1),ts=c("، حيث"),ns=new d(!1),es=c(" هو طول التسلسل و\\(d\\) هو بعد الحالة المخفية. إذا كان لديك نصوص طويلة جدًا، فقد تكون هذه المصفوفة ضخمة وتستهلك مساحة كبيرة جدًا على وحدة معالجة الرسوميات (GPU). وللتخفيف من ذلك، تتكون الترميزات الموضعية المحورية من تحليل تلك المصفوفة الكبيرة E إلى مصفوفتين أصغر E1 وE2، بأبعاد"),ls=new d(!1),ms=c(" و"),ps=new d(!1),is=c("، بحيث"),rs=new d(!1),cs=c(" و\\(d"),H=r("em"),H.textContent=js,bs=c("{2} = d\\) (مع حاصل ضرب الأطوال، ينتهي الأمر بكونه أصغر بكثير). ويتم الحصول على الترميز للخطوة الزمنية"),hs=new d(!1),os=c(" في E عن طريق ربط الترميزات للخطوة الزمنية"),gs=new d(!1),ds=c(" في E1 و"),us=new d(!1),fs=c(" في E2."),vs=m(),P(C.$$.fragment),ws=m(),G=r("p"),this.h()},l(s){const a=Js("svelte-u9bgzb",document.head);g=h(a,"META",{name:!0,content:!0}),a.forEach(t),Q=p(s),A=h(s,"P",{}),Ms(A).forEach(t),U=p(s),T(w.$$.fragment,s),B=p(s),x=h(s,"P",{"data-svelte-h":!0}),v(x)!=="svelte-nzdq8o"&&(x.textContent=Es),D=p(s),T(_.$$.fragment,s),I=p(s),y=h(s,"P",{"data-svelte-h":!0}),v(y)!=="svelte-57q5ri"&&(y.innerHTML=zs),O=p(s),T($.$$.fragment,s),V=p(s),b=h(s,"P",{"data-svelte-h":!0}),v(b)!=="svelte-1fsh4cg"&&(b.innerHTML=Ls),F=p(s),M=h(s,"P",{"data-svelte-h":!0}),v(M)!=="svelte-1d2ff0l"&&(M.textContent=Cs),J=p(s),f=h(s,"DIV",{class:!0,"data-svelte-h":!0}),v(f)!=="svelte-d4kpls"&&(f.innerHTML=Hs),N=p(s),k=h(s,"P",{"data-svelte-h":!0}),v(k)!=="svelte-8pr110"&&(k.textContent=Ps),W=p(s),T(E.$$.fragment,s),X=p(s),T(z.$$.fragment,s),Y=p(s),n=h(s,"P",{});var e=Ms(n);ys=o(e,"يستخدم "),L=h(e,"A",{href:!0,"data-svelte-h":!0}),v(L)!=="svelte-zf8r8v"&&(L.textContent=Ts),$s=o(e," ترميزات موضعية محورية: في نماذج المحول التقليدية، يكون الترميز الموضعي E مصفوفة بحجم"),Z=u(e,!1),ss=o(e," في"),as=u(e,!1),ts=o(e,"، حيث"),ns=u(e,!1),es=o(e," هو طول التسلسل و\\(d\\) هو بعد الحالة المخفية. إذا كان لديك نصوص طويلة جدًا، فقد تكون هذه المصفوفة ضخمة وتستهلك مساحة كبيرة جدًا على وحدة معالجة الرسوميات (GPU). وللتخفيف من ذلك، تتكون الترميزات الموضعية المحورية من تحليل تلك المصفوفة الكبيرة E إلى مصفوفتين أصغر E1 وE2، بأبعاد"),ls=u(e,!1),ms=o(e," و"),ps=u(e,!1),is=o(e,"، بحيث"),rs=u(e,!1),cs=o(e," و\\(d"),H=h(e,"EM",{"data-svelte-h":!0}),v(H)!=="svelte-xo83ib"&&(H.textContent=js),bs=o(e,"{2} = d\\) (مع حاصل ضرب الأطوال، ينتهي الأمر بكونه أصغر بكثير). ويتم الحصول على الترميز للخطوة الزمنية"),hs=u(e,!1),os=o(e," في E عن طريق ربط الترميزات للخطوة الزمنية"),gs=u(e,!1),ds=o(e," في E1 و"),us=u(e,!1),fs=o(e," في E2."),e.forEach(t),vs=p(s),T(C.$$.fragment,s),ws=p(s),G=h(s,"P",{}),Ms(G).forEach(t),this.h()},h(){_s(g,"name","hf:doc:metadata"),_s(g,"content",Xs),_s(f,"class","flex justify-center"),_s(L,"href","model_doc/reformer"),Z.a=ss,as.a=ts,ns.a=es,ls.a=ms,ps.a=is,rs.a=cs,hs.a=os,gs.a=ds,us.a=fs},m(s,a){i(document.head,g),l(s,Q,a),l(s,A,a),l(s,U,a),j(w,s,a),l(s,B,a),l(s,x,a),l(s,D,a),j(_,s,a),l(s,I,a),l(s,y,a),l(s,O,a),j($,s,a),l(s,V,a),l(s,b,a),l(s,F,a),l(s,M,a),l(s,J,a),l(s,f,a),l(s,N,a),l(s,k,a),l(s,W,a),j(E,s,a),l(s,X,a),j(z,s,a),l(s,Y,a),l(s,n,a),i(n,ys),i(n,L),i(n,$s),Z.m(qs,n),i(n,ss),as.m(Ss,n),i(n,ts),ns.m(Rs,n),i(n,es),ls.m(As,n),i(n,ms),ps.m(Gs,n),i(n,is),rs.m(Ks,n),i(n,cs),i(n,H),i(n,bs),hs.m(Qs,n),i(n,os),gs.m(Us,n),i(n,ds),us.m(Bs,n),i(n,fs),l(s,vs,a),j(C,s,a),l(s,ws,a),l(s,G,a),xs=!0},p:Is,i(s){xs||(q(w.$$.fragment,s),q(_.$$.fragment,s),q($.$$.fragment,s),q(E.$$.fragment,s),q(z.$$.fragment,s),q(C.$$.fragment,s),xs=!0)},o(s){S(w.$$.fragment,s),S(_.$$.fragment,s),S($.$$.fragment,s),S(E.$$.fragment,s),S(z.$$.fragment,s),S(C.$$.fragment,s),xs=!1},d(s){s&&(t(Q),t(A),t(U),t(B),t(x),t(D),t(I),t(y),t(O),t(V),t(b),t(F),t(M),t(J),t(f),t(N),t(k),t(W),t(X),t(Y),t(n),t(vs),t(ws),t(G)),t(g),R(w,s),R(_,s),R($,s),R(E,s),R(z,s),R(C,s)}}}const Xs='{"title":"آليات الانتباه","local":"آليات-الانتباه","sections":[{"title":"انتباه LSH","local":"انتباه-lsh","sections":[],"depth":2},{"title":"الانتباه المحلي","local":"الانتباه-المحلي","sections":[],"depth":2},{"title":"حيل أخرى","local":"حيل-أخرى","sections":[{"title":"الترميزات الموضعية المحورية","local":"الترميزات-الموضعية-المحورية","sections":[],"depth":3}],"depth":2}],"depth":1}';function Ys(ks){return Os(()=>{new URLSearchParams(window.location.search).get("fw")}),[]}class ta extends Vs{constructor(g){super(),Fs(this,g,Ys,Ws,Ds,{})}}export{ta as component};