transformers/main/es/_app/immutable/nodes/4.f2145ee1.js

import{s as Fs,n as Is,o as Vs}from"../chunks/scheduler.36a0863c.js";import{S as Js,i as Ns,g as r,s as i,r as C,m as o,H as h,A as Ws,h as d,f as n,c as m,j as zs,u as H,x as q,n as c,B as g,k as K,y as p,a as l,v as P,d as T,t as j,w as A}from"../chunks/index.f891bdb2.js";import{H as O,E as Xs}from"../chunks/EditOnGithub.a58e27a9.js";function Ys(Ms){let u,Q,S,R,x,U,y,Ls="La mayoría de los modelos transformers utilizan atención completa, en el sentido de que la matriz de atención es cuadrada. Esto puede ser un gran cuello de botella computacional cuando tienes textos largos. <code>Longformer</code> y <code>reformer</code> son modelos que intentan ser más eficientes y utilizan una versión dispersa de la matriz de atención para acelerar el entrenamiento.",D,w,B,_,Es='<a href="https://huggingface.co/docs/transformers/model_doc/reformer" rel="nofollow">Reformer</a> utiliza atención LSH. En el softmax(QK^t), solo los elementos más grandes (en la dimensión softmax) de la matriz QK^t van a dar contribuciones útiles. Entonces, para cada consulta q en Q, podemos considerar solo las claves k en K que estén cerca de q. Se utiliza una función hash para determinar si q y k están cerca. La máscara de atención se modifica para enmascarar el token actual (excepto en la primera posición), porque dará una consulta y una clave iguales (entonces muy similares entre sí). Dado que el hash puede ser un poco aleatorio, en la práctica se utilizan varias funciones hash (determinadas por un parámetro n_rounds) y luego se promedian juntas.',F,b,I,k,qs='<a href="https://huggingface.co/docs/transformers/model_doc/longformer" rel="nofollow">Longformer</a> utiliza atención local: a menudo, el contexto local (por ejemplo, ¿cuáles son los dos tokens a la izquierda y a la derecha?) es suficiente para tomar acción para un token dado. Además, apilando capas de atención que tienen una ventana pequeña, la última capa tendrá un campo receptivo mayor que solamente los tokens en la ventana, lo que les permite construir una representación de toda la oración.',V,$,Cs="Algunos tokens de entrada preseleccionados también reciben atención global: para esos pocos tokens, la matriz de atención puede acceder a todos los tokens y este proceso es simétrico: todos los demás tokens tienen acceso a esos tokens específicos (además de los que están en su ventana local). Esto se muestra en la Figura 2d del artículo, el cual se puede apreciar un ejemplo de una máscara de atención:",J,f,Hs='<img scale="50 %" align="center" src="https://huggingface.co/datasets/huggingface/documentation-images/resolve/main/local_attention_mask.png"/>',N,z,Ps="El uso de dichas matrices de atención con menos parámetros permite que el modelo tenga entradas con una longitud de secuencia mayor.",W,M,X,L,Y,t,v,Ts="Reformer",$s,Z,js='<span class="katex"><span class="katex-mathml"><math xmlns="http://www.w3.org/1998/Math/MathML"><semantics><mrow><mi>l</mi></mrow><annotation encoding="application/x-tex">l</annotation></semantics></math></span><span class="katex-html" aria-hidden="true"><span class="base"><span class="strut" style="height:0.6944em;"></span><span class="mord mathnormal" style="margin-right:0.01968em;">l</span></span></span></span>',ss,as,As='<span class="katex"><span class="katex-mathml"><math xmlns="http://www.w3.org/1998/Math/MathML"><semantics><mrow><mi>d</mi></mrow><annotation encoding="application/x-tex">d</annotation></semantics></math></span><span class="katex-html" aria-hidden="true"><span class="base"><span class="strut" style="height:0.6944em;"></span><span class="mord mathnormal">d</span></span></span></span>',ts,ns,Ss='<span class="katex"><span class="katex-mathml"><math xmlns="http://www.w3.org/1998/Math/MathML"><semantics><mrow><mi>l</mi></mrow><annotation encoding="application/x-tex">l</annotation></semantics></math></span><span class="katex-html" aria-hidden="true"><span class="base"><span class="strut" style="height:0.6944em;"></span><span class="mord mathnormal" style="margin-right:0.01968em;">l</span></span></span></span>',es,ls,Gs='<span class="katex"><span class="katex-mathml"><math xmlns="http://www.w3.org/1998/Math/MathML"><semantics><mrow><mi>d</mi></mrow><annotation encoding="application/x-tex">d</annotation></semantics></math></span><span class="katex-html" aria-hidden="true"><span class="base"><span class="strut" style="height:0.6944em;"></span><span class="mord mathnormal">d</span></span></span></span>',is,ms,Ks='<span class="katex"><span class="katex-mathml"><math xmlns="http://www.w3.org/1998/Math/MathML"><semantics><mrow><msub><mi>l</mi><mn>1</mn></msub><mo>×</mo><msub><mi>d</mi><mn>1</mn></msub></mrow><annotation encoding="application/x-tex">l_{1} \\times d_{1}</annotation></semantics></math></span><span class="katex-html" aria-hidden="true"><span class="base"><span class="strut" style="height:0.8444em;vertical-align:-0.15em;"></span><span class="mord"><span class="mord mathnormal" style="margin-right:0.01968em;">l</span><span class="msupsub"><span class="vlist-t vlist-t2"><span class="vlist-r"><span class="vlist" style="height:0.3011em;"><span style="top:-2.55em;margin-left:-0.0197em;margin-right:0.05em;"><span class="pstrut" style="height:2.7em;"></span><span class="sizing reset-size6 size3 mtight"><span class="mord mtight"><span class="mord mtight">1</span></span></span></span></span><span class="vlist-s">​</span></span><span class="vlist-r"><span class="vlist" style="height:0.15em;"><span></span></span></span></span></span></span><span class="mspace" style="margin-right:0.2222em;"></span><span class="mbin">×</span><span class="mspace" style="margin-right:0.2222em;"></span></span><span class="base"><span class="strut" style="height:0.8444em;vertical-align:-0.15em;"></span><span class="mord"><span class="mord mathnormal">d</span><span class="msupsub"><span class="vlist-t vlist-t2"><span class="vlist-r"><span class="vlist" style="height:0.3011em;"><span style="top:-2.55em;margin-left:0em;margin-right:0.05em;"><span class="pstrut" style="height:2.7em;"></span><span class="sizing reset-size6 size3 mtight"><span class="mord mtight"><span class="mord mtight">1</span></span></span></span></span><span class="vlist-s">​</span></span><span class="vlist-r"><span class="vlist" style="height:0.15em;"><span></span></span></span></span></span></span></span></span></span>',ps,os,Os='<span class="katex"><span class="katex-mathml"><math xmlns="http://www.w3.org/1998/Math/MathML"><semantics><mrow><msub><mi>l</mi><mn>2</mn></msub><mo>×</mo><msub><mi>d</mi><mn>2</mn></msub></mrow><annotation encoding="application/x-tex">l_{2} \\times d_{2}</annotation></semantics></math></span><span class="katex-html" aria-hidden="true"><span class="base"><span class="strut" style="height:0.8444em;vertical-align:-0.15em;"></span><span class="mord"><span class="mord mathnormal" style="margin-right:0.01968em;">l</span><span class="msupsub"><span class="vlist-t vlist-t2"><span class="vlist-r"><span class="vlist" style="height:0.3011em;"><span style="top:-2.55em;margin-left:-0.0197em;margin-right:0.05em;"><span class="pstrut" style="height:2.7em;"></span><span class="sizing reset-size6 size3 mtight"><span class="mord mtight"><span class="mord mtight">2</span></span></span></span></span><span class="vlist-s">​</span></span><span class="vlist-r"><span class="vlist" style="height:0.15em;"><span></span></span></span></span></span></span><span class="mspace" style="margin-right:0.2222em;"></span><span class="mbin">×</span><span class="mspace" style="margin-right:0.2222em;"></span></span><span class="base"><span class="strut" style="height:0.8444em;vertical-align:-0.15em;"></span><span class="mord"><span class="mord mathnormal">d</span><span class="msupsub"><span class="vlist-t vlist-t2"><span class="vlist-r"><span class="vlist" style="height:0.3011em;"><span style="top:-2.55em;margin-left:0em;margin-right:0.05em;"><span class="pstrut" style="height:2.7em;"></span><span class="sizing reset-size6 size3 mtight"><span class="mord mtight"><span class="mord mtight">2</span></span></span></span></span><span class="vlist-s">​</span></span><span class="vlist-r"><span class="vlist" style="height:0.15em;"><span></span></span></span></span></span></span></span></span></span>',cs,rs,Qs='<span class="katex"><span class="katex-mathml"><math xmlns="http://www.w3.org/1998/Math/MathML"><semantics><mrow><msub><mi>l</mi><mn>1</mn></msub><mo>×</mo><msub><mi>l</mi><mn>2</mn></msub><mo>=</mo><mi>l</mi></mrow><annotation encoding="application/x-tex">l_{1} \\times l_{2} = l</annotation></semantics></math></span><span class="katex-html" aria-hidden="true"><span class="base"><span class="strut" style="height:0.8444em;vertical-align:-0.15em;"></span><span class="mord"><span class="mord mathnormal" style="margin-right:0.01968em;">l</span><span class="msupsub"><span class="vlist-t vlist-t2"><span class="vlist-r"><span class="vlist" style="height:0.3011em;"><span style="top:-2.55em;margin-left:-0.0197em;margin-right:0.05em;"><span class="pstrut" style="height:2.7em;"></span><span class="sizing reset-size6 size3 mtight"><span class="mord mtight"><span class="mord mtight">1</span></span></span></span></span><span class="vlist-s">​</span></span><span class="vlist-r"><span class="vlist" style="height:0.15em;"><span></span></span></span></span></span></span><span class="mspace" style="margin-right:0.2222em;"></span><span class="mbin">×</span><span class="mspace" style="margin-right:0.2222em;"></span></span><span class="base"><span class="strut" style="height:0.8444em;vertical-align:-0.15em;"></span><span class="mord"><span class="mord mathnormal" style="margin-right:0.01968em;">l</span><span class="msupsub"><span class="vlist-t vlist-t2"><span class="vlist-r"><span class="vlist" style="height:0.3011em;"><span style="top:-2.55em;margin-left:-0.0197em;margin-right:0.05em;"><span class="pstrut" style="height:2.7em;"></span><span class="sizing reset-size6 size3 mtight"><span class="mord mtight"><span class="mord mtight">2</span></span></span></span></span><span class="vlist-s">​</span></span><span class="vlist-r"><span class="vlist" style="height:0.15em;"><span></span></span></span></span></span></span><span class="mspace" style="margin-right:0.2778em;"></span><span class="mrel">=</span><span class="mspace" style="margin-right:0.2778em;"></span></span><span class="base"><span class="strut" style="height:0.6944em;"></span><span class="mord mathnormal" style="margin-right:0.01968em;">l</span></span></span></span>',hs,ds,Rs='<span class="katex"><span class="katex-mathml"><math xmlns="http://www.w3.org/1998/Math/MathML"><semantics><mrow><msub><mi>d</mi><mn>1</mn></msub><mo>+</mo><msub><mi>d</mi><mn>2</mn></msub><mo>=</mo><mi>d</mi></mrow><annotation encoding="application/x-tex">d_{1} + d_{2} = d</annotation></semantics></math></span><span class="katex-html" aria-hidden="true"><span class="base"><span class="strut" style="height:0.8444em;vertical-align:-0.15em;"></span><span class="mord"><span class="mord mathnormal">d</span><span class="msupsub"><span class="vlist-t vlist-t2"><span class="vlist-r"><span class="vlist" style="height:0.3011em;"><span style="top:-2.55em;margin-left:0em;margin-right:0.05em;"><span class="pstrut" style="height:2.7em;"></span><span class="sizing reset-size6 size3 mtight"><span class="mord mtight"><span class="mord mtight">1</span></span></span></span></span><span class="vlist-s">​</span></span><span class="vlist-r"><span class="vlist" style="height:0.15em;"><span></span></span></span></span></span></span><span class="mspace" style="margin-right:0.2222em;"></span><span class="mbin">+</span><span class="mspace" style="margin-right:0.2222em;"></span></span><span class="base"><span class="strut" style="height:0.8444em;vertical-align:-0.15em;"></span><span class="mord"><span class="mord mathnormal">d</span><span class="msupsub"><span class="vlist-t vlist-t2"><span class="vlist-r"><span class="vlist" style="height:0.3011em;"><span style="top:-2.55em;margin-left:0em;margin-right:0.05em;"><span class="pstrut" style="height:2.7em;"></span><span class="sizing reset-size6 size3 mtight"><span class="mord mtight"><span class="mord mtight">2</span></span></span></span></span><span class="vlist-s">​</span></span><span class="vlist-r"><span class="vlist" style="height:0.15em;"><span></span></span></span></span></span></span><span class="mspace" style="margin-right:0.2778em;"></span><span class="mrel">=</span><span class="mspace" style="margin-right:0.2778em;"></span></span><span class="base"><span class="strut" style="height:0.6944em;"></span><span class="mord mathnormal">d</span></span></span></span>',gs,us,Us='<span class="katex"><span class="katex-mathml"><math xmlns="http://www.w3.org/1998/Math/MathML"><semantics><mrow><mi>j</mi></mrow><annotation encoding="application/x-tex">j</annotation></semantics></math></span><span class="katex-html" aria-hidden="true"><span class="base"><span class="strut" style="height:0.854em;vertical-align:-0.1944em;"></span><span class="mord mathnormal" style="margin-right:0.05724em;">j</span></span></span></span>',fs,vs,Ds='<span class="katex"><span class="katex-mathml"><math xmlns="http://www.w3.org/1998/Math/MathML"><semantics><mrow><mi>j</mi><mi mathvariant="normal">%</mi><mi>l</mi><mn>1</mn></mrow><annotation encoding="application/x-tex">j \\% l1</annotation></semantics></math></span><span class="katex-html" aria-hidden="true"><span class="base"><span class="strut" style="height:0.9444em;vertical-align:-0.1944em;"></span><span class="mord mathnormal" style="margin-right:0.05724em;">j</span><span class="mord">%</span><span class="mord mathnormal" style="margin-right:0.01968em;">l</span><span class="mord">1</span></span></span></span>',xs,ys,Bs='<span class="katex"><span class="katex-mathml"><math xmlns="http://www.w3.org/1998/Math/MathML"><semantics><mrow><mi>j</mi><mi mathvariant="normal">/</mi><mi mathvariant="normal">/</mi><mi>l</mi><mn>1</mn></mrow><annotation encoding="application/x-tex">j // l1</annotation></semantics></math></span><span class="katex-html" aria-hidden="true"><span class="base"><span class="strut" style="height:1em;vertical-align:-0.25em;"></span><span class="mord mathnormal" style="margin-right:0.05724em;">j</span><span class="mord">//</span><span class="mord mathnormal" style="margin-right:0.01968em;">l</span><span class="mord">1</span></span></span></span>',ws,_s,E,bs,G,ks;return x=new O({props:{title:"Mecanismos de atención",local:"mecanismos-de-atención",headingTag:"h1"}}),w=new O({props:{title:"Atención LSH",local:"atención-lsh",headingTag:"h2"}}),b=new O({props:{title:"Atención local",local:"atención-local",headingTag:"h2"}}),M=new O({props:{title:"Otros trucos",local:"otros-trucos",headingTag:"h2"}}),L=new O({props:{title:"Codificación posicional axial",local:"codificación-posicional-axial",headingTag:"h3"}}),E=new Xs({props:{source:"https://github.com/huggingface/transformers/blob/main/docs/source/es/attention.md"}}),{c(){u=r("meta"),Q=i(),S=r("p"),R=i(),C(x.$$.fragment),U=i(),y=r("p"),y.innerHTML=Ls,D=i(),C(w.$$.fragment),B=i(),_=r("p"),_.innerHTML=Es,F=i(),C(b.$$.fragment),I=i(),k=r("p"),k.innerHTML=qs,V=i(),$=r("p"),$.textContent=Cs,J=i(),f=r("div"),f.innerHTML=Hs,N=i(),z=r("p"),z.textContent=Ps,W=i(),C(M.$$.fragment),X=i(),C(L.$$.fragment),Y=i(),t=r("p"),v=r("a"),v.textContent=Ts,$s=o(" utiliza codificación posicional axial: en los modelos transformers tradicionales, la codificación posicional E es una matriz de tamaño"),Z=new h(!1),ss=o(" por"),as=new h(!1),ts=o(", donde"),ns=new h(!1),es=o(" es la longitud de la secuencia y"),ls=new h(!1),is=o(" es la dimensión del estado oculto. Si tienes textos muy extensos, esta matriz puede ser enorme y ocupar demasiado espacio en la GPU. Para aliviar eso, las codificaciones posicionales axiales consisten en factorizar esa gran matriz E en dos matrices más pequeñas E1 y E2, con dimensiones"),ms=new h(!1),ps=o(" y"),os=new h(!1),cs=o(", tal que"),rs=new h(!1),hs=o(" y"),ds=new h(!1),gs=o(" (con el producto de las longitudes, esto termina siendo mucho más pequeño). La incrustación (embedding) para el paso de tiempo"),us=new h(!1),fs=o(" en E se obtiene concatenando las incrustaciones para el paso de tiempo"),vs=new h(!1),xs=o(" en E1 y"),ys=new h(!1),ws=o(" en E2."),_s=i(),C(E.$$.fragment),bs=i(),G=r("p"),this.h()},l(s){const a=Ws("svelte-u9bgzb",document.head);u=d(a,"META",{name:!0,content:!0}),a.forEach(n),Q=m(s),S=d(s,"P",{}),zs(S).forEach(n),R=m(s),H(x.$$.fragment,s),U=m(s),y=d(s,"P",{"data-svelte-h":!0}),q(y)!=="svelte-9izlgk"&&(y.innerHTML=Ls),D=m(s),H(w.$$.fragment,s),B=m(s),_=d(s,"P",{"data-svelte-h":!0}),q(_)!=="svelte-1i1o3pb"&&(_.innerHTML=Es),F=m(s),H(b.$$.fragment,s),I=m(s),k=d(s,"P",{"data-svelte-h":!0}),q(k)!=="svelte-4i0m48"&&(k.innerHTML=qs),V=m(s),$=d(s,"P",{"data-svelte-h":!0}),q($)!=="svelte-m6w6kg"&&($.textContent=Cs),J=m(s),f=d(s,"DIV",{class:!0,"data-svelte-h":!0}),q(f)!=="svelte-d4kpls"&&(f.innerHTML=Hs),N=m(s),z=d(s,"P",{"data-svelte-h":!0}),q(z)!=="svelte-1dus9k3"&&(z.textContent=Ps),W=m(s),H(M.$$.fragment,s),X=m(s),H(L.$$.fragment,s),Y=m(s),t=d(s,"P",{});var e=zs(t);v=d(e,"A",{href:!0,rel:!0,"data-svelte-h":!0}),q(v)!=="svelte-1bpx0mm"&&(v.textContent=Ts),$s=c(e," utiliza codificación posicional axial: en los modelos transformers tradicionales, la codificación posicional E es una matriz de tamaño"),Z=g(e,!1),ss=c(e," por"),as=g(e,!1),ts=c(e,", donde"),ns=g(e,!1),es=c(e," es la longitud de la secuencia y"),ls=g(e,!1),is=c(e," es la dimensión del estado oculto. Si tienes textos muy extensos, esta matriz puede ser enorme y ocupar demasiado espacio en la GPU. Para aliviar eso, las codificaciones posicionales axiales consisten en factorizar esa gran matriz E en dos matrices más pequeñas E1 y E2, con dimensiones"),ms=g(e,!1),ps=c(e," y"),os=g(e,!1),cs=c(e,", tal que"),rs=g(e,!1),hs=c(e," y"),ds=g(e,!1),gs=c(e," (con el producto de las longitudes, esto termina siendo mucho más pequeño). La incrustación (embedding) para el paso de tiempo"),us=g(e,!1),fs=c(e," en E se obtiene concatenando las incrustaciones para el paso de tiempo"),vs=g(e,!1),xs=c(e," en E1 y"),ys=g(e,!1),ws=c(e," en E2."),e.forEach(n),_s=m(s),H(E.$$.fragment,s),bs=m(s),G=d(s,"P",{}),zs(G).forEach(n),this.h()},h(){K(u,"name","hf:doc:metadata"),K(u,"content",Zs),K(f,"class","flex justify-center"),K(v,"href","https://huggingface.co/docs/transformers/model_doc/reformer"),K(v,"rel","nofollow"),Z.a=ss,as.a=ts,ns.a=es,ls.a=is,ms.a=ps,os.a=cs,rs.a=hs,ds.a=gs,us.a=fs,vs.a=xs,ys.a=ws},m(s,a){p(document.head,u),l(s,Q,a),l(s,S,a),l(s,R,a),P(x,s,a),l(s,U,a),l(s,y,a),l(s,D,a),P(w,s,a),l(s,B,a),l(s,_,a),l(s,F,a),P(b,s,a),l(s,I,a),l(s,k,a),l(s,V,a),l(s,$,a),l(s,J,a),l(s,f,a),l(s,N,a),l(s,z,a),l(s,W,a),P(M,s,a),l(s,X,a),P(L,s,a),l(s,Y,a),l(s,t,a),p(t,v),p(t,$s),Z.m(js,t),p(t,ss),as.m(As,t),p(t,ts),ns.m(Ss,t),p(t,es),ls.m(Gs,t),p(t,is),ms.m(Ks,t),p(t,ps),os.m(Os,t),p(t,cs),rs.m(Qs,t),p(t,hs),ds.m(Rs,t),p(t,gs),us.m(Us,t),p(t,fs),vs.m(Ds,t),p(t,xs),ys.m(Bs,t),p(t,ws),l(s,_s,a),P(E,s,a),l(s,bs,a),l(s,G,a),ks=!0},p:Is,i(s){ks||(T(x.$$.fragment,s),T(w.$$.fragment,s),T(b.$$.fragment,s),T(M.$$.fragment,s),T(L.$$.fragment,s),T(E.$$.fragment,s),ks=!0)},o(s){j(x.$$.fragment,s),j(w.$$.fragment,s),j(b.$$.fragment,s),j(M.$$.fragment,s),j(L.$$.fragment,s),j(E.$$.fragment,s),ks=!1},d(s){s&&(n(Q),n(S),n(R),n(U),n(y),n(D),n(B),n(_),n(F),n(I),n(k),n(V),n($),n(J),n(f),n(N),n(z),n(W),n(X),n(Y),n(t),n(_s),n(bs),n(G)),n(u),A(x,s),A(w,s),A(b,s),A(M,s),A(L,s),A(E,s)}}}const Zs='{"title":"Mecanismos de atención","local":"mecanismos-de-atención","sections":[{"title":"Atención LSH","local":"atención-lsh","sections":[],"depth":2},{"title":"Atención local","local":"atención-local","sections":[],"depth":2},{"title":"Otros trucos","local":"otros-trucos","sections":[{"title":"Codificación posicional axial","local":"codificación-posicional-axial","sections":[],"depth":3}],"depth":2}],"depth":1}';function sa(Ms){return Vs(()=>{new URLSearchParams(window.location.search).get("fw")}),[]}class ea extends Js{constructor(u){super(),Ns(this,u,sa,Ys,Fs,{})}}export{ea as component};