Buckets:

rtrm's picture
download
raw
9.71 kB
import{s as te,n as ne,o as ae}from"../chunks/scheduler.36a0863c.js";import{S as oe,i as de,g as l,s as o,r as K,A as le,h as c,f as n,c as d,j as Q,u as V,x as i,k as W,y as ce,a,v as X,d as Y,t as Z,w as ee}from"../chunks/index.f891bdb2.js";import{H as re,E as ie}from"../chunks/EditOnGithub.a58e27a9.js";function se(I){let r,y,E,L,s,z,u,G="Las entradas agrupadas por lotes (batched) suelen tener longitudes diferentes, por lo que no se pueden convertir en tensores de tamaño fijo. El relleno (también conocido como “Padding”) y el truncamiento (conocido como “Truncation”) son estrategias para abordar este problema y crear tensores rectangulares a partir de lotes de longitudes variables. El relleno agrega un <strong>padding token</strong> especial para garantizar que las secuencias más cortas tengan la misma longitud que la secuencia más larga en un lote o la longitud máxima aceptada por el modelo. El truncamiento funciona en la otra dirección al truncar secuencias largas.",k,m,N="En la mayoría de los casos, es bastante eficaz rellenar el lote hasta la longitud de la secuencia más larga y truncar hasta la longitud máxima que un modelo puede aceptar. Sin embargo, la API admite más estrategias si las necesitas. Los tres argumentos que necesitas son: <code>padding</code>, <code>truncation</code> y <code>max_length</code>.",H,p,j="El argumento <code>padding</code> controla el relleno. Puede ser un booleano o una cadena:",M,g,U=`<li><code>True</code> o <code>&#39;longest&#39;</code>: rellena hasta la longitud de la secuencia más larga en el lote (no se aplica relleno si solo proporcionas una única secuencia).</li> <li><code>&#39;max_length&#39;</code>: rellena hasta una longitud especificada por el argumento <code>max_length</code> o la longitud máxima aceptada
por el modelo si no se proporciona <code>max_length</code> (<code>max_length=None</code>). El relleno se aplicará incluso si solo proporcionas una única secuencia.</li> <li><code>False</code> o <code>&#39;do_not_pad&#39;</code>: no se aplica relleno. Este es el comportamiento predeterminado.</li>`,A,h,F="El argumento <code>truncation</code> controla el truncamiento. Puede ser un booleano o una cadena:",P,_,B=`<li><code>True</code> o <code>&#39;longest_first&#39;</code>: trunca hasta una longitud máxima especificada por el argumento <code>max_length</code> o
la longitud máxima aceptada por el modelo si no se proporciona <code>max_length</code> (<code>max_length=None</code>). Esto
truncará token por token, eliminando un token de la secuencia más larga en el par hasta alcanzar la longitud adecuada.</li> <li><code>&#39;only_second&#39;</code>: trunca hasta una longitud máxima especificada por el argumento <code>max_length</code> o la longitud máxima
aceptada por el modelo si no se proporciona <code>max_length</code> (<code>max_length=None</code>). Esto solo truncará
la segunda oración de un par si se proporciona un par de secuencias (o un lote de pares de secuencias).</li> <li><code>&#39;only_first&#39;</code>: trunca hasta una longitud máxima especificada por el argumento <code>max_length</code> o la longitud máxima
aceptada por el modelo si no se proporciona <code>max_length</code> (<code>max_length=None</code>). Esto solo truncará
la primera oración de un par si se proporciona un par de secuencias (o un lote de pares de secuencias).</li> <li><code>False</code> o <code>&#39;do_not_truncate&#39;</code>: no se aplica truncamiento. Este es el comportamiento predeterminado.</li>`,$,x,O="El argumento <code>max_length</code> controla la longitud del relleno y del truncamiento. Puede ser un número entero o <code>None</code>, en cuyo caso se establecerá automáticamente en la longitud máxima que el modelo puede aceptar. Si el modelo no tiene una longitud máxima de entrada específica, se desactiva el truncamiento o el relleno hasta <code>max_length</code>.",S,f,D=`La siguiente tabla resume la forma recomendada de configurar el relleno y el truncamiento. Si usas pares de secuencias de entrada en alguno de los siguientes ejemplos, puedes reemplazar <code>truncation=True</code> por una <code>ESTRATEGIA</code> seleccionada en
<code>[&#39;only_first&#39;, &#39;only_second&#39;, &#39;longest_first&#39;]</code>, es decir, <code>truncation=&#39;only_second&#39;</code> o <code>truncation=&#39;longest_first&#39;</code> para controlar cómo se truncan ambas secuencias en el par, como se detalló anteriormente.`,q,T,J="<thead><tr><th>Truncation</th> <th>Padding</th> <th>Instrucción</th></tr></thead> <tbody><tr><td>sin truncamiento</td> <td>sin relleno</td> <td><code>tokenizer(batch_sentences)</code></td></tr> <tr><td></td> <td>relleno hasta la longitud máxima del lote</td> <td><code>tokenizer(batch_sentences, padding=True)</code> o</td></tr> <tr><td></td> <td></td> <td><code>tokenizer(batch_sentences, padding=&#39;longest&#39;)</code></td></tr> <tr><td></td> <td>relleno hasta la longitud máxima del modelo</td> <td><code>tokenizer(batch_sentences, padding=&#39;max_length&#39;)</code></td></tr> <tr><td></td> <td>relleno hasta una longitud específica</td> <td><code>tokenizer(batch_sentences, padding=&#39;max_length&#39;, max_length=42)</code></td></tr> <tr><td></td> <td>relleno hasta un múltiplo de un valor</td> <td><code>tokenizer(batch_sentences, padding=True, pad_to_multiple_of=8)</code></td></tr> <tr><td>truncamiento hasta la longitud máxima del modelo</td> <td>sin relleno</td> <td><code>tokenizer(batch_sentences, truncation=True)</code> o</td></tr> <tr><td></td> <td></td> <td><code>tokenizer(batch_sentences, truncation=ESTRATEGIA)</code></td></tr> <tr><td></td> <td>relleno hasta la longitud máxima del lote</td> <td><code>tokenizer(batch_sentences, padding=True, truncation=True)</code> o</td></tr> <tr><td></td> <td></td> <td><code>tokenizer(batch_sentences, padding=True, truncation=ESTRATEGIA)</code></td></tr> <tr><td></td> <td>relleno hasta la longitud máxima del modelo</td> <td><code>tokenizer(batch_sentences, padding=&#39;max_length&#39;, truncation=True)</code> o</td></tr> <tr><td></td> <td></td> <td><code>tokenizer(batch_sentences, padding=&#39;max_length&#39;, truncation=ESTRATEGIA)</code></td></tr> <tr><td></td> <td>relleno hasta una longitud específica</td> <td>No es posible</td></tr> <tr><td>truncamiento hasta una longitud específica</td> <td>sin relleno</td> <td><code>tokenizer(batch_sentences, truncation=True, max_length=42)</code> o</td></tr> <tr><td></td> <td></td> <td><code>tokenizer(batch_sentences, truncation=ESTRATEGIA, max_length=42)</code></td></tr> <tr><td></td> <td>relleno hasta la longitud máxima del lote</td> <td><code>tokenizer(batch_sentences, padding=True, truncation=True, max_length=42)</code> o</td></tr> <tr><td></td> <td></td> <td><code>tokenizer(batch_sentences, padding=True, truncation=ESTRATEGIA, max_length=42)</code></td></tr> <tr><td></td> <td>relleno hasta la longitud máxima del modelo</td> <td>No es posible</td></tr> <tr><td></td> <td>relleno hasta una longitud específica</td> <td><code>tokenizer(batch_sentences, padding=&#39;max_length&#39;, truncation=True, max_length=42)</code> o</td></tr> <tr><td></td> <td></td> <td><code>tokenizer(batch_sentences, padding=&#39;max_length&#39;, truncation=ESTRATEGIA, max_length=42)</code></td></tr></tbody>",w,b,C,v,R;return s=new re({props:{title:"Relleno y truncamiento",local:"relleno-y-truncamiento",headingTag:"h1"}}),b=new ie({props:{source:"https://github.com/huggingface/transformers/blob/main/docs/source/es/pad_truncation.md"}}),{c(){r=l("meta"),y=o(),E=l("p"),L=o(),K(s.$$.fragment),z=o(),u=l("p"),u.innerHTML=G,k=o(),m=l("p"),m.innerHTML=N,H=o(),p=l("p"),p.innerHTML=j,M=o(),g=l("ul"),g.innerHTML=U,A=o(),h=l("p"),h.innerHTML=F,P=o(),_=l("ul"),_.innerHTML=B,$=o(),x=l("p"),x.innerHTML=O,S=o(),f=l("p"),f.innerHTML=D,q=o(),T=l("table"),T.innerHTML=J,w=o(),K(b.$$.fragment),C=o(),v=l("p"),this.h()},l(e){const t=le("svelte-u9bgzb",document.head);r=c(t,"META",{name:!0,content:!0}),t.forEach(n),y=d(e),E=c(e,"P",{}),Q(E).forEach(n),L=d(e),V(s.$$.fragment,e),z=d(e),u=c(e,"P",{"data-svelte-h":!0}),i(u)!=="svelte-9hx8pb"&&(u.innerHTML=G),k=d(e),m=c(e,"P",{"data-svelte-h":!0}),i(m)!=="svelte-ngwi70"&&(m.innerHTML=N),H=d(e),p=c(e,"P",{"data-svelte-h":!0}),i(p)!=="svelte-foyeqf"&&(p.innerHTML=j),M=d(e),g=c(e,"UL",{"data-svelte-h":!0}),i(g)!=="svelte-41rrjh"&&(g.innerHTML=U),A=d(e),h=c(e,"P",{"data-svelte-h":!0}),i(h)!=="svelte-18gv4er"&&(h.innerHTML=F),P=d(e),_=c(e,"UL",{"data-svelte-h":!0}),i(_)!=="svelte-1aqpvyz"&&(_.innerHTML=B),$=d(e),x=c(e,"P",{"data-svelte-h":!0}),i(x)!=="svelte-bue988"&&(x.innerHTML=O),S=d(e),f=c(e,"P",{"data-svelte-h":!0}),i(f)!=="svelte-1aww64m"&&(f.innerHTML=D),q=d(e),T=c(e,"TABLE",{"data-svelte-h":!0}),i(T)!=="svelte-bel3vq"&&(T.innerHTML=J),w=d(e),V(b.$$.fragment,e),C=d(e),v=c(e,"P",{}),Q(v).forEach(n),this.h()},h(){W(r,"name","hf:doc:metadata"),W(r,"content",ue)},m(e,t){ce(document.head,r),a(e,y,t),a(e,E,t),a(e,L,t),X(s,e,t),a(e,z,t),a(e,u,t),a(e,k,t),a(e,m,t),a(e,H,t),a(e,p,t),a(e,M,t),a(e,g,t),a(e,A,t),a(e,h,t),a(e,P,t),a(e,_,t),a(e,$,t),a(e,x,t),a(e,S,t),a(e,f,t),a(e,q,t),a(e,T,t),a(e,w,t),X(b,e,t),a(e,C,t),a(e,v,t),R=!0},p:ne,i(e){R||(Y(s.$$.fragment,e),Y(b.$$.fragment,e),R=!0)},o(e){Z(s.$$.fragment,e),Z(b.$$.fragment,e),R=!1},d(e){e&&(n(y),n(E),n(L),n(z),n(u),n(k),n(m),n(H),n(p),n(M),n(g),n(A),n(h),n(P),n(_),n($),n(x),n(S),n(f),n(q),n(T),n(w),n(C),n(v)),n(r),ee(s,e),ee(b,e)}}}const ue='{"title":"Relleno y truncamiento","local":"relleno-y-truncamiento","sections":[],"depth":1}';function me(I){return ae(()=>{new URLSearchParams(window.location.search).get("fw")}),[]}class _e extends oe{constructor(r){super(),de(this,r,me,se,te,{})}}export{_e as component};

Xet Storage Details

Size:
9.71 kB
·
Xet hash:
8f5362b66320382a8540826e017fb1d9199fd8de642741a9fee10d86cfbb454f

Xet efficiently stores files, intelligently splitting them into unique chunks and accelerating uploads and downloads. More info.