transformers/main/ko/_app/immutable/nodes/35.b2e4c7e3.js

import{s as et,n as dt,o as nt}from"../chunks/scheduler.9bc65507.js";import{S as ot,i as ct,g as a,s as o,r as J,A as at,h as i,f as d,c,j as K,u as Q,x as l,k as V,y as it,a as n,v as W,d as X,t as Z,w as tt}from"../chunks/index.707bf1b6.js";import{H as rt,E as lt}from"../chunks/EditOnGithub.922df6ba.js";function st(Y){let r,L,v,z,s,H,_,q="배치 입력은 길이가 다른 경우가 많아서 고정 크기 텐서로 변환할 수 없습니다. 패딩과 잘라내기는 다양한 길이의 배치에서 직사각형 텐서를 생성할 수 있도록 이 문제를 해결하는 전략입니다. 패딩은 특수한 <strong>패딩 토큰</strong>을 추가하여 짧은 시퀀스가 배치에서 가장 긴 시퀀스 또는 모델에서 허용하는 최대 길이와 동일한 길이를 갖도록 합니다. 잘라내기는 긴 시퀀스를 잘라내어 패딩과 다른 방식으로 시퀀스의 길이를 동일하게 합니다.",M,u,N="대부분의 경우 배치에 가장 긴 시퀀스의 길이로 패딩하고 모델이 허용할 수 있는 최대 길이로 잘라내는 것이 잘 작동합니다. 그러나 필요하다면 API가 지원하는 더 많은 전략을 사용할 수 있습니다. 필요한 인수는 <code>padding</code>, <code>truncation</code>, <code>max_length</code> 세 가지입니다.",$,m,U="<code>padding</code> 인수는 패딩을 제어합니다. 불리언 또는 문자열일 수 있습니다:",E,h,j="<li><code>True</code> 또는 <code>&#39;longest&#39;</code>: 배치에서 가장 긴 시퀀스로 패딩합니다(단일 시퀀스만 제공하는 경우 패딩이 적용되지 않습니다).</li> <li><code>&#39;max_length&#39;</code>: <code>max_length</code> 인수가 지정한 길이로 패딩하거나, <code>max_length</code>가 제공되지 않은 경우(<code>max_length=None</code>) 모델에서 허용되는 최대 길이로 패딩합니다. 단일 시퀀스만 제공하는 경우에도 패딩이 적용됩니다.</li> <li><code>False</code> 또는 <code>&#39;do_not_pad&#39;</code>: 패딩이 적용되지 않습니다. 이것이 기본 동작입니다.</li>",w,p,F="<code>truncation</code> 인수는 잘라낼 방법을 정합니다. 불리언 또는 문자열일 수 있습니다:",y,g,B=`<li><code>True</code> 또는 <code>longest_first</code>: <code>max_length</code> 인수가 지정한 최대 길이로 잘라내거나,
<code>max_length</code>가 제공되지 않은 경우(<code>max_length=None</code>) 모델에서 허용되는 최대 길이로 잘라냅니다.
시퀀스 쌍에서 가장 긴 시퀀스의 토큰을 적절한 길이에 도달할 때까지 하나씩 제거합니다.</li> <li><code>&#39;only_second&#39;</code>: <code>max_length</code> 인수가 지정한 최대 길이로 잘라내거나,
<code>max_length</code>가 제공되지 않은 경우(<code>max_length=None</code>) 모델에서 허용되는 최대 길이로 잘라냅니다.
시퀀스 쌍(또는 시퀀스 쌍의 배치)가 제공된 경우 쌍의 두 번째 문장만 잘라냅니다.</li> <li><code>&#39;only_first&#39;</code>: <code>max_length</code> 인수가 지정한 최대 길이로 잘라내거나,
<code>max_length</code>가 제공되지 않은 경우(<code>max_length=None</code>) 모델에서 허용되는 최대 길이로 잘라냅니다.
시퀀스 쌍(또는 시퀀스 쌍의 배치)가 제공된 경우 쌍의 첫 번째 문장만 잘라냅니다.</li> <li><code>False</code> 또는 <code>&#39;do_not_truncate&#39;</code>: 잘라내기를 적용하지 않습니다. 이것이 기본 동작입니다.</li>`,P,T,I="<code>max_length</code> 인수는 패딩 및 잘라내기를 적용할 길이를 제어합니다. 이 인수는 정수 또는 <code>None</code>일 수 있으며, <code>None</code>일 경우 모델이 허용할 수 있는 최대 길이로 기본값이 설정됩니다. 모델에 특정한 최대 입력 길이가 없는 경우 <code>max_length</code>에 대한 잘라내기 또는 패딩이 비활성화됩니다.",A,x,O=`다음 표에는 패딩 및 잘라내기를 설정하는 권장 방법이 요약되어 있습니다.
입력으로 시퀀스 쌍을 사용하는 경우, 다음 예제에서 <code>truncation=True</code>를 <code>[&#39;only_first&#39;, &#39;only_second&#39;, &#39;longest_first&#39;]</code>에서 선택한 <code>STRATEGY</code>, 즉 <code>truncation=&#39;only_second&#39;</code> 또는 <code>truncation=&#39;longest_first&#39;</code>로 바꾸면 앞서 설명한 대로 쌍의 두 시퀀스가 잘리는 방식을 제어할 수 있습니다.`,C,f,D="<thead><tr><th>잘라내기</th> <th>패딩</th> <th>사용 방법</th></tr></thead> <tbody><tr><td>잘라내기 없음</td> <td>패딩 없음</td> <td><code>tokenizer(batch_sentences)</code></td></tr> <tr><td></td> <td>배치 내 최대 길이로 패딩</td> <td><code>tokenizer(batch_sentences, padding=True)</code> 또는</td></tr> <tr><td></td> <td></td> <td><code>tokenizer(batch_sentences, padding=&#39;longest&#39;)</code></td></tr> <tr><td></td> <td>모델의 최대 입력 길이로 패딩</td> <td><code>tokenizer(batch_sentences, padding=&#39;max_length&#39;)</code></td></tr> <tr><td></td> <td>특정 길이로 패딩</td> <td><code>tokenizer(batch_sentences, padding=&#39;max_length&#39;, max_length=42)</code></td></tr> <tr><td></td> <td>다양한 길이로 패딩</td> <td><code>tokenizer(batch_sentences, padding=True, pad_to_multiple_of=8)</code></td></tr> <tr><td>모델의 최대 입력 길이로 잘라내기</td> <td>패딩 없음</td> <td><code>tokenizer(batch_sentences, truncation=True)</code> 또는</td></tr> <tr><td></td> <td></td> <td><code>tokenizer(batch_sentences, truncation=STRATEGY)</code></td></tr> <tr><td></td> <td>배치 내 최대 길이로 패딩</td> <td><code>tokenizer(batch_sentences, padding=True, truncation=True)</code> 또는</td></tr> <tr><td></td> <td></td> <td><code>tokenizer(batch_sentences, padding=True, truncation=STRATEGY)</code></td></tr> <tr><td></td> <td>모델의 최대 입력 길이로 패딩</td> <td><code>tokenizer(batch_sentences, padding=&#39;max_length&#39;, truncation=True)</code> 또는</td></tr> <tr><td></td> <td></td> <td><code>tokenizer(batch_sentences, padding=&#39;max_length&#39;, truncation=STRATEGY)</code></td></tr> <tr><td></td> <td>특정 길이로 패딩</td> <td>사용 불가</td></tr> <tr><td>특정 길이로 잘라내기</td> <td>패딩 없음</td> <td><code>tokenizer(batch_sentences, truncation=True, max_length=42)</code> 또는</td></tr> <tr><td></td> <td></td> <td><code>tokenizer(batch_sentences, truncation=STRATEGY, max_length=42)</code></td></tr> <tr><td></td> <td>배치 내 최대 길이로 패딩</td> <td><code>tokenizer(batch_sentences, padding=True, truncation=True, max_length=42)</code> 또는</td></tr> <tr><td></td> <td></td> <td><code>tokenizer(batch_sentences, padding=True, truncation=STRATEGY, max_length=42)</code></td></tr> <tr><td></td> <td>모델의 최대 입력 길이로 패딩</td> <td>사용 불가</td></tr> <tr><td></td> <td>특정 길이로 패딩</td> <td><code>tokenizer(batch_sentences, padding=&#39;max_length&#39;, truncation=True, max_length=42)</code> 또는</td></tr> <tr><td></td> <td></td> <td><code>tokenizer(batch_sentences, padding=&#39;max_length&#39;, truncation=STRATEGY, max_length=42)</code></td></tr></tbody>",S,b,G,k,R;return s=new rt({props:{title:"패딩과 잘라내기",local:"padding-and-truncation",headingTag:"h1"}}),b=new lt({props:{source:"https://github.com/huggingface/transformers/blob/main/docs/source/ko/pad_truncation.md"}}),{c(){r=a("meta"),L=o(),v=a("p"),z=o(),J(s.$$.fragment),H=o(),_=a("p"),_.innerHTML=q,M=o(),u=a("p"),u.innerHTML=N,$=o(),m=a("p"),m.innerHTML=U,E=o(),h=a("ul"),h.innerHTML=j,w=o(),p=a("p"),p.innerHTML=F,y=o(),g=a("ul"),g.innerHTML=B,P=o(),T=a("p"),T.innerHTML=I,A=o(),x=a("p"),x.innerHTML=O,C=o(),f=a("table"),f.innerHTML=D,S=o(),J(b.$$.fragment),G=o(),k=a("p"),this.h()},l(t){const e=at("svelte-u9bgzb",document.head);r=i(e,"META",{name:!0,content:!0}),e.forEach(d),L=c(t),v=i(t,"P",{}),K(v).forEach(d),z=c(t),Q(s.$$.fragment,t),H=c(t),_=i(t,"P",{"data-svelte-h":!0}),l(_)!=="svelte-1kgkqqg"&&(_.innerHTML=q),M=c(t),u=i(t,"P",{"data-svelte-h":!0}),l(u)!=="svelte-1y0dvow"&&(u.innerHTML=N),$=c(t),m=i(t,"P",{"data-svelte-h":!0}),l(m)!=="svelte-w9e6b"&&(m.innerHTML=U),E=c(t),h=i(t,"UL",{"data-svelte-h":!0}),l(h)!=="svelte-1itic58"&&(h.innerHTML=j),w=c(t),p=i(t,"P",{"data-svelte-h":!0}),l(p)!=="svelte-1qg04jt"&&(p.innerHTML=F),y=c(t),g=i(t,"UL",{"data-svelte-h":!0}),l(g)!=="svelte-wz5ar8"&&(g.innerHTML=B),P=c(t),T=i(t,"P",{"data-svelte-h":!0}),l(T)!=="svelte-1qbqwzu"&&(T.innerHTML=I),A=c(t),x=i(t,"P",{"data-svelte-h":!0}),l(x)!=="svelte-5p7u51"&&(x.innerHTML=O),C=c(t),f=i(t,"TABLE",{"data-svelte-h":!0}),l(f)!=="svelte-1ydxww1"&&(f.innerHTML=D),S=c(t),Q(b.$$.fragment,t),G=c(t),k=i(t,"P",{}),K(k).forEach(d),this.h()},h(){V(r,"name","hf:doc:metadata"),V(r,"content",_t)},m(t,e){it(document.head,r),n(t,L,e),n(t,v,e),n(t,z,e),W(s,t,e),n(t,H,e),n(t,_,e),n(t,M,e),n(t,u,e),n(t,$,e),n(t,m,e),n(t,E,e),n(t,h,e),n(t,w,e),n(t,p,e),n(t,y,e),n(t,g,e),n(t,P,e),n(t,T,e),n(t,A,e),n(t,x,e),n(t,C,e),n(t,f,e),n(t,S,e),W(b,t,e),n(t,G,e),n(t,k,e),R=!0},p:dt,i(t){R||(X(s.$$.fragment,t),X(b.$$.fragment,t),R=!0)},o(t){Z(s.$$.fragment,t),Z(b.$$.fragment,t),R=!1},d(t){t&&(d(L),d(v),d(z),d(H),d(_),d(M),d(u),d($),d(m),d(E),d(h),d(w),d(p),d(y),d(g),d(P),d(T),d(A),d(x),d(C),d(f),d(S),d(G),d(k)),d(r),tt(s,t),tt(b,t)}}}const _t='{"title":"패딩과 잘라내기","local":"padding-and-truncation","sections":[],"depth":1}';function ut(Y){return nt(()=>{new URLSearchParams(window.location.search).get("fw")}),[]}class gt extends ot{constructor(r){super(),ct(this,r,ut,st,et,{})}}export{gt as component};