transformers/main/ko/_app/immutable/nodes/44.0ef89684.js

import{s as se,o as re,n as ue}from"../chunks/scheduler.9bc65507.js";import{S as Pe,i as _e,g as f,s as i,r as s,A as ge,h as $,f as l,c as p,j as ae,u as r,x as a,k as me,y as ve,a as n,v as u,d as P,t as _,w as g}from"../chunks/index.707bf1b6.js";import{T as Ce}from"../chunks/Tip.c2ecdbf4.js";import{H as v,E as xe}from"../chunks/EditOnGithub.922df6ba.js";function Te(nt){let m,T="참고: 단일 GPU 섹션에서 소개된 대부분의 전략(예: 혼합 정밀도 훈련 또는 그라디언트 누적)은 일반적인 모델 훈련에도 적용되므로, 다중 GPU나 CPU 훈련과 같은 섹션을 살펴보기 전에 꼭 참고하시길 바랍니다.";return{c(){m=f("p"),m.textContent=T},l(C){m=$(C,"P",{"data-svelte-h":!0}),a(m)!=="svelte-mjj3lk"&&(m.textContent=T)},m(C,et){n(C,m,et)},p:ue,d(C){C&&l(m)}}}function Ue(nt){let m,T,C,et,U,it,h,It="점점 더 큰 규모의 트랜스포머 모델을 훈련하고 프로덕션에 배포하는 데에는 다양한 어려움이 따릅니다. 훈련 중에는 모델이 사용 가능한 GPU 메모리보다 더 많은 메모리를 필요로 하거나 훈련 속도가 매우 느릴 수 있으며, 추론을 위해 배포할 때는 제품 환경에서 요구되는 처리량으로 인해 과부하가 발생할 수 있습니다. 이 문서는 이러한 문제를 극복하고 사용 사례에 가장 적합한 설정을 찾도록 도움을 주기 위해 설계되었습니다. 훈련과 추론으로 가이드를 분할했는데, 이는 각각 다른 문제와 해결 방법이 있기 때문입니다. 그리고 각 가이드에는 다양한 종류의 하드웨어 설정에 대한 별도의 가이드가 있습니다(예: 훈련을 위한 단일 GPU vs 다중 GPU 또는 추론을 위한 CPU vs GPU).",pt,w,Ot='<img src="https://huggingface.co/datasets/huggingface/documentation-images/resolve/main/perf_overview.png" alt="perf_overview"/>',ft,G,Dt="이 문서는 사용자의 상황에 유용할 수 있는 방법들에 대한 개요 및 시작점 역할을 합니다.",$t,H,at,M,Ft="효율적인 트랜스포머 모델 훈련에는 GPU나 TPU와 같은 가속기가 필요합니다. 가장 일반적인 경우는 단일 GPU만 사용하는 경우지만, 다중 GPU 및 CPU 훈련에 대한 섹션도 있습니다(곧 더 많은 내용이 추가될 예정).",mt,x,st,L,rt,d,Jt="단일 GPU에서 대규모 모델을 훈련하는 것은 어려울 수 있지만, 이를 가능하게 하는 여러 가지 도구와 방법이 있습니다. 이 섹션에서는 혼합 정밀도 훈련, 그라디언트 누적 및 체크포인팅, 효율적인 옵티마이저, 최적의 배치 크기를 결정하기 위한 전략 등에 대해 논의합니다.",ut,b,Kt='<a href="perf_train_gpu_one">단일 GPU 훈련 섹션으로 이동</a>',Pt,y,_t,k,Nt="단일 GPU에서 훈련하는 것이 너무 느리거나 대규모 모델에 적합하지 않은 경우도 있습니다. 다중 GPU 설정으로 전환하는 것은 논리적인 단계이지만, 여러 GPU에서 한 번에 훈련하려면 각 GPU마다 모델의 전체 사본을 둘지, 혹은 모델 자체도 여러 GPU에 분산하여 둘지 등 새로운 결정을 내려야 합니다. 이 섹션에서는 데이터, 텐서 및 파이프라인 병렬화에 대해 살펴봅니다.",gt,z,Qt='<a href="perf_train_gpu_many">다중 GPU 훈련 섹션으로 이동</a>',vt,q,Ct,E,Vt='<a href="perf_train_cpu">CPU 훈련 섹션으로 이동</a>',xt,j,Tt,o,Wt='<a href="perf_train_tpu"><em>곧 제공될 예정</em></a>',Ut,c,ht,A,Xt='<a href="perf_train_special"><em>곧 제공될 예정</em></a>',wt,S,Gt,R,Yt="제품 및 서비스 환경에서 대규모 모델을 효율적으로 추론하는 것은 모델을 훈련하는 것만큼 어려울 수 있습니다. 이어지는 섹션에서는 CPU 및 단일/다중 GPU 설정에서 추론을 진행하는 단계를 살펴봅니다.",Ht,B,Mt,I,Zt='<a href="perf_infer_cpu">CPU 추론 섹션으로 이동</a>',Lt,O,dt,D,te='<a href="perf_infer_gpu_one">단일 GPU 추론 섹션으로 이동</a>',bt,F,yt,J,ee='<a href="perf_infer_gpu_many">다중 GPU 추론 섹션으로 이동</a>',kt,K,zt,N,le='<a href="perf_infer_special"><em>곧 제공될 예정</em></a>',qt,Q,Et,V,ne="하드웨어 섹션에서는 자신만의 딥러닝 장비를 구축할 때 유용한 팁과 요령을 살펴볼 수 있습니다.",jt,W,ie='<a href="perf_hardware">하드웨어 섹션으로 이동</a>',ot,X,ct,Y,pe="이 문서는 완성되지 않은 상태이며, 추가해야 할 내용이나 수정 사항이 많이 있습니다. 따라서 추가하거나 수정할 내용이 있으면 주저하지 말고 PR을 열어 주시거나, 자세한 내용을 논의하기 위해 Issue를 시작해 주시기 바랍니다.",At,Z,fe="A가 B보다 좋다고 하는 기여를 할 때는, 재현 가능한 벤치마크와/또는 해당 정보의 출처 링크를 포함해주세요(당신으로부터의 직접적인 정보가 아닌 경우).",St,tt,Rt,lt,Bt;return U=new v({props:{title:"성능 및 확장성",local:"performance-and-scalability",headingTag:"h1"}}),H=new v({props:{title:"훈련",local:"training",headingTag:"h2"}}),x=new Ce({props:{$$slots:{default:[Te]},$$scope:{ctx:nt}}}),L=new v({props:{title:"단일 GPU",local:"single-gpu",headingTag:"h3"}}),y=new v({props:{title:"다중 GPU",local:"multigpu",headingTag:"h3"}}),q=new v({props:{title:"CPU",local:"cpu",headingTag:"h3"}}),j=new v({props:{title:"TPU",local:"tpu",headingTag:"h3"}}),c=new v({props:{title:"특수한 하드웨어",local:"specialized-hardware",headingTag:"h3"}}),S=new v({props:{title:"추론",local:"inference",headingTag:"h2"}}),B=new v({props:{title:"CPU",local:"cpu",headingTag:"h3"}}),O=new v({props:{title:"단일 GPU",local:"single-gpu",headingTag:"h3"}}),F=new v({props:{title:"다중 GPU",local:"multigpu",headingTag:"h3"}}),K=new v({props:{title:"특수한 하드웨어",local:"specialized-hardware",headingTag:"h3"}}),Q=new v({props:{title:"하드웨어",local:"hardware",headingTag:"h2"}}),X=new v({props:{title:"기여하기",local:"contribute",headingTag:"h2"}}),tt=new xe({props:{source:"https://github.com/huggingface/transformers/blob/main/docs/source/ko/performance.md"}}),{c(){m=f("meta"),T=i(),C=f("p"),et=i(),s(U.$$.fragment),it=i(),h=f("p"),h.textContent=It,pt=i(),w=f("p"),w.innerHTML=Ot,ft=i(),G=f("p"),G.textContent=Dt,$t=i(),s(H.$$.fragment),at=i(),M=f("p"),M.textContent=Ft,mt=i(),s(x.$$.fragment),st=i(),s(L.$$.fragment),rt=i(),d=f("p"),d.textContent=Jt,ut=i(),b=f("p"),b.innerHTML=Kt,Pt=i(),s(y.$$.fragment),_t=i(),k=f("p"),k.textContent=Nt,gt=i(),z=f("p"),z.innerHTML=Qt,vt=i(),s(q.$$.fragment),Ct=i(),E=f("p"),E.innerHTML=Vt,xt=i(),s(j.$$.fragment),Tt=i(),o=f("p"),o.innerHTML=Wt,Ut=i(),s(c.$$.fragment),ht=i(),A=f("p"),A.innerHTML=Xt,wt=i(),s(S.$$.fragment),Gt=i(),R=f("p"),R.textContent=Yt,Ht=i(),s(B.$$.fragment),Mt=i(),I=f("p"),I.innerHTML=Zt,Lt=i(),s(O.$$.fragment),dt=i(),D=f("p"),D.innerHTML=te,bt=i(),s(F.$$.fragment),yt=i(),J=f("p"),J.innerHTML=ee,kt=i(),s(K.$$.fragment),zt=i(),N=f("p"),N.innerHTML=le,qt=i(),s(Q.$$.fragment),Et=i(),V=f("p"),V.textContent=ne,jt=i(),W=f("p"),W.innerHTML=ie,ot=i(),s(X.$$.fragment),ct=i(),Y=f("p"),Y.textContent=pe,At=i(),Z=f("p"),Z.textContent=fe,St=i(),s(tt.$$.fragment),Rt=i(),lt=f("p"),this.h()},l(t){const e=ge("svelte-u9bgzb",document.head);m=$(e,"META",{name:!0,content:!0}),e.forEach(l),T=p(t),C=$(t,"P",{}),ae(C).forEach(l),et=p(t),r(U.$$.fragment,t),it=p(t),h=$(t,"P",{"data-svelte-h":!0}),a(h)!=="svelte-sb8yqw"&&(h.textContent=It),pt=p(t),w=$(t,"P",{"data-svelte-h":!0}),a(w)!=="svelte-17bo151"&&(w.innerHTML=Ot),ft=p(t),G=$(t,"P",{"data-svelte-h":!0}),a(G)!=="svelte-1w6ji1k"&&(G.textContent=Dt),$t=p(t),r(H.$$.fragment,t),at=p(t),M=$(t,"P",{"data-svelte-h":!0}),a(M)!=="svelte-13dcjwc"&&(M.textContent=Ft),mt=p(t),r(x.$$.fragment,t),st=p(t),r(L.$$.fragment,t),rt=p(t),d=$(t,"P",{"data-svelte-h":!0}),a(d)!=="svelte-squ60c"&&(d.textContent=Jt),ut=p(t),b=$(t,"P",{"data-svelte-h":!0}),a(b)!=="svelte-mk40ub"&&(b.innerHTML=Kt),Pt=p(t),r(y.$$.fragment,t),_t=p(t),k=$(t,"P",{"data-svelte-h":!0}),a(k)!=="svelte-3vygw4"&&(k.textContent=Nt),gt=p(t),z=$(t,"P",{"data-svelte-h":!0}),a(z)!=="svelte-1acr0fn"&&(z.innerHTML=Qt),vt=p(t),r(q.$$.fragment,t),Ct=p(t),E=$(t,"P",{"data-svelte-h":!0}),a(E)!=="svelte-ooazkw"&&(E.innerHTML=Vt),xt=p(t),r(j.$$.fragment,t),Tt=p(t),o=$(t,"P",{"data-svelte-h":!0}),a(o)!=="svelte-12vffqp"&&(o.innerHTML=Wt),Ut=p(t),r(c.$$.fragment,t),ht=p(t),A=$(t,"P",{"data-svelte-h":!0}),a(A)!=="svelte-1lhltgt"&&(A.innerHTML=Xt),wt=p(t),r(S.$$.fragment,t),Gt=p(t),R=$(t,"P",{"data-svelte-h":!0}),a(R)!=="svelte-yyz8m1"&&(R.textContent=Yt),Ht=p(t),r(B.$$.fragment,t),Mt=p(t),I=$(t,"P",{"data-svelte-h":!0}),a(I)!=="svelte-dnlkka"&&(I.innerHTML=Zt),Lt=p(t),r(O.$$.fragment,t),dt=p(t),D=$(t,"P",{"data-svelte-h":!0}),a(D)!=="svelte-13dqsbh"&&(D.innerHTML=te),bt=p(t),r(F.$$.fragment,t),yt=p(t),J=$(t,"P",{"data-svelte-h":!0}),a(J)!=="svelte-1a47mal"&&(J.innerHTML=ee),kt=p(t),r(K.$$.fragment,t),zt=p(t),N=$(t,"P",{"data-svelte-h":!0}),a(N)!=="svelte-70i60f"&&(N.innerHTML=le),qt=p(t),r(Q.$$.fragment,t),Et=p(t),V=$(t,"P",{"data-svelte-h":!0}),a(V)!=="svelte-1fnvspr"&&(V.textContent=ne),jt=p(t),W=$(t,"P",{"data-svelte-h":!0}),a(W)!=="svelte-et21kl"&&(W.innerHTML=ie),ot=p(t),r(X.$$.fragment,t),ct=p(t),Y=$(t,"P",{"data-svelte-h":!0}),a(Y)!=="svelte-pyvqc2"&&(Y.textContent=pe),At=p(t),Z=$(t,"P",{"data-svelte-h":!0}),a(Z)!=="svelte-1nalh54"&&(Z.textContent=fe),St=p(t),r(tt.$$.fragment,t),Rt=p(t),lt=$(t,"P",{}),ae(lt).forEach(l),this.h()},h(){me(m,"name","hf:doc:metadata"),me(m,"content",he)},m(t,e){ve(document.head,m),n(t,T,e),n(t,C,e),n(t,et,e),u(U,t,e),n(t,it,e),n(t,h,e),n(t,pt,e),n(t,w,e),n(t,ft,e),n(t,G,e),n(t,$t,e),u(H,t,e),n(t,at,e),n(t,M,e),n(t,mt,e),u(x,t,e),n(t,st,e),u(L,t,e),n(t,rt,e),n(t,d,e),n(t,ut,e),n(t,b,e),n(t,Pt,e),u(y,t,e),n(t,_t,e),n(t,k,e),n(t,gt,e),n(t,z,e),n(t,vt,e),u(q,t,e),n(t,Ct,e),n(t,E,e),n(t,xt,e),u(j,t,e),n(t,Tt,e),n(t,o,e),n(t,Ut,e),u(c,t,e),n(t,ht,e),n(t,A,e),n(t,wt,e),u(S,t,e),n(t,Gt,e),n(t,R,e),n(t,Ht,e),u(B,t,e),n(t,Mt,e),n(t,I,e),n(t,Lt,e),u(O,t,e),n(t,dt,e),n(t,D,e),n(t,bt,e),u(F,t,e),n(t,yt,e),n(t,J,e),n(t,kt,e),u(K,t,e),n(t,zt,e),n(t,N,e),n(t,qt,e),u(Q,t,e),n(t,Et,e),n(t,V,e),n(t,jt,e),n(t,W,e),n(t,ot,e),u(X,t,e),n(t,ct,e),n(t,Y,e),n(t,At,e),n(t,Z,e),n(t,St,e),u(tt,t,e),n(t,Rt,e),n(t,lt,e),Bt=!0},p(t,[e]){const $e={};e&2&&($e.$$scope={dirty:e,ctx:t}),x.$set($e)},i(t){Bt||(P(U.$$.fragment,t),P(H.$$.fragment,t),P(x.$$.fragment,t),P(L.$$.fragment,t),P(y.$$.fragment,t),P(q.$$.fragment,t),P(j.$$.fragment,t),P(c.$$.fragment,t),P(S.$$.fragment,t),P(B.$$.fragment,t),P(O.$$.fragment,t),P(F.$$.fragment,t),P(K.$$.fragment,t),P(Q.$$.fragment,t),P(X.$$.fragment,t),P(tt.$$.fragment,t),Bt=!0)},o(t){_(U.$$.fragment,t),_(H.$$.fragment,t),_(x.$$.fragment,t),_(L.$$.fragment,t),_(y.$$.fragment,t),_(q.$$.fragment,t),_(j.$$.fragment,t),_(c.$$.fragment,t),_(S.$$.fragment,t),_(B.$$.fragment,t),_(O.$$.fragment,t),_(F.$$.fragment,t),_(K.$$.fragment,t),_(Q.$$.fragment,t),_(X.$$.fragment,t),_(tt.$$.fragment,t),Bt=!1},d(t){t&&(l(T),l(C),l(et),l(it),l(h),l(pt),l(w),l(ft),l(G),l($t),l(at),l(M),l(mt),l(st),l(rt),l(d),l(ut),l(b),l(Pt),l(_t),l(k),l(gt),l(z),l(vt),l(Ct),l(E),l(xt),l(Tt),l(o),l(Ut),l(ht),l(A),l(wt),l(Gt),l(R),l(Ht),l(Mt),l(I),l(Lt),l(dt),l(D),l(bt),l(yt),l(J),l(kt),l(zt),l(N),l(qt),l(Et),l(V),l(jt),l(W),l(ot),l(ct),l(Y),l(At),l(Z),l(St),l(Rt),l(lt)),l(m),g(U,t),g(H,t),g(x,t),g(L,t),g(y,t),g(q,t),g(j,t),g(c,t),g(S,t),g(B,t),g(O,t),g(F,t),g(K,t),g(Q,t),g(X,t),g(tt,t)}}}const he='{"title":"성능 및 확장성","local":"performance-and-scalability","sections":[{"title":"훈련","local":"training","sections":[{"title":"단일 GPU","local":"single-gpu","sections":[],"depth":3},{"title":"다중 GPU","local":"multigpu","sections":[],"depth":3},{"title":"CPU","local":"cpu","sections":[],"depth":3},{"title":"TPU","local":"tpu","sections":[],"depth":3},{"title":"특수한 하드웨어","local":"specialized-hardware","sections":[],"depth":3}],"depth":2},{"title":"추론","local":"inference","sections":[{"title":"CPU","local":"cpu","sections":[],"depth":3},{"title":"단일 GPU","local":"single-gpu","sections":[],"depth":3},{"title":"다중 GPU","local":"multigpu","sections":[],"depth":3},{"title":"특수한 하드웨어","local":"specialized-hardware","sections":[],"depth":3}],"depth":2},{"title":"하드웨어","local":"hardware","sections":[],"depth":2},{"title":"기여하기","local":"contribute","sections":[],"depth":2}],"depth":1}';function we(nt){return re(()=>{new URLSearchParams(window.location.search).get("fw")}),[]}class de extends Pe{constructor(m){super(),_e(this,m,we,Ue,se,{})}}export{de as component};