transformers/pr_37155/ja/_app/immutable/nodes/2.6d4eec99.js

import{s as _e,n as Ne,o as Ve}from"../chunks/scheduler.bdbef820.js";import{S as Re,i as xe,g as y,s,r as p,A as Qe,h as o,f as t,c as n,j as ve,u as M,x as w,k as ke,y as Ee,a,v as c,d as r,t as i,w as m}from"../chunks/index.33f81d56.js";import{C as j}from"../chunks/CodeBlock.3bad7fc9.js";import{H as F,E as Fe}from"../chunks/index.474b463a.js";function He($e){let J,z,H,K,T,L,d,Ie='モデルが大きくなるにつれて、限られたハードウェアでより大きなモデルを訓練し、訓練速度を大幅に上昇させるための方法として並列処理が浮上してきました。1台のマシンに複数のGPUがあっても、複数のマシンにまたがる複数のGPUがあっても、あらゆるタイプの分散処理セットアップ上でユーザーが簡単に 🤗 Transformers モデルを訓練できるように、 Hugging Face では <a href="https://huggingface.co/docs/accelerate" rel="nofollow">🤗 Accelerate</a> ライブラリを作成しました。このチュートリアルでは、PyTorch の訓練ループをカスタマイズして、分散処理環境での訓練を可能にする方法について学びます。',P,U,q,f,ue="はじめに 🤗 Accelerate をインストールしましょう:",D,b,O,h,Ce="そしたらインポートして <code>Accelerator</code> オブジェクトを作成しましょう。<code>Accelerator</code> は分散処理セットアップを自動的に検出し、訓練のために必要な全てのコンポーネントを初期化します。モデルをデバイスに明示的に配置する必要はありません。",ee,$,le,I,te,u,Be="次に、関連する全ての訓練オブジェクトを <code>prepare</code> メソッドに渡します。これには、訓練と評価それぞれのDataloader、モデル、optimizer が含まれます:",ae,C,se,B,ne,Z,Ze="最後に訓練ループ内の <code>loss.backward()</code> を 🤗 Accelerate の <code>backward</code> メソッドで置き換えます：",pe,g,Me,A,ge="以下のコードで確認できる通り、訓練ループに4行のコードを追加するだけで分散学習が可能です！",ce,W,re,G,ie,X,Ae="関連するコードを追加したら、スクリプトまたは Colaboratory などのノートブックで訓練を開始します。",me,Y,ye,v,We="スクリプトから訓練をしている場合は、設定ファイルを作成・保存するために以下のコマンドを実行してください:",oe,k,we,_,Ge="そして次のようにして訓練を開始します:",Je,N,je,V,Te,R,Xe="Colaboratory の TPU の利用をお考えの場合、🤗 Accelerate はノートブック上で実行することもできます。訓練に必要な全てのコードを関数に含め、<code>notebook_launcher</code> に渡してください:",de,x,Ue,Q,Ye='🤗 Accelerate と豊富な機能についてもっと知りたい方は<a href="https://huggingface.co/docs/accelerate" rel="nofollow">ドキュメント</a>を参照してください。',fe,E,be,S,he;return T=new F({props:{title:"🤗 Accelerate を用いた分散学習",local:"-accelerate-を用いた分散学習",headingTag:"h1"}}),U=new F({props:{title:"セットアップ",local:"セットアップ",headingTag:"h2"}}),b=new j({props:{code:"cGlwJTIwaW5zdGFsbCUyMGFjY2VsZXJhdGU=",highlighted:"pip install accelerate",wrap:!1}}),$=new j({props:{code:"ZnJvbSUyMGFjY2VsZXJhdGUlMjBpbXBvcnQlMjBBY2NlbGVyYXRvciUwQSUwQWFjY2VsZXJhdG9yJTIwJTNEJTIwQWNjZWxlcmF0b3IoKQ==",highlighted:`<span class="hljs-meta">&gt;&gt;&gt; </span><span class="hljs-keyword">from</span> accelerate <span class="hljs-keyword">import</span> Accelerator

<span class="hljs-meta">&gt;&gt;&gt; </span>accelerator = Accelerator()`,wrap:!1}}),I=new F({props:{title:"Accelerate する準備をしましょう",local:"accelerate-する準備をしましょう",headingTag:"h2"}}),C=new j({props:{code:"dHJhaW5fZGF0YWxvYWRlciUyQyUyMGV2YWxfZGF0YWxvYWRlciUyQyUyMG1vZGVsJTJDJTIwb3B0aW1pemVyJTIwJTNEJTIwYWNjZWxlcmF0b3IucHJlcGFyZSglMEElMjAlMjAlMjAlMjB0cmFpbl9kYXRhbG9hZGVyJTJDJTIwZXZhbF9kYXRhbG9hZGVyJTJDJTIwbW9kZWwlMkMlMjBvcHRpbWl6ZXIlMEEp",highlighted:`<span class="hljs-meta">&gt;&gt;&gt; </span>train_dataloader, eval_dataloader, model, optimizer = accelerator.prepare(
<span class="hljs-meta">... </span>    train_dataloader, eval_dataloader, model, optimizer
<span class="hljs-meta">... </span>)`,wrap:!1}}),B=new F({props:{title:"Backward",local:"backward",headingTag:"h2"}}),g=new j({props:{code:"Zm9yJTIwZXBvY2glMjBpbiUyMHJhbmdlKG51bV9lcG9jaHMpJTNBJTBBJTIwJTIwJTIwJTIwZm9yJTIwYmF0Y2glMjBpbiUyMHRyYWluX2RhdGFsb2FkZXIlM0ElMEElMjAlMjAlMjAlMjAlMjAlMjAlMjAlMjBvdXRwdXRzJTIwJTNEJTIwbW9kZWwoKipiYXRjaCklMEElMjAlMjAlMjAlMjAlMjAlMjAlMjAlMjBsb3NzJTIwJTNEJTIwb3V0cHV0cy5sb3NzJTBBJTIwJTIwJTIwJTIwJTIwJTIwJTIwJTIwYWNjZWxlcmF0b3IuYmFja3dhcmQobG9zcyklMEElMEElMjAlMjAlMjAlMjAlMjAlMjAlMjAlMjBvcHRpbWl6ZXIuc3RlcCgpJTBBJTIwJTIwJTIwJTIwJTIwJTIwJTIwJTIwbHJfc2NoZWR1bGVyLnN0ZXAoKSUwQSUyMCUyMCUyMCUyMCUyMCUyMCUyMCUyMG9wdGltaXplci56ZXJvX2dyYWQoKSUwQSUyMCUyMCUyMCUyMCUyMCUyMCUyMCUyMHByb2dyZXNzX2Jhci51cGRhdGUoMSk=",highlighted:`<span class="hljs-meta">&gt;&gt;&gt; </span><span class="hljs-keyword">for</span> epoch <span class="hljs-keyword">in</span> <span class="hljs-built_in">range</span>(num_epochs):
<span class="hljs-meta">... </span>    <span class="hljs-keyword">for</span> batch <span class="hljs-keyword">in</span> train_dataloader:
<span class="hljs-meta">... </span>        outputs = model(**batch)
<span class="hljs-meta">... </span>        loss = outputs.loss
<span class="hljs-meta">... </span>        accelerator.backward(loss)

<span class="hljs-meta">... </span>        optimizer.step()
<span class="hljs-meta">... </span>        lr_scheduler.step()
<span class="hljs-meta">... </span>        optimizer.zero_grad()
<span class="hljs-meta">... </span>        progress_bar.update(<span class="hljs-number">1</span>)`,wrap:!1}}),W=new j({props:{code:"JTJCJTIwZnJvbSUyMGFjY2VsZXJhdGUlMjBpbXBvcnQlMjBBY2NlbGVyYXRvciUwQSUyMCUyMGZyb20lMjB0cmFuc2Zvcm1lcnMlMjBpbXBvcnQlMjBBZGFtVyUyQyUyMEF1dG9Nb2RlbEZvclNlcXVlbmNlQ2xhc3NpZmljYXRpb24lMkMlMjBnZXRfc2NoZWR1bGVyJTBBJTBBJTJCJTIwYWNjZWxlcmF0b3IlMjAlM0QlMjBBY2NlbGVyYXRvcigpJTBBJTBBJTIwJTIwbW9kZWwlMjAlM0QlMjBBdXRvTW9kZWxGb3JTZXF1ZW5jZUNsYXNzaWZpY2F0aW9uLmZyb21fcHJldHJhaW5lZChjaGVja3BvaW50JTJDJTIwbnVtX2xhYmVscyUzRDIpJTBBJTIwJTIwb3B0aW1pemVyJTIwJTNEJTIwQWRhbVcobW9kZWwucGFyYW1ldGVycygpJTJDJTIwbHIlM0QzZS01KSUwQSUwQS0lMjBkZXZpY2UlMjAlM0QlMjB0b3JjaC5kZXZpY2UoJTIyY3VkYSUyMiklMjBpZiUyMHRvcmNoLmN1ZGEuaXNfYXZhaWxhYmxlKCklMjBlbHNlJTIwdG9yY2guZGV2aWNlKCUyMmNwdSUyMiklMEEtJTIwbW9kZWwudG8oZGV2aWNlKSUwQSUwQSUyQiUyMHRyYWluX2RhdGFsb2FkZXIlMkMlMjBldmFsX2RhdGFsb2FkZXIlMkMlMjBtb2RlbCUyQyUyMG9wdGltaXplciUyMCUzRCUyMGFjY2VsZXJhdG9yLnByZXBhcmUoJTBBJTJCJTIwJTIwJTIwJTIwJTIwdHJhaW5fZGF0YWxvYWRlciUyQyUyMGV2YWxfZGF0YWxvYWRlciUyQyUyMG1vZGVsJTJDJTIwb3B0aW1pemVyJTBBJTJCJTIwKSUwQSUwQSUyMCUyMG51bV9lcG9jaHMlMjAlM0QlMjAzJTBBJTIwJTIwbnVtX3RyYWluaW5nX3N0ZXBzJTIwJTNEJTIwbnVtX2Vwb2NocyUyMColMjBsZW4odHJhaW5fZGF0YWxvYWRlciklMEElMjAlMjBscl9zY2hlZHVsZXIlMjAlM0QlMjBnZXRfc2NoZWR1bGVyKCUwQSUyMCUyMCUyMCUyMCUyMCUyMCUyMmxpbmVhciUyMiUyQyUwQSUyMCUyMCUyMCUyMCUyMCUyMG9wdGltaXplciUzRG9wdGltaXplciUyQyUwQSUyMCUyMCUyMCUyMCUyMCUyMG51bV93YXJtdXBfc3RlcHMlM0QwJTJDJTBBJTIwJTIwJTIwJTIwJTIwJTIwbnVtX3RyYWluaW5nX3N0ZXBzJTNEbnVtX3RyYWluaW5nX3N0ZXBzJTBBJTIwJTIwKSUwQSUwQSUyMCUyMHByb2dyZXNzX2JhciUyMCUzRCUyMHRxZG0ocmFuZ2UobnVtX3RyYWluaW5nX3N0ZXBzKSklMEElMEElMjAlMjBtb2RlbC50cmFpbigpJTBBJTIwJTIwZm9yJTIwZXBvY2glMjBpbiUyMHJhbmdlKG51bV9lcG9jaHMpJTNBJTBBJTIwJTIwJTIwJTIwJTIwJTIwZm9yJTIwYmF0Y2glMjBpbiUyMHRyYWluX2RhdGFsb2FkZXIlM0ElMEEtJTIwJTIwJTIwJTIwJTIwJTIwJTIwJTIwJTIwYmF0Y2glMjAlM0QlMjAlN0JrJTNBJTIwdi50byhkZXZpY2UpJTIwZm9yJTIwayUyQyUyMHYlMjBpbiUyMGJhdGNoLml0ZW1zKCklN0QlMEElMjAlMjAlMjAlMjAlMjAlMjAlMjAlMjAlMjAlMjBvdXRwdXRzJTIwJTNEJTIwbW9kZWwoKipiYXRjaCklMEElMjAlMjAlMjAlMjAlMjAlMjAlMjAlMjAlMjAlMjBsb3NzJTIwJTNEJTIwb3V0cHV0cy5sb3NzJTBBLSUyMCUyMCUyMCUyMCUyMCUyMCUyMCUyMCUyMGxvc3MuYmFja3dhcmQoKSUwQSUyQiUyMCUyMCUyMCUyMCUyMCUyMCUyMCUyMCUyMGFjY2VsZXJhdG9yLmJhY2t3YXJkKGxvc3MpJTBBJTBBJTIwJTIwJTIwJTIwJTIwJTIwJTIwJTIwJTIwJTIwb3B0aW1pemVyLnN0ZXAoKSUwQSUyMCUyMCUyMCUyMCUyMCUyMCUyMCUyMCUyMCUyMGxyX3NjaGVkdWxlci5zdGVwKCklMEElMjAlMjAlMjAlMjAlMjAlMjAlMjAlMjAlMjAlMjBvcHRpbWl6ZXIuemVyb19ncmFkKCklMEElMjAlMjAlMjAlMjAlMjAlMjAlMjAlMjAlMjAlMjBwcm9ncmVzc19iYXIudXBkYXRlKDEp",highlighted:`<span class="hljs-addition">+ from accelerate import Accelerator</span>
  from transformers import AdamW, AutoModelForSequenceClassification, get_scheduler

<span class="hljs-addition">+ accelerator = Accelerator()</span>

  model = AutoModelForSequenceClassification.from_pretrained(checkpoint, num_labels=2)
  optimizer = AdamW(model.parameters(), lr=3e-5)

<span class="hljs-deletion">- device = torch.device(&quot;cuda&quot;) if torch.cuda.is_available() else torch.device(&quot;cpu&quot;)</span>
<span class="hljs-deletion">- model.to(device)</span>

<span class="hljs-addition">+ train_dataloader, eval_dataloader, model, optimizer = accelerator.prepare(</span>
<span class="hljs-addition">+     train_dataloader, eval_dataloader, model, optimizer</span>
<span class="hljs-addition">+ )</span>

  num_epochs = 3
  num_training_steps = num_epochs * len(train_dataloader)
  lr_scheduler = get_scheduler(
      &quot;linear&quot;,
      optimizer=optimizer,
      num_warmup_steps=0,
      num_training_steps=num_training_steps
  )

  progress_bar = tqdm(range(num_training_steps))

  model.train()
  for epoch in range(num_epochs):
      for batch in train_dataloader:
<span class="hljs-deletion">-         batch = {k: v.to(device) for k, v in batch.items()}</span>
          outputs = model(**batch)
          loss = outputs.loss
<span class="hljs-deletion">-         loss.backward()</span>
<span class="hljs-addition">+         accelerator.backward(loss)</span>

          optimizer.step()
          lr_scheduler.step()
          optimizer.zero_grad()
          progress_bar.update(1)`,wrap:!1}}),G=new F({props:{title:"訓練する",local:"訓練する",headingTag:"h2"}}),Y=new F({props:{title:"スクリプトで訓練する",local:"スクリプトで訓練する",headingTag:"h3"}}),k=new j({props:{code:"YWNjZWxlcmF0ZSUyMGNvbmZpZw==",highlighted:"accelerate config",wrap:!1}}),N=new j({props:{code:"YWNjZWxlcmF0ZSUyMGxhdW5jaCUyMHRyYWluLnB5",highlighted:"accelerate launch train.py",wrap:!1}}),V=new F({props:{title:"ノートブックで訓練する",local:"ノートブックで訓練する",headingTag:"h3"}}),x=new j({props:{code:"ZnJvbSUyMGFjY2VsZXJhdGUlMjBpbXBvcnQlMjBub3RlYm9va19sYXVuY2hlciUwQSUwQW5vdGVib29rX2xhdW5jaGVyKHRyYWluaW5nX2Z1bmN0aW9uKQ==",highlighted:`<span class="hljs-meta">&gt;&gt;&gt; </span><span class="hljs-keyword">from</span> accelerate <span class="hljs-keyword">import</span> notebook_launcher

<span class="hljs-meta">&gt;&gt;&gt; </span>notebook_launcher(training_function)`,wrap:!1}}),E=new Fe({props:{source:"https://github.com/huggingface/transformers/blob/main/docs/source/ja/accelerate.md"}}),{c(){J=y("meta"),z=s(),H=y("p"),K=s(),p(T.$$.fragment),L=s(),d=y("p"),d.innerHTML=Ie,P=s(),p(U.$$.fragment),q=s(),f=y("p"),f.textContent=ue,D=s(),p(b.$$.fragment),O=s(),h=y("p"),h.innerHTML=Ce,ee=s(),p($.$$.fragment),le=s(),p(I.$$.fragment),te=s(),u=y("p"),u.innerHTML=Be,ae=s(),p(C.$$.fragment),se=s(),p(B.$$.fragment),ne=s(),Z=y("p"),Z.innerHTML=Ze,pe=s(),p(g.$$.fragment),Me=s(),A=y("p"),A.textContent=ge,ce=s(),p(W.$$.fragment),re=s(),p(G.$$.fragment),ie=s(),X=y("p"),X.textContent=Ae,me=s(),p(Y.$$.fragment),ye=s(),v=y("p"),v.textContent=We,oe=s(),p(k.$$.fragment),we=s(),_=y("p"),_.textContent=Ge,Je=s(),p(N.$$.fragment),je=s(),p(V.$$.fragment),Te=s(),R=y("p"),R.innerHTML=Xe,de=s(),p(x.$$.fragment),Ue=s(),Q=y("p"),Q.innerHTML=Ye,fe=s(),p(E.$$.fragment),be=s(),S=y("p"),this.h()},l(e){const l=Qe("svelte-u9bgzb",document.head);J=o(l,"META",{name:!0,content:!0}),l.forEach(t),z=n(e),H=o(e,"P",{}),ve(H).forEach(t),K=n(e),M(T.$$.fragment,e),L=n(e),d=o(e,"P",{"data-svelte-h":!0}),w(d)!=="svelte-192lut2"&&(d.innerHTML=Ie),P=n(e),M(U.$$.fragment,e),q=n(e),f=o(e,"P",{"data-svelte-h":!0}),w(f)!=="svelte-1fbhxpt"&&(f.textContent=ue),D=n(e),M(b.$$.fragment,e),O=n(e),h=o(e,"P",{"data-svelte-h":!0}),w(h)!=="svelte-1hnqfdf"&&(h.innerHTML=Ce),ee=n(e),M($.$$.fragment,e),le=n(e),M(I.$$.fragment,e),te=n(e),u=o(e,"P",{"data-svelte-h":!0}),w(u)!=="svelte-1d82el5"&&(u.innerHTML=Be),ae=n(e),M(C.$$.fragment,e),se=n(e),M(B.$$.fragment,e),ne=n(e),Z=o(e,"P",{"data-svelte-h":!0}),w(Z)!=="svelte-1mop653"&&(Z.innerHTML=Ze),pe=n(e),M(g.$$.fragment,e),Me=n(e),A=o(e,"P",{"data-svelte-h":!0}),w(A)!=="svelte-16n2ctr"&&(A.textContent=ge),ce=n(e),M(W.$$.fragment,e),re=n(e),M(G.$$.fragment,e),ie=n(e),X=o(e,"P",{"data-svelte-h":!0}),w(X)!=="svelte-brvxr7"&&(X.textContent=Ae),me=n(e),M(Y.$$.fragment,e),ye=n(e),v=o(e,"P",{"data-svelte-h":!0}),w(v)!=="svelte-1qh0nhe"&&(v.textContent=We),oe=n(e),M(k.$$.fragment,e),we=n(e),_=o(e,"P",{"data-svelte-h":!0}),w(_)!=="svelte-jhf118"&&(_.textContent=Ge),Je=n(e),M(N.$$.fragment,e),je=n(e),M(V.$$.fragment,e),Te=n(e),R=o(e,"P",{"data-svelte-h":!0}),w(R)!=="svelte-1yotz52"&&(R.innerHTML=Xe),de=n(e),M(x.$$.fragment,e),Ue=n(e),Q=o(e,"P",{"data-svelte-h":!0}),w(Q)!=="svelte-ucruyz"&&(Q.innerHTML=Ye),fe=n(e),M(E.$$.fragment,e),be=n(e),S=o(e,"P",{}),ve(S).forEach(t),this.h()},h(){ke(J,"name","hf:doc:metadata"),ke(J,"content",Se)},m(e,l){Ee(document.head,J),a(e,z,l),a(e,H,l),a(e,K,l),c(T,e,l),a(e,L,l),a(e,d,l),a(e,P,l),c(U,e,l),a(e,q,l),a(e,f,l),a(e,D,l),c(b,e,l),a(e,O,l),a(e,h,l),a(e,ee,l),c($,e,l),a(e,le,l),c(I,e,l),a(e,te,l),a(e,u,l),a(e,ae,l),c(C,e,l),a(e,se,l),c(B,e,l),a(e,ne,l),a(e,Z,l),a(e,pe,l),c(g,e,l),a(e,Me,l),a(e,A,l),a(e,ce,l),c(W,e,l),a(e,re,l),c(G,e,l),a(e,ie,l),a(e,X,l),a(e,me,l),c(Y,e,l),a(e,ye,l),a(e,v,l),a(e,oe,l),c(k,e,l),a(e,we,l),a(e,_,l),a(e,Je,l),c(N,e,l),a(e,je,l),c(V,e,l),a(e,Te,l),a(e,R,l),a(e,de,l),c(x,e,l),a(e,Ue,l),a(e,Q,l),a(e,fe,l),c(E,e,l),a(e,be,l),a(e,S,l),he=!0},p:Ne,i(e){he||(r(T.$$.fragment,e),r(U.$$.fragment,e),r(b.$$.fragment,e),r($.$$.fragment,e),r(I.$$.fragment,e),r(C.$$.fragment,e),r(B.$$.fragment,e),r(g.$$.fragment,e),r(W.$$.fragment,e),r(G.$$.fragment,e),r(Y.$$.fragment,e),r(k.$$.fragment,e),r(N.$$.fragment,e),r(V.$$.fragment,e),r(x.$$.fragment,e),r(E.$$.fragment,e),he=!0)},o(e){i(T.$$.fragment,e),i(U.$$.fragment,e),i(b.$$.fragment,e),i($.$$.fragment,e),i(I.$$.fragment,e),i(C.$$.fragment,e),i(B.$$.fragment,e),i(g.$$.fragment,e),i(W.$$.fragment,e),i(G.$$.fragment,e),i(Y.$$.fragment,e),i(k.$$.fragment,e),i(N.$$.fragment,e),i(V.$$.fragment,e),i(x.$$.fragment,e),i(E.$$.fragment,e),he=!1},d(e){e&&(t(z),t(H),t(K),t(L),t(d),t(P),t(q),t(f),t(D),t(O),t(h),t(ee),t(le),t(te),t(u),t(ae),t(se),t(ne),t(Z),t(pe),t(Me),t(A),t(ce),t(re),t(ie),t(X),t(me),t(ye),t(v),t(oe),t(we),t(_),t(Je),t(je),t(Te),t(R),t(de),t(Ue),t(Q),t(fe),t(be),t(S)),t(J),m(T,e),m(U,e),m(b,e),m($,e),m(I,e),m(C,e),m(B,e),m(g,e),m(W,e),m(G,e),m(Y,e),m(k,e),m(N,e),m(V,e),m(x,e),m(E,e)}}}const Se='{"title":"🤗 Accelerate を用いた分散学習","local":"-accelerate-を用いた分散学習","sections":[{"title":"セットアップ","local":"セットアップ","sections":[],"depth":2},{"title":"Accelerate する準備をしましょう","local":"accelerate-する準備をしましょう","sections":[],"depth":2},{"title":"Backward","local":"backward","sections":[],"depth":2},{"title":"訓練する","local":"訓練する","sections":[{"title":"スクリプトで訓練する","local":"スクリプトで訓練する","sections":[],"depth":3},{"title":"ノートブックで訓練する","local":"ノートブックで訓練する","sections":[],"depth":3}],"depth":2}],"depth":1}';function ze($e){return Ve(()=>{new URLSearchParams(window.location.search).get("fw")}),[]}class De extends Re{constructor(J){super(),xe(this,J,ze,He,_e,{})}}export{De as component};