Buckets:
| import{s as gl,o as jl,n as Le}from"../chunks/scheduler.bdbef820.js";import{S as bl,i as $l,g as p,s as r,r as w,A as Cl,h as o,f as l,c as s,j as Be,u as J,x as c,k as Ul,y as Fe,a,v as y,d as T,t as d,w as h}from"../chunks/index.33f81d56.js";import{C as _}from"../chunks/CodeBlock.362b34a4.js";import{F as _l,M as Ve}from"../chunks/Markdown.8a4b74ff.js";import{H as j,E as Xl}from"../chunks/EditOnGithub.a9246e21.js";function Il(g){let i,u='この例のスクリプトは、🤗 <a href="https://huggingface.co/docs/datasets/" rel="nofollow">Datasets</a> ライブラリからデータセットをダウンロードし、前処理を行います。次に、<a href="https://huggingface.co/docs/transformers/main_classes/trainer" rel="nofollow">Trainer</a> を使用して要約をサポートするアーキテクチャ上でデータセットをファインチューニングします。以下の例では、<a href="https://huggingface.co/datasets/cnn_dailymail" rel="nofollow">CNN/DailyMail</a> データセット上で <a href="https://huggingface.co/google-t5/t5-small" rel="nofollow">T5-small</a> をファインチューニングする方法が示されています。T5 モデルは、そのトレーニング方法に起因して追加の <code>source_prefix</code> 引数が必要です。このプロンプトにより、T5 はこれが要約タスクであることを知ることができます。',n,m,f;return m=new _({props:{code:"cHl0aG9uJTIwZXhhbXBsZXMlMkZweXRvcmNoJTJGc3VtbWFyaXphdGlvbiUyRnJ1bl9zdW1tYXJpemF0aW9uLnB5JTIwJTVDJTBBJTIwJTIwJTIwJTIwLS1tb2RlbF9uYW1lX29yX3BhdGglMjBnb29nbGUtdDUlMkZ0NS1zbWFsbCUyMCU1QyUwQSUyMCUyMCUyMCUyMC0tZG9fdHJhaW4lMjAlNUMlMEElMjAlMjAlMjAlMjAtLWRvX2V2YWwlMjAlNUMlMEElMjAlMjAlMjAlMjAtLWRhdGFzZXRfbmFtZSUyMGNubl9kYWlseW1haWwlMjAlNUMlMEElMjAlMjAlMjAlMjAtLWRhdGFzZXRfY29uZmlnJTIwJTIyMy4wLjAlMjIlMjAlNUMlMEElMjAlMjAlMjAlMjAtLXNvdXJjZV9wcmVmaXglMjAlMjJzdW1tYXJpemUlM0ElMjAlMjIlMjAlNUMlMEElMjAlMjAlMjAlMjAtLW91dHB1dF9kaXIlMjAlMkZ0bXAlMkZ0c3Qtc3VtbWFyaXphdGlvbiUyMCU1QyUwQSUyMCUyMCUyMCUyMC0tcGVyX2RldmljZV90cmFpbl9iYXRjaF9zaXplJTNENCUyMCU1QyUwQSUyMCUyMCUyMCUyMC0tcGVyX2RldmljZV9ldmFsX2JhdGNoX3NpemUlM0Q0JTIwJTVDJTBBJTIwJTIwJTIwJTIwLS1vdmVyd3JpdGVfb3V0cHV0X2RpciUyMCU1QyUwQSUyMCUyMCUyMCUyMC0tcHJlZGljdF93aXRoX2dlbmVyYXRl",highlighted:`python examples/pytorch/summarization/run_summarization.py \\ | |
| --model_name_or_path google-t5/t5-small \\ | |
| --do_train \\ | |
| --do_eval \\ | |
| --dataset_name cnn_dailymail \\ | |
| --dataset_config <span class="hljs-string">"3.0.0"</span> \\ | |
| --source_prefix <span class="hljs-string">"summarize: "</span> \\ | |
| --output_dir /tmp/tst-summarization \\ | |
| --per_device_train_batch_size=4 \\ | |
| --per_device_eval_batch_size=4 \\ | |
| --overwrite_output_dir \\ | |
| --predict_with_generate`,wrap:!1}}),{c(){i=p("p"),i.innerHTML=u,n=r(),w(m.$$.fragment)},l(M){i=o(M,"P",{"data-svelte-h":!0}),c(i)!=="svelte-dv1ww7"&&(i.innerHTML=u),n=s(M),J(m.$$.fragment,M)},m(M,U){a(M,i,U),a(M,n,U),y(m,M,U),f=!0},p:Le,i(M){f||(T(m.$$.fragment,M),f=!0)},o(M){d(m.$$.fragment,M),f=!1},d(M){M&&(l(i),l(n)),h(m,M)}}}function Al(g){let i,u;return i=new Ve({props:{$$slots:{default:[Il]},$$scope:{ctx:g}}}),{c(){w(i.$$.fragment)},l(n){J(i.$$.fragment,n)},m(n,m){y(i,n,m),u=!0},p(n,m){const f={};m&2&&(f.$$scope={dirty:m,ctx:n}),i.$set(f)},i(n){u||(T(i.$$.fragment,n),u=!0)},o(n){d(i.$$.fragment,n),u=!1},d(n){h(i,n)}}}function vl(g){let i,u='この例のスクリプトは、🤗 <a href="https://huggingface.co/docs/datasets/" rel="nofollow">Datasets</a> ライブラリからデータセットをダウンロードして前処理します。その後、スクリプトは要約をサポートするアーキテクチャ上で Keras を使用してデータセットをファインチューニングします。以下の例では、<a href="https://huggingface.co/google-t5/t5-small" rel="nofollow">T5-small</a> を <a href="https://huggingface.co/datasets/cnn_dailymail" rel="nofollow">CNN/DailyMail</a> データセットでファインチューニングする方法を示しています。T5 モデルは、そのトレーニング方法に起因して追加の <code>source_prefix</code> 引数が必要です。このプロンプトは、T5 にこれが要約タスクであることを知らせます。',n,m,f;return m=new _({props:{code:"cHl0aG9uJTIwZXhhbXBsZXMlMkZ0ZW5zb3JmbG93JTJGc3VtbWFyaXphdGlvbiUyRnJ1bl9zdW1tYXJpemF0aW9uLnB5JTIwJTIwJTVDJTBBJTIwJTIwJTIwJTIwLS1tb2RlbF9uYW1lX29yX3BhdGglMjBnb29nbGUtdDUlMkZ0NS1zbWFsbCUyMCU1QyUwQSUyMCUyMCUyMCUyMC0tZGF0YXNldF9uYW1lJTIwY25uX2RhaWx5bWFpbCUyMCU1QyUwQSUyMCUyMCUyMCUyMC0tZGF0YXNldF9jb25maWclMjAlMjIzLjAuMCUyMiUyMCU1QyUwQSUyMCUyMCUyMCUyMC0tb3V0cHV0X2RpciUyMCUyRnRtcCUyRnRzdC1zdW1tYXJpemF0aW9uJTIwJTIwJTVDJTBBJTIwJTIwJTIwJTIwLS1wZXJfZGV2aWNlX3RyYWluX2JhdGNoX3NpemUlMjA4JTIwJTVDJTBBJTIwJTIwJTIwJTIwLS1wZXJfZGV2aWNlX2V2YWxfYmF0Y2hfc2l6ZSUyMDE2JTIwJTVDJTBBJTIwJTIwJTIwJTIwLS1udW1fdHJhaW5fZXBvY2hzJTIwMyUyMCU1QyUwQSUyMCUyMCUyMCUyMC0tZG9fdHJhaW4lMjAlNUMlMEElMjAlMjAlMjAlMjAtLWRvX2V2YWw=",highlighted:`python examples/tensorflow/summarization/run_summarization.py \\ | |
| --model_name_or_path google-t5/t5-small \\ | |
| --dataset_name cnn_dailymail \\ | |
| --dataset_config <span class="hljs-string">"3.0.0"</span> \\ | |
| --output_dir /tmp/tst-summarization \\ | |
| --per_device_train_batch_size 8 \\ | |
| --per_device_eval_batch_size 16 \\ | |
| --num_train_epochs 3 \\ | |
| --do_train \\ | |
| --do_eval`,wrap:!1}}),{c(){i=p("p"),i.innerHTML=u,n=r(),w(m.$$.fragment)},l(M){i=o(M,"P",{"data-svelte-h":!0}),c(i)!=="svelte-wmbem5"&&(i.innerHTML=u),n=s(M),J(m.$$.fragment,M)},m(M,U){a(M,i,U),a(M,n,U),y(m,M,U),f=!0},p:Le,i(M){f||(T(m.$$.fragment,M),f=!0)},o(M){d(m.$$.fragment,M),f=!1},d(M){M&&(l(i),l(n)),h(m,M)}}}function Wl(g){let i,u;return i=new Ve({props:{$$slots:{default:[vl]},$$scope:{ctx:g}}}),{c(){w(i.$$.fragment)},l(n){J(i.$$.fragment,n)},m(n,m){y(i,n,m),u=!0},p(n,m){const f={};m&2&&(f.$$scope={dirty:m,ctx:n}),i.$set(f)},i(n){u||(T(i.$$.fragment,n),u=!0)},o(n){d(i.$$.fragment,n),u=!1},d(n){h(i,n)}}}function Zl(g){let i,u='Tensor Processing Units (TPUs)は、パフォーマンスを加速させるために特別に設計されています。PyTorchは、<a href="https://www.tensorflow.org/xla" rel="nofollow">XLA</a>ディープラーニングコンパイラを使用してTPUsをサポートしており、詳細については<a href="https://github.com/pytorch/xla/blob/master/README.md" rel="nofollow">こちら</a>をご覧ください。TPUを使用するには、<code>xla_spawn.py</code>スクリプトを起動し、<code>num_cores</code>引数を使用して使用するTPUコアの数を設定します。',n,m,f;return m=new _({props:{code:"cHl0aG9uJTIweGxhX3NwYXduLnB5JTIwLS1udW1fY29yZXMlMjA4JTIwJTVDJTBBJTIwJTIwJTIwJTIwc3VtbWFyaXphdGlvbiUyRnJ1bl9zdW1tYXJpemF0aW9uLnB5JTIwJTVDJTBBJTIwJTIwJTIwJTIwLS1tb2RlbF9uYW1lX29yX3BhdGglMjBnb29nbGUtdDUlMkZ0NS1zbWFsbCUyMCU1QyUwQSUyMCUyMCUyMCUyMC0tZG9fdHJhaW4lMjAlNUMlMEElMjAlMjAlMjAlMjAtLWRvX2V2YWwlMjAlNUMlMEElMjAlMjAlMjAlMjAtLWRhdGFzZXRfbmFtZSUyMGNubl9kYWlseW1haWwlMjAlNUMlMEElMjAlMjAlMjAlMjAtLWRhdGFzZXRfY29uZmlnJTIwJTIyMy4wLjAlMjIlMjAlNUMlMEElMjAlMjAlMjAlMjAtLXNvdXJjZV9wcmVmaXglMjAlMjJzdW1tYXJpemUlM0ElMjAlMjIlMjAlNUMlMEElMjAlMjAlMjAlMjAtLW91dHB1dF9kaXIlMjAlMkZ0bXAlMkZ0c3Qtc3VtbWFyaXphdGlvbiUyMCU1QyUwQSUyMCUyMCUyMCUyMC0tcGVyX2RldmljZV90cmFpbl9iYXRjaF9zaXplJTNENCUyMCU1QyUwQSUyMCUyMCUyMCUyMC0tcGVyX2RldmljZV9ldmFsX2JhdGNoX3NpemUlM0Q0JTIwJTVDJTBBJTIwJTIwJTIwJTIwLS1vdmVyd3JpdGVfb3V0cHV0X2RpciUyMCU1QyUwQSUyMCUyMCUyMCUyMC0tcHJlZGljdF93aXRoX2dlbmVyYXRl",highlighted:`python xla_spawn.py --num_cores 8 \\ | |
| summarization/run_summarization.py \\ | |
| --model_name_or_path google-t5/t5-small \\ | |
| --do_train \\ | |
| --do_eval \\ | |
| --dataset_name cnn_dailymail \\ | |
| --dataset_config <span class="hljs-string">"3.0.0"</span> \\ | |
| --source_prefix <span class="hljs-string">"summarize: "</span> \\ | |
| --output_dir /tmp/tst-summarization \\ | |
| --per_device_train_batch_size=4 \\ | |
| --per_device_eval_batch_size=4 \\ | |
| --overwrite_output_dir \\ | |
| --predict_with_generate`,wrap:!1}}),{c(){i=p("p"),i.innerHTML=u,n=r(),w(m.$$.fragment)},l(M){i=o(M,"P",{"data-svelte-h":!0}),c(i)!=="svelte-19tulso"&&(i.innerHTML=u),n=s(M),J(m.$$.fragment,M)},m(M,U){a(M,i,U),a(M,n,U),y(m,M,U),f=!0},p:Le,i(M){f||(T(m.$$.fragment,M),f=!0)},o(M){d(m.$$.fragment,M),f=!1},d(M){M&&(l(i),l(n)),h(m,M)}}}function xl(g){let i,u;return i=new Ve({props:{$$slots:{default:[Zl]},$$scope:{ctx:g}}}),{c(){w(i.$$.fragment)},l(n){J(i.$$.fragment,n)},m(n,m){y(i,n,m),u=!0},p(n,m){const f={};m&2&&(f.$$scope={dirty:m,ctx:n}),i.$set(f)},i(n){u||(T(i.$$.fragment,n),u=!0)},o(n){d(i.$$.fragment,n),u=!1},d(n){h(i,n)}}}function Rl(g){let i,u='もちろん、Tensor Processing Units（TPUs）は性能を高速化するために特別に設計されています。TensorFlowスクリプトは、TPUsでトレーニングするために<a href="https://www.tensorflow.org/guide/distributed_training#tpustrategy" rel="nofollow"><code>TPUStrategy</code></a>を利用します。TPUを使用するには、TPUリソースの名前を<code>tpu</code>引数に渡します。',n,m,f;return m=new _({props:{code:"cHl0aG9uJTIwcnVuX3N1bW1hcml6YXRpb24ucHklMjAlMjAlNUMlMEElMjAlMjAlMjAlMjAtLXRwdSUyMG5hbWVfb2ZfdHB1X3Jlc291cmNlJTIwJTVDJTBBJTIwJTIwJTIwJTIwLS1tb2RlbF9uYW1lX29yX3BhdGglMjBnb29nbGUtdDUlMkZ0NS1zbWFsbCUyMCU1QyUwQSUyMCUyMCUyMCUyMC0tZGF0YXNldF9uYW1lJTIwY25uX2RhaWx5bWFpbCUyMCU1QyUwQSUyMCUyMCUyMCUyMC0tZGF0YXNldF9jb25maWclMjAlMjIzLjAuMCUyMiUyMCU1QyUwQSUyMCUyMCUyMCUyMC0tb3V0cHV0X2RpciUyMCUyRnRtcCUyRnRzdC1zdW1tYXJpemF0aW9uJTIwJTIwJTVDJTBBJTIwJTIwJTIwJTIwLS1wZXJfZGV2aWNlX3RyYWluX2JhdGNoX3NpemUlMjA4JTIwJTVDJTBBJTIwJTIwJTIwJTIwLS1wZXJfZGV2aWNlX2V2YWxfYmF0Y2hfc2l6ZSUyMDE2JTIwJTVDJTBBJTIwJTIwJTIwJTIwLS1udW1fdHJhaW5fZXBvY2hzJTIwMyUyMCU1QyUwQSUyMCUyMCUyMCUyMC0tZG9fdHJhaW4lMjAlNUMlMEElMjAlMjAlMjAlMjAtLWRvX2V2YWw=",highlighted:`python run_summarization.py \\ | |
| --tpu name_of_tpu_resource \\ | |
| --model_name_or_path google-t5/t5-small \\ | |
| --dataset_name cnn_dailymail \\ | |
| --dataset_config <span class="hljs-string">"3.0.0"</span> \\ | |
| --output_dir /tmp/tst-summarization \\ | |
| --per_device_train_batch_size 8 \\ | |
| --per_device_eval_batch_size 16 \\ | |
| --num_train_epochs 3 \\ | |
| --do_train \\ | |
| --do_eval`,wrap:!1}}),{c(){i=p("p"),i.innerHTML=u,n=r(),w(m.$$.fragment)},l(M){i=o(M,"P",{"data-svelte-h":!0}),c(i)!=="svelte-fxym0v"&&(i.innerHTML=u),n=s(M),J(m.$$.fragment,M)},m(M,U){a(M,i,U),a(M,n,U),y(m,M,U),f=!0},p:Le,i(M){f||(T(m.$$.fragment,M),f=!0)},o(M){d(m.$$.fragment,M),f=!1},d(M){M&&(l(i),l(n)),h(m,M)}}}function Gl(g){let i,u;return i=new Ve({props:{$$slots:{default:[Rl]},$$scope:{ctx:g}}}),{c(){w(i.$$.fragment)},l(n){J(i.$$.fragment,n)},m(n,m){y(i,n,m),u=!0},p(n,m){const f={};m&2&&(f.$$scope={dirty:m,ctx:n}),i.$set(f)},i(n){u||(T(i.$$.fragment,n),u=!0)},o(n){d(i.$$.fragment,n),u=!1},d(n){h(i,n)}}}function Ll(g){let i,u,n,m,f,M,U,Ye='🤗 Transformersの<a href="./notebooks/README">notebooks</a>と一緒に、<a href="https://github.com/huggingface/transformers/tree/main/examples/pytorch" rel="nofollow">PyTorch</a>、<a href="https://github.com/huggingface/transformers/tree/main/examples/tensorflow" rel="nofollow">TensorFlow</a>、または<a href="https://github.com/huggingface/transformers/tree/main/examples/flax" rel="nofollow">JAX/Flax</a>を使用してモデルをトレーニングする方法を示すサンプルスクリプトもあります。',Wt,X,ze='また、私たちの<a href="https://github.com/huggingface/transformers/tree/main/examples/research_projects" rel="nofollow">研究プロジェクト</a>や<a href="https://github.com/huggingface/transformers/tree/main/examples/legacy" rel="nofollow">レガシーの例</a>で使用したスクリプトも見つかります。これらのスクリプトは現在メンテナンスされておらず、おそらく最新バージョンのライブラリと互換性がない特定の🤗 Transformersのバージョンが必要です。',Zt,I,Se="サンプルスクリプトはすべての問題でそのまま動作することは期待されておらず、解決しようとしている問題にスクリプトを適応させる必要があるかもしれません。この点をサポートするために、ほとんどのスクリプトはデータがどのように前処理されているかを完全に公開し、必要に応じて編集できるようにしています。",xt,A,Ee='サンプルスクリプトで実装したい機能がある場合は、<a href="https://discuss.huggingface.co/" rel="nofollow">フォーラム</a>か<a href="https://github.com/huggingface/transformers/issues" rel="nofollow">イシュートラッカー</a>で議論してからプルリクエストを提出してください。バグ修正は歓迎しますが、読みやすさのコストで機能を追加するプルリクエストはほとんどマージされない可能性が高いです。',Rt,v,He='このガイドでは、<a href="https://github.com/huggingface/transformers/tree/main/examples/pytorch/summarization" rel="nofollow">PyTorch</a>と<a href="https://github.com/huggingface/transformers/tree/main/examples/tensorflow/summarization" rel="nofollow">TensorFlow</a>で実行するサマリゼーショントレーニングスクリプトの実行方法を示します。すべての例は、明示的に指定されていない限り、両方のフレームワークともに動作することが期待されています。',Gt,W,Lt,Z,ke="最新バージョンのサンプルスクリプトを正常に実行するには、新しい仮想環境に🤗 Transformersをソースからインストールする必要があります:",Vt,x,Nt,R,Qe="以前のスクリプトのバージョンについては、以下のトグルをクリックしてください：",Bt,G,De='<summary>以前の🤗 Transformersのバージョンに関する例</summary> <ul><li><a href="https://github.com/huggingface/transformers/tree/v4.5.1/examples">v4.5.1</a></li> <li><a href="https://github.com/huggingface/transformers/tree/v4.4.2/examples">v4.4.2</a></li> <li><a href="https://github.com/huggingface/transformers/tree/v4.3.3/examples">v4.3.3</a></li> <li><a href="https://github.com/huggingface/transformers/tree/v4.2.2/examples">v4.2.2</a></li> <li><a href="https://github.com/huggingface/transformers/tree/v4.1.1/examples">v4.1.1</a></li> <li><a href="https://github.com/huggingface/transformers/tree/v4.0.1/examples">v4.0.1</a></li> <li><a href="https://github.com/huggingface/transformers/tree/v3.5.1/examples">v3.5.1</a></li> <li><a href="https://github.com/huggingface/transformers/tree/v3.4.0/examples">v3.4.0</a></li> <li><a href="https://github.com/huggingface/transformers/tree/v3.3.1/examples">v3.3.1</a></li> <li><a href="https://github.com/huggingface/transformers/tree/v3.2.0/examples">v3.2.0</a></li> <li><a href="https://github.com/huggingface/transformers/tree/v3.1.0/examples">v3.1.0</a></li> <li><a href="https://github.com/huggingface/transformers/tree/v3.0.2/examples">v3.0.2</a></li> <li><a href="https://github.com/huggingface/transformers/tree/v2.11.0/examples">v2.11.0</a></li> <li><a href="https://github.com/huggingface/transformers/tree/v2.10.0/examples">v2.10.0</a></li> <li><a href="https://github.com/huggingface/transformers/tree/v2.9.1/examples">v2.9.1</a></li> <li><a href="https://github.com/huggingface/transformers/tree/v2.8.0/examples">v2.8.0</a></li> <li><a href="https://github.com/huggingface/transformers/tree/v2.7.0/examples">v2.7.0</a></li> <li><a href="https://github.com/huggingface/transformers/tree/v2.6.0/examples">v2.6.0</a></li> <li><a href="https://github.com/huggingface/transformers/tree/v2.5.1/examples">v2.5.1</a></li> <li><a href="https://github.com/huggingface/transformers/tree/v2.4.0/examples">v2.4.0</a></li> <li><a href="https://github.com/huggingface/transformers/tree/v2.3.0/examples">v2.3.0</a></li> <li><a href="https://github.com/huggingface/transformers/tree/v2.2.0/examples">v2.2.0</a></li> <li><a href="https://github.com/huggingface/transformers/tree/v2.1.0/examples">v2.1.1</a></li> <li><a href="https://github.com/huggingface/transformers/tree/v2.0.0/examples">v2.0.0</a></li> <li><a href="https://github.com/huggingface/transformers/tree/v1.2.0/examples">v1.2.0</a></li> <li><a href="https://github.com/huggingface/transformers/tree/v1.1.0/examples">v1.1.0</a></li> <li><a href="https://github.com/huggingface/transformers/tree/v1.0.0/examples">v1.0.0</a></li></ul>',Ft,L,Pe="次に、現在の🤗 Transformersのクローンを特定のバージョンに切り替えてください。たとえば、v3.5.1などです。",Yt,V,zt,N,qe="適切なライブラリバージョンを設定したら、任意の例のフォルダに移動し、例固有の要件をインストールします：",St,B,Et,F,Ht,b,kt,Y,Qt,z,Oe='<a href="https://huggingface.co/docs/transformers/main_classes/trainer" rel="nofollow">Trainer</a>は、分散トレーニングと混合精度をサポートしています。つまり、この機能をスクリプトで使用することができます。これらの機能を有効にするには、次の手順を実行します。',Dt,S,Ke="<li><code>fp16</code>引数を追加して混合精度を有効にします。</li> <li><code>nproc_per_node</code>引数で使用するGPUの数を設定します。</li>",Pt,E,tl="以下は提供されたBashコードです。このコードの日本語訳をMarkdown形式で記載します。",qt,H,Ot,k,el='TensorFlowスクリプトは、分散トレーニングに<a href="https://www.tensorflow.org/guide/distributed_training#mirroredstrategy" rel="nofollow"><code>MirroredStrategy</code></a>を使用し、トレーニングスクリプトに追加の引数を追加する必要はありません。TensorFlowスクリプトは、デフォルトで複数のGPUが利用可能な場合にそれらを使用します。',Kt,Q,te,$,ee,D,le,P,ll='🤗 <a href="https://huggingface.co/docs/accelerate" rel="nofollow">Accelerate</a>は、PyTorch専用のライブラリで、CPUのみ、複数のGPU、TPUなど、さまざまなセットアップでモデルをトレーニングするための統一された方法を提供します。PyTorchのトレーニングループを完全に可視化しながら実行できます。まだインストールしていない場合は、🤗 Accelerateをインストールしてください：',ae,C,At,al="注意：Accelerateは急速に開発が進行しているため、スクリプトを実行するにはaccelerateのgitバージョンをインストールする必要があります",Ne,q,ie,O,il="代わりに、<code>run_summarization_no_trainer.py</code> スクリプトを使用する必要があります。 🤗 Accelerate がサポートするスクリプトには、フォルダ内に <code>task_no_trainer.py</code> ファイルが含まれています。まず、次のコマンドを実行して設定ファイルを作成し、保存します：",ne,K,re,tt,nl="テストを行い、設定が正しく構成されているか確認してください：",se,et,Me,lt,rl="Now you are ready to launch the training:",me,at,pe,it,oe,nt,sl="要約スクリプトは、CSVまたはJSON Lineファイルであれば、カスタムデータセットをサポートしています。独自のデータセットを使用する場合、いくつかの追加の引数を指定する必要があります。",fe,rt,Ml="<li><code>train_file</code>および<code>validation_file</code>は、トレーニングとバリデーションのファイルへのパスを指定します。</li> <li><code>text_column</code>は要約するための入力テキストです。</li> <li><code>summary_column</code>は出力する対象テキストです。</li>",ue,st,ml="カスタムデータセットを使用した要約スクリプトは、以下のようになります：",ce,Mt,we,mt,Je,pt,pl="すべてが予想通りに動作することを確認するために、データセット全体を処理する前に、データセットの一部の例でスクリプトを実行することは良いアイデアです。以下の引数を使用して、データセットを最大サンプル数に切り詰めます：",ye,ot,ol="<li><code>max_train_samples</code></li> <li><code>max_eval_samples</code></li> <li><code>max_predict_samples</code></li>",Te,ft,de,ut,fl="一部の例のスクリプトは、<code>max_predict_samples</code>引数をサポートしていないことがあります。この引数がサポートされているかどうかがわからない場合は、<code>-h</code>引数を追加して確認してください。",he,ct,Ue,wt,_e,Jt,ul="以前のチェックポイントからトレーニングを再開するための役立つオプションもあります。これにより、トレーニングが中断された場合でも、最初からやり直すことなく、中断したところから再開できます。チェックポイントからトレーニングを再開するための2つの方法があります。",ge,yt,cl="最初の方法は、<code>output_dir previous_output_dir</code> 引数を使用して、<code>output_dir</code> に保存された最新のチェックポイントからトレーニングを再開する方法です。この場合、<code>overwrite_output_dir</code> を削除する必要があります：",je,Tt,be,dt,wl="2番目の方法では、<code>resume_from_checkpoint path_to_specific_checkpoint</code> 引数を使用して、特定のチェックポイントフォルダからトレーニングを再開します。",$e,ht,Ce,Ut,Xe,_t,Jl='すべてのスクリプトは、最終的なモデルを <a href="https://huggingface.co/models" rel="nofollow">Model Hub</a> にアップロードできます。開始する前に Hugging Face にログインしていることを確認してください。',Ie,gt,Ae,jt,yl="次に、スクリプトに <code>push_to_hub</code> 引数を追加します。この引数は、Hugging Face のユーザー名と <code>output_dir</code> で指定したフォルダ名でリポジトリを作成します。",ve,bt,Tl="特定の名前をリポジトリに付けるには、<code>push_to_hub_model_id</code> 引数を使用して追加します。このリポジトリは自動的にあなたの名前空間の下にリストされます。",We,$t,dl="以下の例は、特定のリポジトリ名でモデルをアップロードする方法を示しています:",Ze,Ct,xe,Xt,Re,vt,Ge;return f=new j({props:{title:"Train with a script",local:"train-with-a-script",headingTag:"h1"}}),W=new j({props:{title:"Setup",local:"setup",headingTag:"h2"}}),x=new _({props:{code:"Z2l0JTIwY2xvbmUlMjBodHRwcyUzQSUyRiUyRmdpdGh1Yi5jb20lMkZodWdnaW5nZmFjZSUyRnRyYW5zZm9ybWVycyUwQWNkJTIwdHJhbnNmb3JtZXJzJTBBcGlwJTIwaW5zdGFsbCUyMC4=",highlighted:`git <span class="hljs-built_in">clone</span> https://github.com/huggingface/transformers | |
| <span class="hljs-built_in">cd</span> transformers | |
| pip install .`,wrap:!1}}),V=new _({props:{code:"Z2l0JTIwY2hlY2tvdXQlMjB0YWdzJTJGdjMuNS4x",highlighted:"git checkout tags/v3.5.1",wrap:!1}}),B=new _({props:{code:"cGlwJTIwaW5zdGFsbCUyMC1yJTIwcmVxdWlyZW1lbnRzLnR4dA==",highlighted:"pip install -r requirements.txt",wrap:!1}}),F=new j({props:{title:"Run a script",local:"run-a-script",headingTag:"h2"}}),b=new _l({props:{pytorch:!0,tensorflow:!0,jax:!1,$$slots:{tensorflow:[Wl],pytorch:[Al]},$$scope:{ctx:g}}}),Y=new j({props:{title:"Distributed training and mixed precision",local:"distributed-training-and-mixed-precision",headingTag:"h2"}}),H=new _({props:{code:"dG9yY2hydW4lMjAlNUMlMEElMjAlMjAlMjAlMjAtLW5wcm9jX3Blcl9ub2RlJTIwOCUyMHB5dG9yY2glMkZzdW1tYXJpemF0aW9uJTJGcnVuX3N1bW1hcml6YXRpb24ucHklMjAlNUMlMEElMjAlMjAlMjAlMjAtLWZwMTYlMjAlNUMlMEElMjAlMjAlMjAlMjAtLW1vZGVsX25hbWVfb3JfcGF0aCUyMGdvb2dsZS10NSUyRnQ1LXNtYWxsJTIwJTVDJTBBJTIwJTIwJTIwJTIwLS1kb190cmFpbiUyMCU1QyUwQSUyMCUyMCUyMCUyMC0tZG9fZXZhbCUyMCU1QyUwQSUyMCUyMCUyMCUyMC0tZGF0YXNldF9uYW1lJTIwY25uX2RhaWx5bWFpbCUyMCU1QyUwQSUyMCUyMCUyMCUyMC0tZGF0YXNldF9jb25maWclMjAlMjIzLjAuMCUyMiUyMCU1QyUwQSUyMCUyMCUyMCUyMC0tc291cmNlX3ByZWZpeCUyMCUyMnN1bW1hcml6ZSUzQSUyMCUyMiUyMCU1QyUwQSUyMCUyMCUyMCUyMC0tb3V0cHV0X2RpciUyMCUyRnRtcCUyRnRzdC1zdW1tYXJpemF0aW9uJTIwJTVDJTBBJTIwJTIwJTIwJTIwLS1wZXJfZGV2aWNlX3RyYWluX2JhdGNoX3NpemUlM0Q0JTIwJTVDJTBBJTIwJTIwJTIwJTIwLS1wZXJfZGV2aWNlX2V2YWxfYmF0Y2hfc2l6ZSUzRDQlMjAlNUMlMEElMjAlMjAlMjAlMjAtLW92ZXJ3cml0ZV9vdXRwdXRfZGlyJTIwJTVDJTBBJTIwJTIwJTIwJTIwLS1wcmVkaWN0X3dpdGhfZ2VuZXJhdGU=",highlighted:`torchrun \\ | |
| --nproc_per_node 8 pytorch/summarization/run_summarization.py \\ | |
| --fp16 \\ | |
| --model_name_or_path google-t5/t5-small \\ | |
| --do_train \\ | |
| --do_eval \\ | |
| --dataset_name cnn_dailymail \\ | |
| --dataset_config <span class="hljs-string">"3.0.0"</span> \\ | |
| --source_prefix <span class="hljs-string">"summarize: "</span> \\ | |
| --output_dir /tmp/tst-summarization \\ | |
| --per_device_train_batch_size=4 \\ | |
| --per_device_eval_batch_size=4 \\ | |
| --overwrite_output_dir \\ | |
| --predict_with_generate`,wrap:!1}}),Q=new j({props:{title:"Run a script on a TPU",local:"run-a-script-on-a-tpu",headingTag:"h2"}}),$=new _l({props:{pytorch:!0,tensorflow:!0,jax:!1,$$slots:{tensorflow:[Gl],pytorch:[xl]},$$scope:{ctx:g}}}),D=new j({props:{title:"Run a script with 🤗 Accelerate",local:"run-a-script-with--accelerate",headingTag:"h2"}}),q=new _({props:{code:"cGlwJTIwaW5zdGFsbCUyMGdpdCUyQmh0dHBzJTNBJTJGJTJGZ2l0aHViLmNvbSUyRmh1Z2dpbmdmYWNlJTJGYWNjZWxlcmF0ZQ==",highlighted:"pip install git+https://github.com/huggingface/accelerate",wrap:!1}}),K=new _({props:{code:"YWNjZWxlcmF0ZSUyMGNvbmZpZw==",highlighted:"accelerate config",wrap:!1}}),et=new _({props:{code:"YWNjZWxlcmF0ZSUyMHRlc3Q=",highlighted:'accelerate <span class="hljs-built_in">test</span>',wrap:!1}}),at=new _({props:{code:"YWNjZWxlcmF0ZSUyMGxhdW5jaCUyMHJ1bl9zdW1tYXJpemF0aW9uX25vX3RyYWluZXIucHklMjAlNUMlMEElMjAlMjAlMjAlMjAtLW1vZGVsX25hbWVfb3JfcGF0aCUyMGdvb2dsZS10NSUyRnQ1LXNtYWxsJTIwJTVDJTBBJTIwJTIwJTIwJTIwLS1kYXRhc2V0X25hbWUlMjBjbm5fZGFpbHltYWlsJTIwJTVDJTBBJTIwJTIwJTIwJTIwLS1kYXRhc2V0X2NvbmZpZyUyMCUyMjMuMC4wJTIyJTIwJTVDJTBBJTIwJTIwJTIwJTIwLS1zb3VyY2VfcHJlZml4JTIwJTIyc3VtbWFyaXplJTNBJTIwJTIyJTIwJTVDJTBBJTIwJTIwJTIwJTIwLS1vdXRwdXRfZGlyJTIwfiUyRnRtcCUyRnRzdC1zdW1tYXJpemF0aW9u",highlighted:`accelerate launch run_summarization_no_trainer.py \\ | |
| --model_name_or_path google-t5/t5-small \\ | |
| --dataset_name cnn_dailymail \\ | |
| --dataset_config <span class="hljs-string">"3.0.0"</span> \\ | |
| --source_prefix <span class="hljs-string">"summarize: "</span> \\ | |
| --output_dir ~/tmp/tst-summarization`,wrap:!1}}),it=new j({props:{title:"Use a custom dataset",local:"use-a-custom-dataset",headingTag:"h2"}}),Mt=new _({props:{code:"cHl0aG9uJTIwZXhhbXBsZXMlMkZweXRvcmNoJTJGc3VtbWFyaXphdGlvbiUyRnJ1bl9zdW1tYXJpemF0aW9uLnB5JTIwJTVDJTBBJTIwJTIwJTIwJTIwLS1tb2RlbF9uYW1lX29yX3BhdGglMjBnb29nbGUtdDUlMkZ0NS1zbWFsbCUyMCU1QyUwQSUyMCUyMCUyMCUyMC0tZG9fdHJhaW4lMjAlNUMlMEElMjAlMjAlMjAlMjAtLWRvX2V2YWwlMjAlNUMlMEElMjAlMjAlMjAlMjAtLXRyYWluX2ZpbGUlMjBwYXRoX3RvX2Nzdl9vcl9qc29ubGluZXNfZmlsZSUyMCU1QyUwQSUyMCUyMCUyMCUyMC0tdmFsaWRhdGlvbl9maWxlJTIwcGF0aF90b19jc3Zfb3JfanNvbmxpbmVzX2ZpbGUlMjAlNUMlMEElMjAlMjAlMjAlMjAtLXRleHRfY29sdW1uJTIwdGV4dF9jb2x1bW5fbmFtZSUyMCU1QyUwQSUyMCUyMCUyMCUyMC0tc3VtbWFyeV9jb2x1bW4lMjBzdW1tYXJ5X2NvbHVtbl9uYW1lJTIwJTVDJTBBJTIwJTIwJTIwJTIwLS1zb3VyY2VfcHJlZml4JTIwJTIyc3VtbWFyaXplJTNBJTIwJTIyJTIwJTVDJTBBJTIwJTIwJTIwJTIwLS1vdXRwdXRfZGlyJTIwJTJGdG1wJTJGdHN0LXN1bW1hcml6YXRpb24lMjAlNUMlMEElMjAlMjAlMjAlMjAtLW92ZXJ3cml0ZV9vdXRwdXRfZGlyJTIwJTVDJTBBJTIwJTIwJTIwJTIwLS1wZXJfZGV2aWNlX3RyYWluX2JhdGNoX3NpemUlM0Q0JTIwJTVDJTBBJTIwJTIwJTIwJTIwLS1wZXJfZGV2aWNlX2V2YWxfYmF0Y2hfc2l6ZSUzRDQlMjAlNUMlMEElMjAlMjAlMjAlMjAtLXByZWRpY3Rfd2l0aF9nZW5lcmF0ZQ==",highlighted:`python examples/pytorch/summarization/run_summarization.py \\ | |
| --model_name_or_path google-t5/t5-small \\ | |
| --do_train \\ | |
| --do_eval \\ | |
| --train_file path_to_csv_or_jsonlines_file \\ | |
| --validation_file path_to_csv_or_jsonlines_file \\ | |
| --text_column text_column_name \\ | |
| --summary_column summary_column_name \\ | |
| --source_prefix <span class="hljs-string">"summarize: "</span> \\ | |
| --output_dir /tmp/tst-summarization \\ | |
| --overwrite_output_dir \\ | |
| --per_device_train_batch_size=4 \\ | |
| --per_device_eval_batch_size=4 \\ | |
| --predict_with_generate`,wrap:!1}}),mt=new j({props:{title:"Test a script",local:"test-a-script",headingTag:"h2"}}),ft=new _({props:{code:"cHl0aG9uJTIwZXhhbXBsZXMlMkZweXRvcmNoJTJGc3VtbWFyaXphdGlvbiUyRnJ1bl9zdW1tYXJpemF0aW9uLnB5JTIwJTVDJTBBJTIwJTIwJTIwJTIwLS1tb2RlbF9uYW1lX29yX3BhdGglMjBnb29nbGUtdDUlMkZ0NS1zbWFsbCUyMCU1QyUwQSUyMCUyMCUyMCUyMC0tbWF4X3RyYWluX3NhbXBsZXMlMjA1MCUyMCU1QyUwQSUyMCUyMCUyMCUyMC0tbWF4X2V2YWxfc2FtcGxlcyUyMDUwJTIwJTVDJTBBJTIwJTIwJTIwJTIwLS1tYXhfcHJlZGljdF9zYW1wbGVzJTIwNTAlMjAlNUMlMEElMjAlMjAlMjAlMjAtLWRvX3RyYWluJTIwJTVDJTBBJTIwJTIwJTIwJTIwLS1kb19ldmFsJTIwJTVDJTBBJTIwJTIwJTIwJTIwLS1kYXRhc2V0X25hbWUlMjBjbm5fZGFpbHltYWlsJTIwJTVDJTBBJTIwJTIwJTIwJTIwLS1kYXRhc2V0X2NvbmZpZyUyMCUyMjMuMC4wJTIyJTIwJTVDJTBBJTIwJTIwJTIwJTIwLS1zb3VyY2VfcHJlZml4JTIwJTIyc3VtbWFyaXplJTNBJTIwJTIyJTIwJTVDJTBBJTIwJTIwJTIwJTIwLS1vdXRwdXRfZGlyJTIwJTJGdG1wJTJGdHN0LXN1bW1hcml6YXRpb24lMjAlNUMlMEElMjAlMjAlMjAlMjAtLXBlcl9kZXZpY2VfdHJhaW5fYmF0Y2hfc2l6ZSUzRDQlMjAlNUMlMEElMjAlMjAlMjAlMjAtLXBlcl9kZXZpY2VfZXZhbF9iYXRjaF9zaXplJTNENCUyMCU1QyUwQSUyMCUyMCUyMCUyMC0tb3ZlcndyaXRlX291dHB1dF9kaXIlMjAlNUMlMEElMjAlMjAlMjAlMjAtLXByZWRpY3Rfd2l0aF9nZW5lcmF0ZQ==",highlighted:`python examples/pytorch/summarization/run_summarization.py \\ | |
| --model_name_or_path google-t5/t5-small \\ | |
| --max_train_samples 50 \\ | |
| --max_eval_samples 50 \\ | |
| --max_predict_samples 50 \\ | |
| --do_train \\ | |
| --do_eval \\ | |
| --dataset_name cnn_dailymail \\ | |
| --dataset_config <span class="hljs-string">"3.0.0"</span> \\ | |
| --source_prefix <span class="hljs-string">"summarize: "</span> \\ | |
| --output_dir /tmp/tst-summarization \\ | |
| --per_device_train_batch_size=4 \\ | |
| --per_device_eval_batch_size=4 \\ | |
| --overwrite_output_dir \\ | |
| --predict_with_generate`,wrap:!1}}),ct=new _({props:{code:"ZXhhbXBsZXMlMkZweXRvcmNoJTJGc3VtbWFyaXphdGlvbiUyRnJ1bl9zdW1tYXJpemF0aW9uLnB5JTIwLWg=",highlighted:"examples/pytorch/summarization/run_summarization.py -h",wrap:!1}}),wt=new j({props:{title:"Resume training from checkpoint",local:"resume-training-from-checkpoint",headingTag:"h2"}}),Tt=new _({props:{code:"cHl0aG9uJTIwZXhhbXBsZXMlMkZweXRvcmNoJTJGc3VtbWFyaXphdGlvbiUyRnJ1bl9zdW1tYXJpemF0aW9uLnB5JTBBJTIwJTIwJTIwJTIwLS1tb2RlbF9uYW1lX29yX3BhdGglMjBnb29nbGUtdDUlMkZ0NS1zbWFsbCUyMCU1QyUwQSUyMCUyMCUyMCUyMC0tZG9fdHJhaW4lMjAlNUMlMEElMjAlMjAlMjAlMjAtLWRvX2V2YWwlMjAlNUMlMEElMjAlMjAlMjAlMjAtLWRhdGFzZXRfbmFtZSUyMGNubl9kYWlseW1haWwlMjAlNUMlMEElMjAlMjAlMjAlMjAtLWRhdGFzZXRfY29uZmlnJTIwJTIyMy4wLjAlMjIlMjAlNUMlMEElMjAlMjAlMjAlMjAtLXNvdXJjZV9wcmVmaXglMjAlMjJzdW1tYXJpemUlM0ElMjAlMjIlMjAlNUMlMEElMjAlMjAlMjAlMjAtLW91dHB1dF9kaXIlMjAlMkZ0bXAlMkZ0c3Qtc3VtbWFyaXphdGlvbiUyMCU1QyUwQSUyMCUyMCUyMCUyMC0tcGVyX2RldmljZV90cmFpbl9iYXRjaF9zaXplJTNENCUyMCU1QyUwQSUyMCUyMCUyMCUyMC0tcGVyX2RldmljZV9ldmFsX2JhdGNoX3NpemUlM0Q0JTIwJTVDJTBBJTIwJTIwJTIwJTIwLS1vdXRwdXRfZGlyJTIwcHJldmlvdXNfb3V0cHV0X2RpciUyMCU1QyUwQSUyMCUyMCUyMCUyMC0tcHJlZGljdF93aXRoX2dlbmVyYXRl",highlighted:`python examples/pytorch/summarization/run_summarization.py | |
| --model_name_or_path google-t5/t5-small \\ | |
| --do_train \\ | |
| --do_eval \\ | |
| --dataset_name cnn_dailymail \\ | |
| --dataset_config <span class="hljs-string">"3.0.0"</span> \\ | |
| --source_prefix <span class="hljs-string">"summarize: "</span> \\ | |
| --output_dir /tmp/tst-summarization \\ | |
| --per_device_train_batch_size=4 \\ | |
| --per_device_eval_batch_size=4 \\ | |
| --output_dir previous_output_dir \\ | |
| --predict_with_generate`,wrap:!1}}),ht=new _({props:{code:"cHl0aG9uJTIwZXhhbXBsZXMlMkZweXRvcmNoJTJGc3VtbWFyaXphdGlvbiUyRnJ1bl9zdW1tYXJpemF0aW9uLnB5JTBBJTIwJTIwJTIwJTIwLS1tb2RlbF9uYW1lX29yX3BhdGglMjBnb29nbGUtdDUlMkZ0NS1zbWFsbCUyMCU1QyUwQSUyMCUyMCUyMCUyMC0tZG9fdHJhaW4lMjAlNUMlMEElMjAlMjAlMjAlMjAtLWRvX2V2YWwlMjAlNUMlMEElMjAlMjAlMjAlMjAtLWRhdGFzZXRfbmFtZSUyMGNubl9kYWlseW1haWwlMjAlNUMlMEElMjAlMjAlMjAlMjAtLWRhdGFzZXRfY29uZmlnJTIwJTIyMy4wLjAlMjIlMjAlNUMlMEElMjAlMjAlMjAlMjAtLXNvdXJjZV9wcmVmaXglMjAlMjJzdW1tYXJpemUlM0ElMjAlMjIlMjAlNUMlMEElMjAlMjAlMjAlMjAtLW91dHB1dF9kaXIlMjAlMkZ0bXAlMkZ0c3Qtc3VtbWFyaXphdGlvbiUyMCU1QyUwQSUyMCUyMCUyMCUyMC0tcGVyX2RldmljZV90cmFpbl9iYXRjaF9zaXplJTNENCUyMCU1QyUwQSUyMCUyMCUyMCUyMC0tcGVyX2RldmljZV9ldmFsX2JhdGNoX3NpemUlM0Q0JTIwJTVDJTBBJTIwJTIwJTIwJTIwLS1vdmVyd3JpdGVfb3V0cHV0X2RpciUyMCU1QyUwQSUyMCUyMCUyMCUyMC0tcmVzdW1lX2Zyb21fY2hlY2twb2ludCUyMHBhdGhfdG9fc3BlY2lmaWNfY2hlY2twb2ludCUyMCU1QyUwQSUyMCUyMCUyMCUyMC0tcHJlZGljdF93aXRoX2dlbmVyYXRl",highlighted:`python examples/pytorch/summarization/run_summarization.py | |
| --model_name_or_path google-t5/t5-small \\ | |
| --do_train \\ | |
| --do_eval \\ | |
| --dataset_name cnn_dailymail \\ | |
| --dataset_config <span class="hljs-string">"3.0.0"</span> \\ | |
| --source_prefix <span class="hljs-string">"summarize: "</span> \\ | |
| --output_dir /tmp/tst-summarization \\ | |
| --per_device_train_batch_size=4 \\ | |
| --per_device_eval_batch_size=4 \\ | |
| --overwrite_output_dir \\ | |
| --resume_from_checkpoint path_to_specific_checkpoint \\ | |
| --predict_with_generate`,wrap:!1}}),Ut=new j({props:{title:"Share your model",local:"share-your-model",headingTag:"h2"}}),gt=new _({props:{code:"aHVnZ2luZ2ZhY2UtY2xpJTIwbG9naW4=",highlighted:"huggingface-cli login",wrap:!1}}),Ct=new _({props:{code:"cHl0aG9uJTIwZXhhbXBsZXMlMkZweXRvcmNoJTJGc3VtbWFyaXphdGlvbiUyRnJ1bl9zdW1tYXJpemF0aW9uLnB5JTBBJTIwJTIwJTIwJTIwLS1tb2RlbF9uYW1lX29yX3BhdGglMjBnb29nbGUtdDUlMkZ0NS1zbWFsbCUyMCU1QyUwQSUyMCUyMCUyMCUyMC0tZG9fdHJhaW4lMjAlNUMlMEElMjAlMjAlMjAlMjAtLWRvX2V2YWwlMjAlNUMlMEElMjAlMjAlMjAlMjAtLWRhdGFzZXRfbmFtZSUyMGNubl9kYWlseW1haWwlMjAlNUMlMEElMjAlMjAlMjAlMjAtLWRhdGFzZXRfY29uZmlnJTIwJTIyMy4wLjAlMjIlMjAlNUMlMEElMjAlMjAlMjAlMjAtLXNvdXJjZV9wcmVmaXglMjAlMjJzdW1tYXJpemUlM0ElMjAlMjIlMjAlNUMlMEElMjAlMjAlMjAlMjAtLXB1c2hfdG9faHViJTIwJTVDJTBBJTIwJTIwJTIwJTIwLS1wdXNoX3RvX2h1Yl9tb2RlbF9pZCUyMGZpbmV0dW5lZC10NS1jbm5fZGFpbHltYWlsJTIwJTVDJTBBJTIwJTIwJTIwJTIwLS1vdXRwdXRfZGlyJTIwJTJGdG1wJTJGdHN0LXN1bW1hcml6YXRpb24lMjAlNUMlMEElMjAlMjAlMjAlMjAtLXBlcl9kZXZpY2VfdHJhaW5fYmF0Y2hfc2l6ZSUzRDQlMjAlNUMlMEElMjAlMjAlMjAlMjAtLXBlcl9kZXZpY2VfZXZhbF9iYXRjaF9zaXplJTNENCUyMCU1QyUwQSUyMCUyMCUyMCUyMC0tb3ZlcndyaXRlX291dHB1dF9kaXIlMjAlNUMlMEElMjAlMjAlMjAlMjAtLXByZWRpY3Rfd2l0aF9nZW5lcmF0ZQ==",highlighted:`python examples/pytorch/summarization/run_summarization.py | |
| --model_name_or_path google-t5/t5-small \\ | |
| --do_train \\ | |
| --do_eval \\ | |
| --dataset_name cnn_dailymail \\ | |
| --dataset_config <span class="hljs-string">"3.0.0"</span> \\ | |
| --source_prefix <span class="hljs-string">"summarize: "</span> \\ | |
| --push_to_hub \\ | |
| --push_to_hub_model_id finetuned-t5-cnn_dailymail \\ | |
| --output_dir /tmp/tst-summarization \\ | |
| --per_device_train_batch_size=4 \\ | |
| --per_device_eval_batch_size=4 \\ | |
| --overwrite_output_dir \\ | |
| --predict_with_generate`,wrap:!1}}),Xt=new Xl({props:{source:"https://github.com/huggingface/transformers/blob/main/docs/source/ja/run_scripts.md"}}),{c(){i=p("meta"),u=r(),n=p("p"),m=r(),w(f.$$.fragment),M=r(),U=p("p"),U.innerHTML=Ye,Wt=r(),X=p("p"),X.innerHTML=ze,Zt=r(),I=p("p"),I.textContent=Se,xt=r(),A=p("p"),A.innerHTML=Ee,Rt=r(),v=p("p"),v.innerHTML=He,Gt=r(),w(W.$$.fragment),Lt=r(),Z=p("p"),Z.textContent=ke,Vt=r(),w(x.$$.fragment),Nt=r(),R=p("p"),R.textContent=Qe,Bt=r(),G=p("details"),G.innerHTML=De,Ft=r(),L=p("p"),L.textContent=Pe,Yt=r(),w(V.$$.fragment),zt=r(),N=p("p"),N.textContent=qe,St=r(),w(B.$$.fragment),Et=r(),w(F.$$.fragment),Ht=r(),w(b.$$.fragment),kt=r(),w(Y.$$.fragment),Qt=r(),z=p("p"),z.innerHTML=Oe,Dt=r(),S=p("ul"),S.innerHTML=Ke,Pt=r(),E=p("p"),E.textContent=tl,qt=r(),w(H.$$.fragment),Ot=r(),k=p("p"),k.innerHTML=el,Kt=r(),w(Q.$$.fragment),te=r(),w($.$$.fragment),ee=r(),w(D.$$.fragment),le=r(),P=p("p"),P.innerHTML=ll,ae=r(),C=p("blockquote"),At=p("p"),At.textContent=al,Ne=r(),w(q.$$.fragment),ie=r(),O=p("p"),O.innerHTML=il,ne=r(),w(K.$$.fragment),re=r(),tt=p("p"),tt.textContent=nl,se=r(),w(et.$$.fragment),Me=r(),lt=p("p"),lt.textContent=rl,me=r(),w(at.$$.fragment),pe=r(),w(it.$$.fragment),oe=r(),nt=p("p"),nt.textContent=sl,fe=r(),rt=p("ul"),rt.innerHTML=Ml,ue=r(),st=p("p"),st.textContent=ml,ce=r(),w(Mt.$$.fragment),we=r(),w(mt.$$.fragment),Je=r(),pt=p("p"),pt.textContent=pl,ye=r(),ot=p("ul"),ot.innerHTML=ol,Te=r(),w(ft.$$.fragment),de=r(),ut=p("p"),ut.innerHTML=fl,he=r(),w(ct.$$.fragment),Ue=r(),w(wt.$$.fragment),_e=r(),Jt=p("p"),Jt.textContent=ul,ge=r(),yt=p("p"),yt.innerHTML=cl,je=r(),w(Tt.$$.fragment),be=r(),dt=p("p"),dt.innerHTML=wl,$e=r(),w(ht.$$.fragment),Ce=r(),w(Ut.$$.fragment),Xe=r(),_t=p("p"),_t.innerHTML=Jl,Ie=r(),w(gt.$$.fragment),Ae=r(),jt=p("p"),jt.innerHTML=yl,ve=r(),bt=p("p"),bt.innerHTML=Tl,We=r(),$t=p("p"),$t.textContent=dl,Ze=r(),w(Ct.$$.fragment),xe=r(),w(Xt.$$.fragment),Re=r(),vt=p("p"),this.h()},l(t){const e=Cl("svelte-u9bgzb",document.head);i=o(e,"META",{name:!0,content:!0}),e.forEach(l),u=s(t),n=o(t,"P",{}),Be(n).forEach(l),m=s(t),J(f.$$.fragment,t),M=s(t),U=o(t,"P",{"data-svelte-h":!0}),c(U)!=="svelte-1306ylp"&&(U.innerHTML=Ye),Wt=s(t),X=o(t,"P",{"data-svelte-h":!0}),c(X)!=="svelte-syxjfu"&&(X.innerHTML=ze),Zt=s(t),I=o(t,"P",{"data-svelte-h":!0}),c(I)!=="svelte-1lausv5"&&(I.textContent=Se),xt=s(t),A=o(t,"P",{"data-svelte-h":!0}),c(A)!=="svelte-27a3wx"&&(A.innerHTML=Ee),Rt=s(t),v=o(t,"P",{"data-svelte-h":!0}),c(v)!=="svelte-19fm544"&&(v.innerHTML=He),Gt=s(t),J(W.$$.fragment,t),Lt=s(t),Z=o(t,"P",{"data-svelte-h":!0}),c(Z)!=="svelte-1n5u51u"&&(Z.textContent=ke),Vt=s(t),J(x.$$.fragment,t),Nt=s(t),R=o(t,"P",{"data-svelte-h":!0}),c(R)!=="svelte-b8k59p"&&(R.textContent=Qe),Bt=s(t),G=o(t,"DETAILS",{"data-svelte-h":!0}),c(G)!=="svelte-1hlw0ln"&&(G.innerHTML=De),Ft=s(t),L=o(t,"P",{"data-svelte-h":!0}),c(L)!=="svelte-5wcyhr"&&(L.textContent=Pe),Yt=s(t),J(V.$$.fragment,t),zt=s(t),N=o(t,"P",{"data-svelte-h":!0}),c(N)!=="svelte-gflbb4"&&(N.textContent=qe),St=s(t),J(B.$$.fragment,t),Et=s(t),J(F.$$.fragment,t),Ht=s(t),J(b.$$.fragment,t),kt=s(t),J(Y.$$.fragment,t),Qt=s(t),z=o(t,"P",{"data-svelte-h":!0}),c(z)!=="svelte-5guxi7"&&(z.innerHTML=Oe),Dt=s(t),S=o(t,"UL",{"data-svelte-h":!0}),c(S)!=="svelte-1bvcrdb"&&(S.innerHTML=Ke),Pt=s(t),E=o(t,"P",{"data-svelte-h":!0}),c(E)!=="svelte-1ai2r2d"&&(E.textContent=tl),qt=s(t),J(H.$$.fragment,t),Ot=s(t),k=o(t,"P",{"data-svelte-h":!0}),c(k)!=="svelte-1qm19xe"&&(k.innerHTML=el),Kt=s(t),J(Q.$$.fragment,t),te=s(t),J($.$$.fragment,t),ee=s(t),J(D.$$.fragment,t),le=s(t),P=o(t,"P",{"data-svelte-h":!0}),c(P)!=="svelte-hzxcyx"&&(P.innerHTML=ll),ae=s(t),C=o(t,"BLOCKQUOTE",{});var It=Be(C);At=o(It,"P",{"data-svelte-h":!0}),c(At)!=="svelte-a2o98p"&&(At.textContent=al),Ne=s(It),J(q.$$.fragment,It),It.forEach(l),ie=s(t),O=o(t,"P",{"data-svelte-h":!0}),c(O)!=="svelte-1rg63kt"&&(O.innerHTML=il),ne=s(t),J(K.$$.fragment,t),re=s(t),tt=o(t,"P",{"data-svelte-h":!0}),c(tt)!=="svelte-1ts1ezg"&&(tt.textContent=nl),se=s(t),J(et.$$.fragment,t),Me=s(t),lt=o(t,"P",{"data-svelte-h":!0}),c(lt)!=="svelte-15segnh"&&(lt.textContent=rl),me=s(t),J(at.$$.fragment,t),pe=s(t),J(it.$$.fragment,t),oe=s(t),nt=o(t,"P",{"data-svelte-h":!0}),c(nt)!=="svelte-xnq3c6"&&(nt.textContent=sl),fe=s(t),rt=o(t,"UL",{"data-svelte-h":!0}),c(rt)!=="svelte-wpo5wn"&&(rt.innerHTML=Ml),ue=s(t),st=o(t,"P",{"data-svelte-h":!0}),c(st)!=="svelte-7sp0p4"&&(st.textContent=ml),ce=s(t),J(Mt.$$.fragment,t),we=s(t),J(mt.$$.fragment,t),Je=s(t),pt=o(t,"P",{"data-svelte-h":!0}),c(pt)!=="svelte-yvv2tq"&&(pt.textContent=pl),ye=s(t),ot=o(t,"UL",{"data-svelte-h":!0}),c(ot)!=="svelte-14g5f8g"&&(ot.innerHTML=ol),Te=s(t),J(ft.$$.fragment,t),de=s(t),ut=o(t,"P",{"data-svelte-h":!0}),c(ut)!=="svelte-1ngexd8"&&(ut.innerHTML=fl),he=s(t),J(ct.$$.fragment,t),Ue=s(t),J(wt.$$.fragment,t),_e=s(t),Jt=o(t,"P",{"data-svelte-h":!0}),c(Jt)!=="svelte-rk9vlj"&&(Jt.textContent=ul),ge=s(t),yt=o(t,"P",{"data-svelte-h":!0}),c(yt)!=="svelte-1voypz1"&&(yt.innerHTML=cl),je=s(t),J(Tt.$$.fragment,t),be=s(t),dt=o(t,"P",{"data-svelte-h":!0}),c(dt)!=="svelte-vt284o"&&(dt.innerHTML=wl),$e=s(t),J(ht.$$.fragment,t),Ce=s(t),J(Ut.$$.fragment,t),Xe=s(t),_t=o(t,"P",{"data-svelte-h":!0}),c(_t)!=="svelte-jhy2j4"&&(_t.innerHTML=Jl),Ie=s(t),J(gt.$$.fragment,t),Ae=s(t),jt=o(t,"P",{"data-svelte-h":!0}),c(jt)!=="svelte-jx8oo9"&&(jt.innerHTML=yl),ve=s(t),bt=o(t,"P",{"data-svelte-h":!0}),c(bt)!=="svelte-1rlq1wj"&&(bt.innerHTML=Tl),We=s(t),$t=o(t,"P",{"data-svelte-h":!0}),c($t)!=="svelte-e0p2jd"&&($t.textContent=dl),Ze=s(t),J(Ct.$$.fragment,t),xe=s(t),J(Xt.$$.fragment,t),Re=s(t),vt=o(t,"P",{}),Be(vt).forEach(l),this.h()},h(){Ul(i,"name","hf:doc:metadata"),Ul(i,"content",Vl)},m(t,e){Fe(document.head,i),a(t,u,e),a(t,n,e),a(t,m,e),y(f,t,e),a(t,M,e),a(t,U,e),a(t,Wt,e),a(t,X,e),a(t,Zt,e),a(t,I,e),a(t,xt,e),a(t,A,e),a(t,Rt,e),a(t,v,e),a(t,Gt,e),y(W,t,e),a(t,Lt,e),a(t,Z,e),a(t,Vt,e),y(x,t,e),a(t,Nt,e),a(t,R,e),a(t,Bt,e),a(t,G,e),a(t,Ft,e),a(t,L,e),a(t,Yt,e),y(V,t,e),a(t,zt,e),a(t,N,e),a(t,St,e),y(B,t,e),a(t,Et,e),y(F,t,e),a(t,Ht,e),y(b,t,e),a(t,kt,e),y(Y,t,e),a(t,Qt,e),a(t,z,e),a(t,Dt,e),a(t,S,e),a(t,Pt,e),a(t,E,e),a(t,qt,e),y(H,t,e),a(t,Ot,e),a(t,k,e),a(t,Kt,e),y(Q,t,e),a(t,te,e),y($,t,e),a(t,ee,e),y(D,t,e),a(t,le,e),a(t,P,e),a(t,ae,e),a(t,C,e),Fe(C,At),Fe(C,Ne),y(q,C,null),a(t,ie,e),a(t,O,e),a(t,ne,e),y(K,t,e),a(t,re,e),a(t,tt,e),a(t,se,e),y(et,t,e),a(t,Me,e),a(t,lt,e),a(t,me,e),y(at,t,e),a(t,pe,e),y(it,t,e),a(t,oe,e),a(t,nt,e),a(t,fe,e),a(t,rt,e),a(t,ue,e),a(t,st,e),a(t,ce,e),y(Mt,t,e),a(t,we,e),y(mt,t,e),a(t,Je,e),a(t,pt,e),a(t,ye,e),a(t,ot,e),a(t,Te,e),y(ft,t,e),a(t,de,e),a(t,ut,e),a(t,he,e),y(ct,t,e),a(t,Ue,e),y(wt,t,e),a(t,_e,e),a(t,Jt,e),a(t,ge,e),a(t,yt,e),a(t,je,e),y(Tt,t,e),a(t,be,e),a(t,dt,e),a(t,$e,e),y(ht,t,e),a(t,Ce,e),y(Ut,t,e),a(t,Xe,e),a(t,_t,e),a(t,Ie,e),y(gt,t,e),a(t,Ae,e),a(t,jt,e),a(t,ve,e),a(t,bt,e),a(t,We,e),a(t,$t,e),a(t,Ze,e),y(Ct,t,e),a(t,xe,e),y(Xt,t,e),a(t,Re,e),a(t,vt,e),Ge=!0},p(t,[e]){const It={};e&2&&(It.$$scope={dirty:e,ctx:t}),b.$set(It);const hl={};e&2&&(hl.$$scope={dirty:e,ctx:t}),$.$set(hl)},i(t){Ge||(T(f.$$.fragment,t),T(W.$$.fragment,t),T(x.$$.fragment,t),T(V.$$.fragment,t),T(B.$$.fragment,t),T(F.$$.fragment,t),T(b.$$.fragment,t),T(Y.$$.fragment,t),T(H.$$.fragment,t),T(Q.$$.fragment,t),T($.$$.fragment,t),T(D.$$.fragment,t),T(q.$$.fragment,t),T(K.$$.fragment,t),T(et.$$.fragment,t),T(at.$$.fragment,t),T(it.$$.fragment,t),T(Mt.$$.fragment,t),T(mt.$$.fragment,t),T(ft.$$.fragment,t),T(ct.$$.fragment,t),T(wt.$$.fragment,t),T(Tt.$$.fragment,t),T(ht.$$.fragment,t),T(Ut.$$.fragment,t),T(gt.$$.fragment,t),T(Ct.$$.fragment,t),T(Xt.$$.fragment,t),Ge=!0)},o(t){d(f.$$.fragment,t),d(W.$$.fragment,t),d(x.$$.fragment,t),d(V.$$.fragment,t),d(B.$$.fragment,t),d(F.$$.fragment,t),d(b.$$.fragment,t),d(Y.$$.fragment,t),d(H.$$.fragment,t),d(Q.$$.fragment,t),d($.$$.fragment,t),d(D.$$.fragment,t),d(q.$$.fragment,t),d(K.$$.fragment,t),d(et.$$.fragment,t),d(at.$$.fragment,t),d(it.$$.fragment,t),d(Mt.$$.fragment,t),d(mt.$$.fragment,t),d(ft.$$.fragment,t),d(ct.$$.fragment,t),d(wt.$$.fragment,t),d(Tt.$$.fragment,t),d(ht.$$.fragment,t),d(Ut.$$.fragment,t),d(gt.$$.fragment,t),d(Ct.$$.fragment,t),d(Xt.$$.fragment,t),Ge=!1},d(t){t&&(l(u),l(n),l(m),l(M),l(U),l(Wt),l(X),l(Zt),l(I),l(xt),l(A),l(Rt),l(v),l(Gt),l(Lt),l(Z),l(Vt),l(Nt),l(R),l(Bt),l(G),l(Ft),l(L),l(Yt),l(zt),l(N),l(St),l(Et),l(Ht),l(kt),l(Qt),l(z),l(Dt),l(S),l(Pt),l(E),l(qt),l(Ot),l(k),l(Kt),l(te),l(ee),l(le),l(P),l(ae),l(C),l(ie),l(O),l(ne),l(re),l(tt),l(se),l(Me),l(lt),l(me),l(pe),l(oe),l(nt),l(fe),l(rt),l(ue),l(st),l(ce),l(we),l(Je),l(pt),l(ye),l(ot),l(Te),l(de),l(ut),l(he),l(Ue),l(_e),l(Jt),l(ge),l(yt),l(je),l(be),l(dt),l($e),l(Ce),l(Xe),l(_t),l(Ie),l(Ae),l(jt),l(ve),l(bt),l(We),l($t),l(Ze),l(xe),l(Re),l(vt)),l(i),h(f,t),h(W,t),h(x,t),h(V,t),h(B,t),h(F,t),h(b,t),h(Y,t),h(H,t),h(Q,t),h($,t),h(D,t),h(q),h(K,t),h(et,t),h(at,t),h(it,t),h(Mt,t),h(mt,t),h(ft,t),h(ct,t),h(wt,t),h(Tt,t),h(ht,t),h(Ut,t),h(gt,t),h(Ct,t),h(Xt,t)}}}const Vl='{"title":"Train with a script","local":"train-with-a-script","sections":[{"title":"Setup","local":"setup","sections":[],"depth":2},{"title":"Run a script","local":"run-a-script","sections":[],"depth":2},{"title":"Distributed training and mixed precision","local":"distributed-training-and-mixed-precision","sections":[],"depth":2},{"title":"Run a script on a TPU","local":"run-a-script-on-a-tpu","sections":[],"depth":2},{"title":"Run a script with 🤗 Accelerate","local":"run-a-script-with--accelerate","sections":[],"depth":2},{"title":"Use a custom dataset","local":"use-a-custom-dataset","sections":[],"depth":2},{"title":"Test a script","local":"test-a-script","sections":[],"depth":2},{"title":"Resume training from checkpoint","local":"resume-training-from-checkpoint","sections":[],"depth":2},{"title":"Share your model","local":"share-your-model","sections":[],"depth":2}],"depth":1}';function Nl(g){return jl(()=>{new URLSearchParams(window.location.search).get("fw")}),[]}class El extends bl{constructor(i){super(),$l(this,i,Nl,Ll,gl,{})}}export{El as component}; | |
Xet Storage Details
- Size:
- 45.2 kB
- Xet hash:
- 9d87d35019619efe00b286854fb43f21274eb04a7bea871280dd53fab3507cfd
·
Xet efficiently stores files, intelligently splitting them into unique chunks and accelerating uploads and downloads. More info.