Buckets:

hf-doc-build
/

doc-dev

hf-doc-build/doc-dev / transformers /main /de /_app /immutable /nodes /16.b3379ea7.js

rtrm's picture

about 1 month ago

44.4 kB

	import{s as Jl,o as yl,n as kt}from"../chunks/scheduler.987d3921.js";import{S as Ul,i as bl,g as M,s as a,r as d,A as _l,h as p,f as l,c as s,j as Vt,u as h,x as J,k as gl,y as Gt,a as n,v as c,d as w,t as g,w as T}from"../chunks/index.c8b1fed4.js";import{C as U}from"../chunks/CodeBlock.18094d58.js";import{F as Tl,M as St}from"../chunks/Markdown.10b8ab04.js";import{H as _,E as jl}from"../chunks/EditOnGithub.a3fde557.js";function $l(b){let i,f='Das Beispielskript lädt einen Datensatz aus der 🤗 <a href="https://huggingface.co/docs/datasets/" rel="nofollow">Datasets</a> Bibliothek herunter und verarbeitet ihn vor. Dann nimmt das Skript eine Feinabstimmung eines Datensatzes mit dem <a href="https://huggingface.co/docs/transformers/main_classes/trainer" rel="nofollow">Trainer</a> auf einer Architektur vor, die eine Zusammenfassung unterstützt. Das folgende Beispiel zeigt, wie die Feinabstimmung von <a href="https://huggingface.co/google-t5/t5-small" rel="nofollow">T5-small</a> auf dem Datensatz <a href="https://huggingface.co/datasets/cnn_dailymail" rel="nofollow">CNN/DailyMail</a> durchgeführt wird. Das T5-Modell benötigt aufgrund der Art und Weise, wie es trainiert wurde, ein zusätzliches Argument <code>source_prefix</code>. Mit dieser Eingabeaufforderung weiß T5, dass es sich um eine Zusammenfassungsaufgabe handelt.',r,u,o;return u=new U({props:{code:"cHl0aG9uJTIwZXhhbXBsZXMlMkZweXRvcmNoJTJGc3VtbWFyaXphdGlvbiUyRnJ1bl9zdW1tYXJpemF0aW9uLnB5JTIwJTVDJTBBJTIwJTIwJTIwJTIwLS1tb2RlbF9uYW1lX29yX3BhdGglMjBnb29nbGUtdDUlMkZ0NS1zbWFsbCUyMCU1QyUwQSUyMCUyMCUyMCUyMC0tZG9fdHJhaW4lMjAlNUMlMEElMjAlMjAlMjAlMjAtLWRvX2V2YWwlMjAlNUMlMEElMjAlMjAlMjAlMjAtLWRhdGFzZXRfbmFtZSUyMGNubl9kYWlseW1haWwlMjAlNUMlMEElMjAlMjAlMjAlMjAtLWRhdGFzZXRfY29uZmlnJTIwJTIyMy4wLjAlMjIlMjAlNUMlMEElMjAlMjAlMjAlMjAtLXNvdXJjZV9wcmVmaXglMjAlMjJzdW1tYXJpemUlM0ElMjAlMjIlMjAlNUMlMEElMjAlMjAlMjAlMjAtLW91dHB1dF9kaXIlMjAlMkZ0bXAlMkZ0c3Qtc3VtbWFyaXphdGlvbiUyMCU1QyUwQSUyMCUyMCUyMCUyMC0tcGVyX2RldmljZV90cmFpbl9iYXRjaF9zaXplJTNENCUyMCU1QyUwQSUyMCUyMCUyMCUyMC0tcGVyX2RldmljZV9ldmFsX2JhdGNoX3NpemUlM0Q0JTIwJTVDJTBBJTIwJTIwJTIwJTIwLS1vdmVyd3JpdGVfb3V0cHV0X2RpciUyMCU1QyUwQSUyMCUyMCUyMCUyMC0tcHJlZGljdF93aXRoX2dlbmVyYXRl",highlighted:`python examples/pytorch/summarization/run_summarization.py \\
	--model_name_or_path google-t5/t5-small \\
	--do_train \\
	--do_eval \\
	--dataset_name cnn_dailymail \\
	--dataset_config <span class="hljs-string">"3.0.0"</span> \\
	--source_prefix <span class="hljs-string">"summarize: "</span> \\
	--output_dir /tmp/tst-summarization \\
	--per_device_train_batch_size=4 \\
	--per_device_eval_batch_size=4 \\
	--overwrite_output_dir \\
	--predict_with_generate`,wrap:!1}}),{c(){i=M("p"),i.innerHTML=f,r=a(),d(u.$$.fragment)},l(m){i=p(m,"P",{"data-svelte-h":!0}),J(i)!=="svelte-1m5xzyk"&&(i.innerHTML=f),r=s(m),h(u.$$.fragment,m)},m(m,y){n(m,i,y),n(m,r,y),c(u,m,y),o=!0},p:kt,i(m){o\|\|(w(u.$$.fragment,m),o=!0)},o(m){g(u.$$.fragment,m),o=!1},d(m){m&&(l(i),l(r)),T(u,m)}}}function vl(b){let i,f;return i=new St({props:{$$slots:{default:[$l]},$$scope:{ctx:b}}}),{c(){d(i.$$.fragment)},l(r){h(i.$$.fragment,r)},m(r,u){c(i,r,u),f=!0},p(r,u){const o={};u&2&&(o.$$scope={dirty:u,ctx:r}),i.$set(o)},i(r){f\|\|(w(i.$$.fragment,r),f=!0)},o(r){g(i.$$.fragment,r),f=!1},d(r){T(i,r)}}}function Cl(b){let i,f='Das Beispielskript lädt einen Datensatz aus der 🤗 <a href="https://huggingface.co/docs/datasets/" rel="nofollow">Datasets</a> Bibliothek herunter und verarbeitet ihn vor. Anschließend nimmt das Skript die Feinabstimmung eines Datensatzes mit Keras auf einer Architektur vor, die die Zusammenfassung unterstützt. Das folgende Beispiel zeigt, wie die Feinabstimmung von <a href="https://huggingface.co/google-t5/t5-small" rel="nofollow">T5-small</a> auf dem <a href="https://huggingface.co/datasets/cnn_dailymail" rel="nofollow">CNN/DailyMail</a> Datensatz durchgeführt wird. Das T5-Modell benötigt aufgrund der Art und Weise, wie es trainiert wurde, ein zusätzliches Argument <code>source_prefix</code>. Mit dieser Eingabeaufforderung weiß T5, dass es sich um eine Zusammenfassungsaufgabe handelt.',r,u,o;return u=new U({props:{code:"cHl0aG9uJTIwZXhhbXBsZXMlMkZ0ZW5zb3JmbG93JTJGc3VtbWFyaXphdGlvbiUyRnJ1bl9zdW1tYXJpemF0aW9uLnB5JTIwJTIwJTVDJTBBJTIwJTIwJTIwJTIwLS1tb2RlbF9uYW1lX29yX3BhdGglMjBnb29nbGUtdDUlMkZ0NS1zbWFsbCUyMCU1QyUwQSUyMCUyMCUyMCUyMC0tZGF0YXNldF9uYW1lJTIwY25uX2RhaWx5bWFpbCUyMCU1QyUwQSUyMCUyMCUyMCUyMC0tZGF0YXNldF9jb25maWclMjAlMjIzLjAuMCUyMiUyMCU1QyUwQSUyMCUyMCUyMCUyMC0tb3V0cHV0X2RpciUyMCUyRnRtcCUyRnRzdC1zdW1tYXJpemF0aW9uJTIwJTIwJTVDJTBBJTIwJTIwJTIwJTIwLS1wZXJfZGV2aWNlX3RyYWluX2JhdGNoX3NpemUlMjA4JTIwJTVDJTBBJTIwJTIwJTIwJTIwLS1wZXJfZGV2aWNlX2V2YWxfYmF0Y2hfc2l6ZSUyMDE2JTIwJTVDJTBBJTIwJTIwJTIwJTIwLS1udW1fdHJhaW5fZXBvY2hzJTIwMyUyMCU1QyUwQSUyMCUyMCUyMCUyMC0tZG9fdHJhaW4lMjAlNUMlMEElMjAlMjAlMjAlMjAtLWRvX2V2YWw=",highlighted:`python examples/tensorflow/summarization/run_summarization.py \\
	--model_name_or_path google-t5/t5-small \\
	--dataset_name cnn_dailymail \\
	--dataset_config <span class="hljs-string">"3.0.0"</span> \\
	--output_dir /tmp/tst-summarization \\
	--per_device_train_batch_size 8 \\
	--per_device_eval_batch_size 16 \\
	--num_train_epochs 3 \\
	--do_train \\
	--do_eval`,wrap:!1}}),{c(){i=M("p"),i.innerHTML=f,r=a(),d(u.$$.fragment)},l(m){i=p(m,"P",{"data-svelte-h":!0}),J(i)!=="svelte-ja7ep7"&&(i.innerHTML=f),r=s(m),h(u.$$.fragment,m)},m(m,y){n(m,i,y),n(m,r,y),c(u,m,y),o=!0},p:kt,i(m){o\|\|(w(u.$$.fragment,m),o=!0)},o(m){g(u.$$.fragment,m),o=!1},d(m){m&&(l(i),l(r)),T(u,m)}}}function Al(b){let i,f;return i=new St({props:{$$slots:{default:[Cl]},$$scope:{ctx:b}}}),{c(){d(i.$$.fragment)},l(r){h(i.$$.fragment,r)},m(r,u){c(i,r,u),f=!0},p(r,u){const o={};u&2&&(o.$$scope={dirty:u,ctx:r}),i.$set(o)},i(r){f\|\|(w(i.$$.fragment,r),f=!0)},o(r){g(i.$$.fragment,r),f=!1},d(r){T(i,r)}}}function Xl(b){let i,f='Tensor Processing Units (TPUs) sind speziell für die Beschleunigung der Leistung konzipiert. PyTorch unterstützt TPUs mit dem <a href="https://www.tensorflow.org/xla" rel="nofollow">XLA</a> Deep Learning Compiler (siehe <a href="https://github.com/pytorch/xla/blob/master/README.md" rel="nofollow">hier</a> für weitere Details). Um eine TPU zu verwenden, starten Sie das Skript <code>xla_spawn.py</code> und verwenden das Argument <code>num_cores</code>, um die Anzahl der TPU-Kerne festzulegen, die Sie verwenden möchten.',r,u,o;return u=new U({props:{code:"cHl0aG9uJTIweGxhX3NwYXduLnB5JTIwLS1udW1fY29yZXMlMjA4JTIwJTVDJTBBJTIwJTIwJTIwJTIwc3VtbWFyaXphdGlvbiUyRnJ1bl9zdW1tYXJpemF0aW9uLnB5JTIwJTVDJTBBJTIwJTIwJTIwJTIwLS1tb2RlbF9uYW1lX29yX3BhdGglMjBnb29nbGUtdDUlMkZ0NS1zbWFsbCUyMCU1QyUwQSUyMCUyMCUyMCUyMC0tZG9fdHJhaW4lMjAlNUMlMEElMjAlMjAlMjAlMjAtLWRvX2V2YWwlMjAlNUMlMEElMjAlMjAlMjAlMjAtLWRhdGFzZXRfbmFtZSUyMGNubl9kYWlseW1haWwlMjAlNUMlMEElMjAlMjAlMjAlMjAtLWRhdGFzZXRfY29uZmlnJTIwJTIyMy4wLjAlMjIlMjAlNUMlMEElMjAlMjAlMjAlMjAtLXNvdXJjZV9wcmVmaXglMjAlMjJzdW1tYXJpemUlM0ElMjAlMjIlMjAlNUMlMEElMjAlMjAlMjAlMjAtLW91dHB1dF9kaXIlMjAlMkZ0bXAlMkZ0c3Qtc3VtbWFyaXphdGlvbiUyMCU1QyUwQSUyMCUyMCUyMCUyMC0tcGVyX2RldmljZV90cmFpbl9iYXRjaF9zaXplJTNENCUyMCU1QyUwQSUyMCUyMCUyMCUyMC0tcGVyX2RldmljZV9ldmFsX2JhdGNoX3NpemUlM0Q0JTIwJTVDJTBBJTIwJTIwJTIwJTIwLS1vdmVyd3JpdGVfb3V0cHV0X2RpciUyMCU1QyUwQSUyMCUyMCUyMCUyMC0tcHJlZGljdF93aXRoX2dlbmVyYXRl",highlighted:`python xla_spawn.py --num_cores 8 \\
	summarization/run_summarization.py \\
	--model_name_or_path google-t5/t5-small \\
	--do_train \\
	--do_eval \\
	--dataset_name cnn_dailymail \\
	--dataset_config <span class="hljs-string">"3.0.0"</span> \\
	--source_prefix <span class="hljs-string">"summarize: "</span> \\
	--output_dir /tmp/tst-summarization \\
	--per_device_train_batch_size=4 \\
	--per_device_eval_batch_size=4 \\
	--overwrite_output_dir \\
	--predict_with_generate`,wrap:!1}}),{c(){i=M("p"),i.innerHTML=f,r=a(),d(u.$$.fragment)},l(m){i=p(m,"P",{"data-svelte-h":!0}),J(i)!=="svelte-1x2esg2"&&(i.innerHTML=f),r=s(m),h(u.$$.fragment,m)},m(m,y){n(m,i,y),n(m,r,y),c(u,m,y),o=!0},p:kt,i(m){o\|\|(w(u.$$.fragment,m),o=!0)},o(m){g(u.$$.fragment,m),o=!1},d(m){m&&(l(i),l(r)),T(u,m)}}}function Il(b){let i,f;return i=new St({props:{$$slots:{default:[Xl]},$$scope:{ctx:b}}}),{c(){d(i.$$.fragment)},l(r){h(i.$$.fragment,r)},m(r,u){c(i,r,u),f=!0},p(r,u){const o={};u&2&&(o.$$scope={dirty:u,ctx:r}),i.$set(o)},i(r){f\|\|(w(i.$$.fragment,r),f=!0)},o(r){g(i.$$.fragment,r),f=!1},d(r){T(i,r)}}}function zl(b){let i,f='Tensor Processing Units (TPUs) sind speziell für die Beschleunigung der Leistung konzipiert. TensorFlow Skripte verwenden eine <a href="https://www.tensorflow.org/guide/distributed_training#tpustrategy" rel="nofollow"><code>TPUStrategy</code></a> für das Training auf TPUs. Um eine TPU zu verwenden, übergeben Sie den Namen der TPU-Ressource an das Argument <code>tpu</code>.',r,u,o;return u=new U({props:{code:"cHl0aG9uJTIwcnVuX3N1bW1hcml6YXRpb24ucHklMjAlMjAlNUMlMEElMjAlMjAlMjAlMjAtLXRwdSUyMG5hbWVfb2ZfdHB1X3Jlc291cmNlJTIwJTVDJTBBJTIwJTIwJTIwJTIwLS1tb2RlbF9uYW1lX29yX3BhdGglMjBnb29nbGUtdDUlMkZ0NS1zbWFsbCUyMCU1QyUwQSUyMCUyMCUyMCUyMC0tZGF0YXNldF9uYW1lJTIwY25uX2RhaWx5bWFpbCUyMCU1QyUwQSUyMCUyMCUyMCUyMC0tZGF0YXNldF9jb25maWclMjAlMjIzLjAuMCUyMiUyMCU1QyUwQSUyMCUyMCUyMCUyMC0tb3V0cHV0X2RpciUyMCUyRnRtcCUyRnRzdC1zdW1tYXJpemF0aW9uJTIwJTIwJTVDJTBBJTIwJTIwJTIwJTIwLS1wZXJfZGV2aWNlX3RyYWluX2JhdGNoX3NpemUlMjA4JTIwJTVDJTBBJTIwJTIwJTIwJTIwLS1wZXJfZGV2aWNlX2V2YWxfYmF0Y2hfc2l6ZSUyMDE2JTIwJTVDJTBBJTIwJTIwJTIwJTIwLS1udW1fdHJhaW5fZXBvY2hzJTIwMyUyMCU1QyUwQSUyMCUyMCUyMCUyMC0tZG9fdHJhaW4lMjAlNUMlMEElMjAlMjAlMjAlMjAtLWRvX2V2YWw=",highlighted:`python run_summarization.py \\
	--tpu name_of_tpu_resource \\
	--model_name_or_path google-t5/t5-small \\
	--dataset_name cnn_dailymail \\
	--dataset_config <span class="hljs-string">"3.0.0"</span> \\
	--output_dir /tmp/tst-summarization \\
	--per_device_train_batch_size 8 \\
	--per_device_eval_batch_size 16 \\
	--num_train_epochs 3 \\
	--do_train \\
	--do_eval`,wrap:!1}}),{c(){i=M("p"),i.innerHTML=f,r=a(),d(u.$$.fragment)},l(m){i=p(m,"P",{"data-svelte-h":!0}),J(i)!=="svelte-q7y3mk"&&(i.innerHTML=f),r=s(m),h(u.$$.fragment,m)},m(m,y){n(m,i,y),n(m,r,y),c(u,m,y),o=!0},p:kt,i(m){o\|\|(w(u.$$.fragment,m),o=!0)},o(m){g(u.$$.fragment,m),o=!1},d(m){m&&(l(i),l(r)),T(u,m)}}}function Wl(b){let i,f;return i=new St({props:{$$slots:{default:[zl]},$$scope:{ctx:b}}}),{c(){d(i.$$.fragment)},l(r){h(i.$$.fragment,r)},m(r,u){c(i,r,u),f=!0},p(r,u){const o={};u&2&&(o.$$scope={dirty:u,ctx:r}),i.$set(o)},i(r){f\|\|(w(i.$$.fragment,r),f=!0)},o(r){g(i.$$.fragment,r),f=!1},d(r){T(i,r)}}}function Zl(b){let i,f,r,u,o,m,y,Rt='Neben den 🤗 Transformers <a href="./notebooks">notebooks</a> gibt es auch Beispielskripte, die zeigen, wie man ein Modell für eine Aufgabe mit <a href="https://github.com/huggingface/transformers/tree/main/examples/pytorch" rel="nofollow">PyTorch</a>, <a href="https://github.com/huggingface/transformers/tree/main/examples/tensorflow" rel="nofollow">TensorFlow</a> oder <a href="https://github.com/huggingface/transformers/tree/main/examples/flax" rel="nofollow">JAX/Flax</a> trainiert.',Ie,C,Ft='Sie werden auch Skripte finden, die wir in unseren <a href="https://github.com/huggingface/transformers/tree/main/examples/research_projects" rel="nofollow">Forschungsprojekten</a> und <a href="https://github.com/huggingface/transformers/tree/main/examples/legacy" rel="nofollow">Legacy-Beispielen</a> verwendet haben und die größtenteils von der Community stammen. Diese Skripte werden nicht aktiv gepflegt und erfordern eine bestimmte Version von 🤗 Transformers, die höchstwahrscheinlich nicht mit der neuesten Version der Bibliothek kompatibel ist.',ze,A,Lt="Es wird nicht erwartet, dass die Beispielskripte bei jedem Problem sofort funktionieren. Möglicherweise müssen Sie das Skript an das Problem anpassen, das Sie zu lösen versuchen. Um Ihnen dabei zu helfen, legen die meisten Skripte vollständig offen, wie die Daten vorverarbeitet werden, so dass Sie sie nach Bedarf für Ihren Anwendungsfall bearbeiten können.",We,X,xt='Für jede Funktion, die Sie in einem Beispielskript implementieren möchten, diskutieren Sie bitte im <a href="https://discuss.huggingface.co/" rel="nofollow">Forum</a> oder in einem <a href="https://github.com/huggingface/transformers/issues" rel="nofollow">issue</a>, bevor Sie einen Pull Request einreichen. Wir freuen uns zwar über Fehlerkorrekturen, aber es ist unwahrscheinlich, dass wir einen Pull Request zusammenführen, der mehr Funktionalität auf Kosten der Lesbarkeit hinzufügt.',Ze,I,Nt='Diese Anleitung zeigt Ihnen, wie Sie ein Beispiel für ein Trainingsskript zur Zusammenfassung in <a href="https://github.com/huggingface/transformers/tree/main/examples/pytorch/summarization" rel="nofollow">PyTorch</a> und <a href="https://github.com/huggingface/transformers/tree/main/examples/tensorflow/summarization" rel="nofollow">TensorFlow</a> ausführen können. Sofern nicht anders angegeben, sollten alle Beispiele mit beiden Frameworks funktionieren.',ke,z,Se,W,Yt="Um die neueste Version der Beispielskripte erfolgreich auszuführen, <strong>müssen Sie 🤗 Transformers aus dem Quellcode</strong> in einer neuen virtuellen Umgebung installieren:",Be,Z,Ve,k,Et="Für ältere Versionen der Beispielskripte klicken Sie auf die Umschalttaste unten:",Ge,S,Ht='<summary>Beispiele für ältere Versionen von 🤗 Transformers</summary> <ul><li><a href="https://github.com/huggingface/transformers/tree/v4.5.1/examples">v4.5.1</a></li> <li><a href="https://github.com/huggingface/transformers/tree/v4.4.2/examples">v4.4.2</a></li> <li><a href="https://github.com/huggingface/transformers/tree/v4.3.3/examples">v4.3.3</a></li> <li><a href="https://github.com/huggingface/transformers/tree/v4.2.2/examples">v4.2.2</a></li> <li><a href="https://github.com/huggingface/transformers/tree/v4.1.1/examples">v4.1.1</a></li> <li><a href="https://github.com/huggingface/transformers/tree/v4.0.1/examples">v4.0.1</a></li> <li><a href="https://github.com/huggingface/transformers/tree/v3.5.1/examples">v3.5.1</a></li> <li><a href="https://github.com/huggingface/transformers/tree/v3.4.0/examples">v3.4.0</a></li> <li><a href="https://github.com/huggingface/transformers/tree/v3.3.1/examples">v3.3.1</a></li> <li><a href="https://github.com/huggingface/transformers/tree/v3.2.0/examples">v3.2.0</a></li> <li><a href="https://github.com/huggingface/transformers/tree/v3.1.0/examples">v3.1.0</a></li> <li><a href="https://github.com/huggingface/transformers/tree/v3.0.2/examples">v3.0.2</a></li> <li><a href="https://github.com/huggingface/transformers/tree/v2.11.0/examples">v2.11.0</a></li> <li><a href="https://github.com/huggingface/transformers/tree/v2.10.0/examples">v2.10.0</a></li> <li><a href="https://github.com/huggingface/transformers/tree/v2.9.1/examples">v2.9.1</a></li> <li><a href="https://github.com/huggingface/transformers/tree/v2.8.0/examples">v2.8.0</a></li> <li><a href="https://github.com/huggingface/transformers/tree/v2.7.0/examples">v2.7.0</a></li> <li><a href="https://github.com/huggingface/transformers/tree/v2.6.0/examples">v2.6.0</a></li> <li><a href="https://github.com/huggingface/transformers/tree/v2.5.1/examples">v2.5.1</a></li> <li><a href="https://github.com/huggingface/transformers/tree/v2.4.0/examples">v2.4.0</a></li> <li><a href="https://github.com/huggingface/transformers/tree/v2.3.0/examples">v2.3.0</a></li> <li><a href="https://github.com/huggingface/transformers/tree/v2.2.0/examples">v2.2.0</a></li> <li><a href="https://github.com/huggingface/transformers/tree/v2.1.0/examples">v2.1.1</a></li> <li><a href="https://github.com/huggingface/transformers/tree/v2.0.0/examples">v2.0.0</a></li> <li><a href="https://github.com/huggingface/transformers/tree/v1.2.0/examples">v1.2.0</a></li> <li><a href="https://github.com/huggingface/transformers/tree/v1.1.0/examples">v1.1.0</a></li> <li><a href="https://github.com/huggingface/transformers/tree/v1.0.0/examples">v1.0.0</a></li></ul>',Re,B,Qt="Dann stellen Sie Ihren aktuellen Klon von 🤗 Transformers auf eine bestimmte Version um, z.B. v3.5.1:",Fe,V,Le,G,Dt="Nachdem Sie die richtige Bibliotheksversion eingerichtet haben, navigieren Sie zu dem Beispielordner Ihrer Wahl und installieren die beispielspezifischen Anforderungen:",xe,R,Ne,F,Ye,j,Ee,L,He,x,Pt='Der <a href="https://huggingface.co/docs/transformers/main_classes/trainer" rel="nofollow">Trainer</a> unterstützt verteiltes Training und gemischte Präzision, d.h. Sie können ihn auch in einem Skript verwenden. So aktivieren Sie diese beiden Funktionen:',Qe,N,qt="<li>Fügen Sie das Argument <code>fp16</code> hinzu, um gemischte Genauigkeit zu aktivieren.</li> <li>Legen Sie die Anzahl der zu verwendenden GPUs mit dem Argument <code>nproc_per_node</code> fest.</li>",De,Y,Pe,E,Kt='TensorFlow-Skripte verwenden eine <a href="https://www.tensorflow.org/guide/distributed_training#mirroredstrategy" rel="nofollow"><code>MirroredStrategy</code></a> für verteiltes Training, und Sie müssen dem Trainingsskript keine zusätzlichen Argumente hinzufügen. Das TensorFlow-Skript verwendet standardmäßig mehrere GPUs, wenn diese verfügbar sind.',qe,H,Ke,$,Oe,Q,et,D,Ot='🤗 <a href="https://huggingface.co/docs/accelerate" rel="nofollow">Accelerate</a> ist eine reine PyTorch-Bibliothek, die eine einheitliche Methode für das Training eines Modells auf verschiedenen Arten von Setups (nur CPU, mehrere GPUs, TPUs) bietet und dabei die vollständige Transparenz der PyTorch-Trainingsschleife beibehält. Stellen Sie sicher, dass Sie 🤗 Accelerate installiert haben, wenn Sie es nicht bereits haben:',tt,v,Ae,el="Hinweis: Da Accelerate schnell weiterentwickelt wird, muss die Git-Version von Accelerate installiert sein, um die Skripte auszuführen.",Bt,P,lt,q,tl="Anstelle des Skripts <code>run_summarization.py</code> müssen Sie das Skript <code>run_summarization_no_trainer.py</code> verwenden. Die von Accelerate unterstützten Skripte haben eine Datei <code>task_no_trainer.py</code> im Ordner. Beginnen Sie mit dem folgenden Befehl, um eine Konfigurationsdatei zu erstellen und zu speichern:",nt,K,it,O,ll="Testen Sie Ihre Einrichtung, um sicherzustellen, dass sie korrekt konfiguriert ist:",rt,ee,at,te,nl="Jetzt sind Sie bereit, das Training zu starten:",st,le,mt,ne,ut,ie,il="Das Verdichtungsskript unterstützt benutzerdefinierte Datensätze, solange es sich um eine CSV- oder JSON-Line-Datei handelt. Wenn Sie Ihren eigenen Datensatz verwenden, müssen Sie mehrere zusätzliche Argumente angeben:",ot,re,rl="<li><code>train_file</code> und <code>validation_file</code> geben den Pfad zu Ihren Trainings- und Validierungsdateien an.</li> <li><code>text_column</code> ist der Eingabetext, der zusammengefasst werden soll.</li> <li>Summary_column” ist der auszugebende Zieltext.</li>",Mt,ae,al="Ein Zusammenfassungsskript, das einen benutzerdefinierten Datensatz verwendet, würde wie folgt aussehen:",pt,se,ft,me,dt,ue,sl="Es ist oft eine gute Idee, Ihr Skript an einer kleineren Anzahl von Beispielen für Datensätze auszuführen, um sicherzustellen, dass alles wie erwartet funktioniert, bevor Sie sich auf einen ganzen Datensatz festlegen, dessen Fertigstellung Stunden dauern kann. Verwenden Sie die folgenden Argumente, um den Datensatz auf eine maximale Anzahl von Stichproben zu beschränken:",ht,oe,ml="<li><code>max_train_samples</code></li> <li><code>max_eval_samples</code></li> <li><code>max_predict_samples</code></li>",ct,Me,wt,pe,ul="Nicht alle Beispielskripte unterstützen das Argument <code>max_predict_samples</code>. Wenn Sie sich nicht sicher sind, ob Ihr Skript dieses Argument unterstützt, fügen Sie das Argument <code>-h</code> hinzu, um dies zu überprüfen:",gt,fe,Tt,de,Jt,he,ol="Eine weitere hilfreiche Option, die Sie aktivieren können, ist die Wiederaufnahme des Trainings von einem früheren Kontrollpunkt aus. Auf diese Weise können Sie im Falle einer Unterbrechung Ihres Trainings dort weitermachen, wo Sie aufgehört haben, ohne von vorne beginnen zu müssen. Es gibt zwei Methoden, um das Training von einem Kontrollpunkt aus wieder aufzunehmen.",yt,ce,Ml="Die erste Methode verwendet das Argument <code>output_dir previous_output_dir</code>, um das Training ab dem letzten in <code>output_dir</code> gespeicherten Kontrollpunkt wieder aufzunehmen. In diesem Fall sollten Sie <code>overwrite_output_dir</code> entfernen:",Ut,we,bt,ge,pl="Die zweite Methode verwendet das Argument <code>Resume_from_checkpoint path_to_specific_checkpoint</code>, um das Training ab einem bestimmten Checkpoint-Ordner wieder aufzunehmen.",_t,Te,jt,Je,$t,ye,fl='Alle Skripte können Ihr endgültiges Modell in den <a href="https://huggingface.co/models" rel="nofollow">Model Hub</a> hochladen. Stellen Sie sicher, dass Sie bei Hugging Face angemeldet sind, bevor Sie beginnen:',vt,Ue,Ct,be,dl="Dann fügen Sie dem Skript das Argument <code>push_to_hub</code> hinzu. Mit diesem Argument wird ein Repository mit Ihrem Hugging Face-Benutzernamen und dem in <code>output_dir</code> angegebenen Ordnernamen erstellt.",At,_e,hl="Wenn Sie Ihrem Repository einen bestimmten Namen geben möchten, fügen Sie ihn mit dem Argument <code>push_to_hub_model_id</code> hinzu. Das Repository wird automatisch unter Ihrem Namensraum aufgeführt.",Xt,je,cl="Das folgende Beispiel zeigt, wie Sie ein Modell mit einem bestimmten Repository-Namen hochladen können:",It,$e,zt,ve,Wt,Xe,Zt;return o=new _({props:{title:"Trainieren mit einem Skript",local:"trainieren-mit-einem-skript",headingTag:"h1"}}),z=new _({props:{title:"Einrichtung",local:"einrichtung",headingTag:"h2"}}),Z=new U({props:{code:"Z2l0JTIwY2xvbmUlMjBodHRwcyUzQSUyRiUyRmdpdGh1Yi5jb20lMkZodWdnaW5nZmFjZSUyRnRyYW5zZm9ybWVycyUwQWNkJTIwdHJhbnNmb3JtZXJzJTBBcGlwJTIwaW5zdGFsbCUyMC4=",highlighted:`git <span class="hljs-built_in">clone</span> https://github.com/huggingface/transformers
	<span class="hljs-built_in">cd</span> transformers
	pip install .`,wrap:!1}}),V=new U({props:{code:"Z2l0JTIwY2hlY2tvdXQlMjB0YWdzJTJGdjMuNS4x",highlighted:"git checkout tags/v3.5.1",wrap:!1}}),R=new U({props:{code:"cGlwJTIwaW5zdGFsbCUyMC1yJTIwcmVxdWlyZW1lbnRzLnR4dA==",highlighted:"pip install -r requirements.txt",wrap:!1}}),F=new _({props:{title:"Ein Skript ausführen",local:"ein-skript-ausführen",headingTag:"h2"}}),j=new Tl({props:{pytorch:!0,tensorflow:!0,jax:!1,$$slots:{tensorflow:[Al],pytorch:[vl]},$$scope:{ctx:b}}}),L=new _({props:{title:"Verteiltes Training und gemischte Präzision",local:"verteiltes-training-und-gemischte-präzision",headingTag:"h2"}}),Y=new U({props:{code:"dG9yY2hydW4lMjAlNUMlMEElMjAlMjAlMjAlMjAtLW5wcm9jX3Blcl9ub2RlJTIwOCUyMHB5dG9yY2glMkZzdW1tYXJpemF0aW9uJTJGcnVuX3N1bW1hcml6YXRpb24ucHklMjAlNUMlMEElMjAlMjAlMjAlMjAtLWZwMTYlMjAlNUMlMEElMjAlMjAlMjAlMjAtLW1vZGVsX25hbWVfb3JfcGF0aCUyMGdvb2dsZS10NSUyRnQ1LXNtYWxsJTIwJTVDJTBBJTIwJTIwJTIwJTIwLS1kb190cmFpbiUyMCU1QyUwQSUyMCUyMCUyMCUyMC0tZG9fZXZhbCUyMCU1QyUwQSUyMCUyMCUyMCUyMC0tZGF0YXNldF9uYW1lJTIwY25uX2RhaWx5bWFpbCUyMCU1QyUwQSUyMCUyMCUyMCUyMC0tZGF0YXNldF9jb25maWclMjAlMjIzLjAuMCUyMiUyMCU1QyUwQSUyMCUyMCUyMCUyMC0tc291cmNlX3ByZWZpeCUyMCUyMnN1bW1hcml6ZSUzQSUyMCUyMiUyMCU1QyUwQSUyMCUyMCUyMCUyMC0tb3V0cHV0X2RpciUyMCUyRnRtcCUyRnRzdC1zdW1tYXJpemF0aW9uJTIwJTVDJTBBJTIwJTIwJTIwJTIwLS1wZXJfZGV2aWNlX3RyYWluX2JhdGNoX3NpemUlM0Q0JTIwJTVDJTBBJTIwJTIwJTIwJTIwLS1wZXJfZGV2aWNlX2V2YWxfYmF0Y2hfc2l6ZSUzRDQlMjAlNUMlMEElMjAlMjAlMjAlMjAtLW92ZXJ3cml0ZV9vdXRwdXRfZGlyJTIwJTVDJTBBJTIwJTIwJTIwJTIwLS1wcmVkaWN0X3dpdGhfZ2VuZXJhdGU=",highlighted:`torchrun \\
	--nproc_per_node 8 pytorch/summarization/run_summarization.py \\
	--fp16 \\
	--model_name_or_path google-t5/t5-small \\
	--do_train \\
	--do_eval \\
	--dataset_name cnn_dailymail \\
	--dataset_config <span class="hljs-string">"3.0.0"</span> \\
	--source_prefix <span class="hljs-string">"summarize: "</span> \\
	--output_dir /tmp/tst-summarization \\
	--per_device_train_batch_size=4 \\
	--per_device_eval_batch_size=4 \\
	--overwrite_output_dir \\
	--predict_with_generate`,wrap:!1}}),H=new _({props:{title:"Ein Skript auf einer TPU ausführen",local:"ein-skript-auf-einer-tpu-ausführen",headingTag:"h2"}}),$=new Tl({props:{pytorch:!0,tensorflow:!0,jax:!1,$$slots:{tensorflow:[Wl],pytorch:[Il]},$$scope:{ctx:b}}}),Q=new _({props:{title:"Führen Sie ein Skript mit 🤗 Accelerate aus.",local:"führen-sie-ein-skript-mit--accelerate-aus",headingTag:"h2"}}),P=new U({props:{code:"cGlwJTIwaW5zdGFsbCUyMGdpdCUyQmh0dHBzJTNBJTJGJTJGZ2l0aHViLmNvbSUyRmh1Z2dpbmdmYWNlJTJGYWNjZWxlcmF0ZQ==",highlighted:"pip install git+https://github.com/huggingface/accelerate",wrap:!1}}),K=new U({props:{code:"YWNjZWxlcmF0ZSUyMGNvbmZpZw==",highlighted:"accelerate config",wrap:!1}}),ee=new U({props:{code:"YWNjZWxlcmF0ZSUyMHRlc3Q=",highlighted:'accelerate <span class="hljs-built_in">test</span>',wrap:!1}}),le=new U({props:{code:"YWNjZWxlcmF0ZSUyMGxhdW5jaCUyMHJ1bl9zdW1tYXJpemF0aW9uX25vX3RyYWluZXIucHklMjAlNUMlMEElMjAlMjAlMjAlMjAtLW1vZGVsX25hbWVfb3JfcGF0aCUyMGdvb2dsZS10NSUyRnQ1LXNtYWxsJTIwJTVDJTBBJTIwJTIwJTIwJTIwLS1kYXRhc2V0X25hbWUlMjBjbm5fZGFpbHltYWlsJTIwJTVDJTBBJTIwJTIwJTIwJTIwLS1kYXRhc2V0X2NvbmZpZyUyMCUyMjMuMC4wJTIyJTIwJTVDJTBBJTIwJTIwJTIwJTIwLS1zb3VyY2VfcHJlZml4JTIwJTIyc3VtbWFyaXplJTNBJTIwJTIyJTIwJTVDJTBBJTIwJTIwJTIwJTIwLS1vdXRwdXRfZGlyJTIwfiUyRnRtcCUyRnRzdC1zdW1tYXJpemF0aW9u",highlighted:`accelerate launch run_summarization_no_trainer.py \\
	--model_name_or_path google-t5/t5-small \\
	--dataset_name cnn_dailymail \\
	--dataset_config <span class="hljs-string">"3.0.0"</span> \\
	--source_prefix <span class="hljs-string">"summarize: "</span> \\
	--output_dir ~/tmp/tst-summarization`,wrap:!1}}),ne=new _({props:{title:"Verwenden Sie einen benutzerdefinierten Datensatz",local:"verwenden-sie-einen-benutzerdefinierten-datensatz",headingTag:"h2"}}),se=new U({props:{code:"cHl0aG9uJTIwZXhhbXBsZXMlMkZweXRvcmNoJTJGc3VtbWFyaXphdGlvbiUyRnJ1bl9zdW1tYXJpemF0aW9uLnB5JTIwJTVDJTBBJTIwJTIwJTIwJTIwLS1tb2RlbF9uYW1lX29yX3BhdGglMjBnb29nbGUtdDUlMkZ0NS1zbWFsbCUyMCU1QyUwQSUyMCUyMCUyMCUyMC0tZG9fdHJhaW4lMjAlNUMlMEElMjAlMjAlMjAlMjAtLWRvX2V2YWwlMjAlNUMlMEElMjAlMjAlMjAlMjAtLXRyYWluX2ZpbGUlMjBwYXRoX3RvX2Nzdl9vcl9qc29ubGluZXNfZmlsZSUyMCU1QyUwQSUyMCUyMCUyMCUyMC0tdmFsaWRhdGlvbl9maWxlJTIwcGF0aF90b19jc3Zfb3JfanNvbmxpbmVzX2ZpbGUlMjAlNUMlMEElMjAlMjAlMjAlMjAtLXRleHRfY29sdW1uJTIwdGV4dF9jb2x1bW5fbmFtZSUyMCU1QyUwQSUyMCUyMCUyMCUyMC0tc3VtbWFyeV9jb2x1bW4lMjBzdW1tYXJ5X2NvbHVtbl9uYW1lJTIwJTVDJTBBJTIwJTIwJTIwJTIwLS1zb3VyY2VfcHJlZml4JTIwJTIyc3VtbWFyaXplJTNBJTIwJTIyJTIwJTVDJTBBJTIwJTIwJTIwJTIwLS1vdXRwdXRfZGlyJTIwJTJGdG1wJTJGdHN0LXN1bW1hcml6YXRpb24lMjAlNUMlMEElMjAlMjAlMjAlMjAtLW92ZXJ3cml0ZV9vdXRwdXRfZGlyJTIwJTVDJTBBJTIwJTIwJTIwJTIwLS1wZXJfZGV2aWNlX3RyYWluX2JhdGNoX3NpemUlM0Q0JTIwJTVDJTBBJTIwJTIwJTIwJTIwLS1wZXJfZGV2aWNlX2V2YWxfYmF0Y2hfc2l6ZSUzRDQlMjAlNUMlMEElMjAlMjAlMjAlMjAtLXByZWRpY3Rfd2l0aF9nZW5lcmF0ZQ==",highlighted:`python examples/pytorch/summarization/run_summarization.py \\
	--model_name_or_path google-t5/t5-small \\
	--do_train \\
	--do_eval \\
	--train_file path_to_csv_or_jsonlines_file \\
	--validation_file path_to_csv_or_jsonlines_file \\
	--text_column text_column_name \\
	--summary_column summary_column_name \\
	--source_prefix <span class="hljs-string">"summarize: "</span> \\
	--output_dir /tmp/tst-summarization \\
	--overwrite_output_dir \\
	--per_device_train_batch_size=4 \\
	--per_device_eval_batch_size=4 \\
	--predict_with_generate`,wrap:!1}}),me=new _({props:{title:"Testen Sie ein Skript",local:"testen-sie-ein-skript",headingTag:"h2"}}),Me=new U({props:{code:"cHl0aG9uJTIwZXhhbXBsZXMlMkZweXRvcmNoJTJGc3VtbWFyaXphdGlvbiUyRnJ1bl9zdW1tYXJpemF0aW9uLnB5JTIwJTVDJTBBJTIwJTIwJTIwJTIwLS1tb2RlbF9uYW1lX29yX3BhdGglMjBnb29nbGUtdDUlMkZ0NS1zbWFsbCUyMCU1QyUwQSUyMCUyMCUyMCUyMC0tbWF4X3RyYWluX3NhbXBsZXMlMjA1MCUyMCU1QyUwQSUyMCUyMCUyMCUyMC0tbWF4X2V2YWxfc2FtcGxlcyUyMDUwJTIwJTVDJTBBJTIwJTIwJTIwJTIwLS1tYXhfcHJlZGljdF9zYW1wbGVzJTIwNTAlMjAlNUMlMEElMjAlMjAlMjAlMjAtLWRvX3RyYWluJTIwJTVDJTBBJTIwJTIwJTIwJTIwLS1kb19ldmFsJTIwJTVDJTBBJTIwJTIwJTIwJTIwLS1kYXRhc2V0X25hbWUlMjBjbm5fZGFpbHltYWlsJTIwJTVDJTBBJTIwJTIwJTIwJTIwLS1kYXRhc2V0X2NvbmZpZyUyMCUyMjMuMC4wJTIyJTIwJTVDJTBBJTIwJTIwJTIwJTIwLS1zb3VyY2VfcHJlZml4JTIwJTIyc3VtbWFyaXplJTNBJTIwJTIyJTIwJTVDJTBBJTIwJTIwJTIwJTIwLS1vdXRwdXRfZGlyJTIwJTJGdG1wJTJGdHN0LXN1bW1hcml6YXRpb24lMjAlNUMlMEElMjAlMjAlMjAlMjAtLXBlcl9kZXZpY2VfdHJhaW5fYmF0Y2hfc2l6ZSUzRDQlMjAlNUMlMEElMjAlMjAlMjAlMjAtLXBlcl9kZXZpY2VfZXZhbF9iYXRjaF9zaXplJTNENCUyMCU1QyUwQSUyMCUyMCUyMCUyMC0tb3ZlcndyaXRlX291dHB1dF9kaXIlMjAlNUMlMEElMjAlMjAlMjAlMjAtLXByZWRpY3Rfd2l0aF9nZW5lcmF0ZQ==",highlighted:`python examples/pytorch/summarization/run_summarization.py \\
	--model_name_or_path google-t5/t5-small \\
	--max_train_samples 50 \\
	--max_eval_samples 50 \\
	--max_predict_samples 50 \\
	--do_train \\
	--do_eval \\
	--dataset_name cnn_dailymail \\
	--dataset_config <span class="hljs-string">"3.0.0"</span> \\
	--source_prefix <span class="hljs-string">"summarize: "</span> \\
	--output_dir /tmp/tst-summarization \\
	--per_device_train_batch_size=4 \\
	--per_device_eval_batch_size=4 \\
	--overwrite_output_dir \\
	--predict_with_generate`,wrap:!1}}),fe=new U({props:{code:"ZXhhbXBsZXMlMkZweXRvcmNoJTJGc3VtbWFyaXphdGlvbiUyRnJ1bl9zdW1tYXJpemF0aW9uLnB5JTIwLWg=",highlighted:"examples/pytorch/summarization/run_summarization.py -h",wrap:!1}}),de=new _({props:{title:"Training vom Kontrollpunkt fortsetzen",local:"training-vom-kontrollpunkt-fortsetzen",headingTag:"h2"}}),we=new U({props:{code:"cHl0aG9uJTIwZXhhbXBsZXMlMkZweXRvcmNoJTJGc3VtbWFyaXphdGlvbiUyRnJ1bl9zdW1tYXJpemF0aW9uLnB5JTBBJTIwJTIwJTIwJTIwLS1tb2RlbF9uYW1lX29yX3BhdGglMjBnb29nbGUtdDUlMkZ0NS1zbWFsbCUyMCU1QyUwQSUyMCUyMCUyMCUyMC0tZG9fdHJhaW4lMjAlNUMlMEElMjAlMjAlMjAlMjAtLWRvX2V2YWwlMjAlNUMlMEElMjAlMjAlMjAlMjAtLWRhdGFzZXRfbmFtZSUyMGNubl9kYWlseW1haWwlMjAlNUMlMEElMjAlMjAlMjAlMjAtLWRhdGFzZXRfY29uZmlnJTIwJTIyMy4wLjAlMjIlMjAlNUMlMEElMjAlMjAlMjAlMjAtLXNvdXJjZV9wcmVmaXglMjAlMjJzdW1tYXJpemUlM0ElMjAlMjIlMjAlNUMlMEElMjAlMjAlMjAlMjAtLW91dHB1dF9kaXIlMjAlMkZ0bXAlMkZ0c3Qtc3VtbWFyaXphdGlvbiUyMCU1QyUwQSUyMCUyMCUyMCUyMC0tcGVyX2RldmljZV90cmFpbl9iYXRjaF9zaXplJTNENCUyMCU1QyUwQSUyMCUyMCUyMCUyMC0tcGVyX2RldmljZV9ldmFsX2JhdGNoX3NpemUlM0Q0JTIwJTVDJTBBJTIwJTIwJTIwJTIwLS1vdXRwdXRfZGlyJTIwcHJldmlvdXNfb3V0cHV0X2RpciUyMCU1QyUwQSUyMCUyMCUyMCUyMC0tcHJlZGljdF93aXRoX2dlbmVyYXRl",highlighted:`python examples/pytorch/summarization/run_summarization.py
	--model_name_or_path google-t5/t5-small \\
	--do_train \\
	--do_eval \\
	--dataset_name cnn_dailymail \\
	--dataset_config <span class="hljs-string">"3.0.0"</span> \\
	--source_prefix <span class="hljs-string">"summarize: "</span> \\
	--output_dir /tmp/tst-summarization \\
	--per_device_train_batch_size=4 \\
	--per_device_eval_batch_size=4 \\
	--output_dir previous_output_dir \\
	--predict_with_generate`,wrap:!1}}),Te=new U({props:{code:"cHl0aG9uJTIwZXhhbXBsZXMlMkZweXRvcmNoJTJGc3VtbWFyaXphdGlvbiUyRnJ1bl9zdW1tYXJpemF0aW9uLnB5JTBBJTIwJTIwJTIwJTIwLS1tb2RlbF9uYW1lX29yX3BhdGglMjBnb29nbGUtdDUlMkZ0NS1zbWFsbCUyMCU1QyUwQSUyMCUyMCUyMCUyMC0tZG9fdHJhaW4lMjAlNUMlMEElMjAlMjAlMjAlMjAtLWRvX2V2YWwlMjAlNUMlMEElMjAlMjAlMjAlMjAtLWRhdGFzZXRfbmFtZSUyMGNubl9kYWlseW1haWwlMjAlNUMlMEElMjAlMjAlMjAlMjAtLWRhdGFzZXRfY29uZmlnJTIwJTIyMy4wLjAlMjIlMjAlNUMlMEElMjAlMjAlMjAlMjAtLXNvdXJjZV9wcmVmaXglMjAlMjJzdW1tYXJpemUlM0ElMjAlMjIlMjAlNUMlMEElMjAlMjAlMjAlMjAtLW91dHB1dF9kaXIlMjAlMkZ0bXAlMkZ0c3Qtc3VtbWFyaXphdGlvbiUyMCU1QyUwQSUyMCUyMCUyMCUyMC0tcGVyX2RldmljZV90cmFpbl9iYXRjaF9zaXplJTNENCUyMCU1QyUwQSUyMCUyMCUyMCUyMC0tcGVyX2RldmljZV9ldmFsX2JhdGNoX3NpemUlM0Q0JTIwJTVDJTBBJTIwJTIwJTIwJTIwLS1vdmVyd3JpdGVfb3V0cHV0X2RpciUyMCU1QyUwQSUyMCUyMCUyMCUyMC0tcmVzdW1lX2Zyb21fY2hlY2twb2ludCUyMHBhdGhfdG9fc3BlY2lmaWNfY2hlY2twb2ludCUyMCU1QyUwQSUyMCUyMCUyMCUyMC0tcHJlZGljdF93aXRoX2dlbmVyYXRl",highlighted:`python examples/pytorch/summarization/run_summarization.py
	--model_name_or_path google-t5/t5-small \\
	--do_train \\
	--do_eval \\
	--dataset_name cnn_dailymail \\
	--dataset_config <span class="hljs-string">"3.0.0"</span> \\
	--source_prefix <span class="hljs-string">"summarize: "</span> \\
	--output_dir /tmp/tst-summarization \\
	--per_device_train_batch_size=4 \\
	--per_device_eval_batch_size=4 \\
	--overwrite_output_dir \\
	--resume_from_checkpoint path_to_specific_checkpoint \\
	--predict_with_generate`,wrap:!1}}),Je=new _({props:{title:"Teilen Sie Ihr Modell",local:"teilen-sie-ihr-modell",headingTag:"h2"}}),Ue=new U({props:{code:"aHVnZ2luZ2ZhY2UtY2xpJTIwbG9naW4=",highlighted:"huggingface-cli login",wrap:!1}}),$e=new U({props:{code:"cHl0aG9uJTIwZXhhbXBsZXMlMkZweXRvcmNoJTJGc3VtbWFyaXphdGlvbiUyRnJ1bl9zdW1tYXJpemF0aW9uLnB5JTBBJTIwJTIwJTIwJTIwLS1tb2RlbF9uYW1lX29yX3BhdGglMjBnb29nbGUtdDUlMkZ0NS1zbWFsbCUyMCU1QyUwQSUyMCUyMCUyMCUyMC0tZG9fdHJhaW4lMjAlNUMlMEElMjAlMjAlMjAlMjAtLWRvX2V2YWwlMjAlNUMlMEElMjAlMjAlMjAlMjAtLWRhdGFzZXRfbmFtZSUyMGNubl9kYWlseW1haWwlMjAlNUMlMEElMjAlMjAlMjAlMjAtLWRhdGFzZXRfY29uZmlnJTIwJTIyMy4wLjAlMjIlMjAlNUMlMEElMjAlMjAlMjAlMjAtLXNvdXJjZV9wcmVmaXglMjAlMjJzdW1tYXJpemUlM0ElMjAlMjIlMjAlNUMlMEElMjAlMjAlMjAlMjAtLXB1c2hfdG9faHViJTIwJTVDJTBBJTIwJTIwJTIwJTIwLS1wdXNoX3RvX2h1Yl9tb2RlbF9pZCUyMGZpbmV0dW5lZC10NS1jbm5fZGFpbHltYWlsJTIwJTVDJTBBJTIwJTIwJTIwJTIwLS1vdXRwdXRfZGlyJTIwJTJGdG1wJTJGdHN0LXN1bW1hcml6YXRpb24lMjAlNUMlMEElMjAlMjAlMjAlMjAtLXBlcl9kZXZpY2VfdHJhaW5fYmF0Y2hfc2l6ZSUzRDQlMjAlNUMlMEElMjAlMjAlMjAlMjAtLXBlcl9kZXZpY2VfZXZhbF9iYXRjaF9zaXplJTNENCUyMCU1QyUwQSUyMCUyMCUyMCUyMC0tb3ZlcndyaXRlX291dHB1dF9kaXIlMjAlNUMlMEElMjAlMjAlMjAlMjAtLXByZWRpY3Rfd2l0aF9nZW5lcmF0ZQ==",highlighted:`python examples/pytorch/summarization/run_summarization.py
	--model_name_or_path google-t5/t5-small \\
	--do_train \\
	--do_eval \\
	--dataset_name cnn_dailymail \\
	--dataset_config <span class="hljs-string">"3.0.0"</span> \\
	--source_prefix <span class="hljs-string">"summarize: "</span> \\
	--push_to_hub \\
	--push_to_hub_model_id finetuned-t5-cnn_dailymail \\
	--output_dir /tmp/tst-summarization \\
	--per_device_train_batch_size=4 \\
	--per_device_eval_batch_size=4 \\
	--overwrite_output_dir \\
	--predict_with_generate`,wrap:!1}}),ve=new jl({props:{source:"https://github.com/huggingface/transformers/blob/main/docs/source/de/run_scripts.md"}}),{c(){i=M("meta"),f=a(),r=M("p"),u=a(),d(o.$$.fragment),m=a(),y=M("p"),y.innerHTML=Rt,Ie=a(),C=M("p"),C.innerHTML=Ft,ze=a(),A=M("p"),A.textContent=Lt,We=a(),X=M("p"),X.innerHTML=xt,Ze=a(),I=M("p"),I.innerHTML=Nt,ke=a(),d(z.$$.fragment),Se=a(),W=M("p"),W.innerHTML=Yt,Be=a(),d(Z.$$.fragment),Ve=a(),k=M("p"),k.textContent=Et,Ge=a(),S=M("details"),S.innerHTML=Ht,Re=a(),B=M("p"),B.textContent=Qt,Fe=a(),d(V.$$.fragment),Le=a(),G=M("p"),G.textContent=Dt,xe=a(),d(R.$$.fragment),Ne=a(),d(F.$$.fragment),Ye=a(),d(j.$$.fragment),Ee=a(),d(L.$$.fragment),He=a(),x=M("p"),x.innerHTML=Pt,Qe=a(),N=M("ul"),N.innerHTML=qt,De=a(),d(Y.$$.fragment),Pe=a(),E=M("p"),E.innerHTML=Kt,qe=a(),d(H.$$.fragment),Ke=a(),d($.$$.fragment),Oe=a(),d(Q.$$.fragment),et=a(),D=M("p"),D.innerHTML=Ot,tt=a(),v=M("blockquote"),Ae=M("p"),Ae.textContent=el,Bt=a(),d(P.$$.fragment),lt=a(),q=M("p"),q.innerHTML=tl,nt=a(),d(K.$$.fragment),it=a(),O=M("p"),O.textContent=ll,rt=a(),d(ee.$$.fragment),at=a(),te=M("p"),te.textContent=nl,st=a(),d(le.$$.fragment),mt=a(),d(ne.$$.fragment),ut=a(),ie=M("p"),ie.textContent=il,ot=a(),re=M("ul"),re.innerHTML=rl,Mt=a(),ae=M("p"),ae.textContent=al,pt=a(),d(se.$$.fragment),ft=a(),d(me.$$.fragment),dt=a(),ue=M("p"),ue.textContent=sl,ht=a(),oe=M("ul"),oe.innerHTML=ml,ct=a(),d(Me.$$.fragment),wt=a(),pe=M("p"),pe.innerHTML=ul,gt=a(),d(fe.$$.fragment),Tt=a(),d(de.$$.fragment),Jt=a(),he=M("p"),he.textContent=ol,yt=a(),ce=M("p"),ce.innerHTML=Ml,Ut=a(),d(we.$$.fragment),bt=a(),ge=M("p"),ge.innerHTML=pl,_t=a(),d(Te.$$.fragment),jt=a(),d(Je.$$.fragment),$t=a(),ye=M("p"),ye.innerHTML=fl,vt=a(),d(Ue.$$.fragment),Ct=a(),be=M("p"),be.innerHTML=dl,At=a(),_e=M("p"),_e.innerHTML=hl,Xt=a(),je=M("p"),je.textContent=cl,It=a(),d($e.$$.fragment),zt=a(),d(ve.$$.fragment),Wt=a(),Xe=M("p"),this.h()},l(e){const t=_l("svelte-u9bgzb",document.head);i=p(t,"META",{name:!0,content:!0}),t.forEach(l),f=s(e),r=p(e,"P",{}),Vt(r).forEach(l),u=s(e),h(o.$$.fragment,e),m=s(e),y=p(e,"P",{"data-svelte-h":!0}),J(y)!=="svelte-10suli8"&&(y.innerHTML=Rt),Ie=s(e),C=p(e,"P",{"data-svelte-h":!0}),J(C)!=="svelte-1u2bhpe"&&(C.innerHTML=Ft),ze=s(e),A=p(e,"P",{"data-svelte-h":!0}),J(A)!=="svelte-1yjk519"&&(A.textContent=Lt),We=s(e),X=p(e,"P",{"data-svelte-h":!0}),J(X)!=="svelte-1p21xl"&&(X.innerHTML=xt),Ze=s(e),I=p(e,"P",{"data-svelte-h":!0}),J(I)!=="svelte-f7vti5"&&(I.innerHTML=Nt),ke=s(e),h(z.$$.fragment,e),Se=s(e),W=p(e,"P",{"data-svelte-h":!0}),J(W)!=="svelte-1k7wbk1"&&(W.innerHTML=Yt),Be=s(e),h(Z.$$.fragment,e),Ve=s(e),k=p(e,"P",{"data-svelte-h":!0}),J(k)!=="svelte-1v3grbn"&&(k.textContent=Et),Ge=s(e),S=p(e,"DETAILS",{"data-svelte-h":!0}),J(S)!=="svelte-161spkh"&&(S.innerHTML=Ht),Re=s(e),B=p(e,"P",{"data-svelte-h":!0}),J(B)!=="svelte-18wy8ey"&&(B.textContent=Qt),Fe=s(e),h(V.$$.fragment,e),Le=s(e),G=p(e,"P",{"data-svelte-h":!0}),J(G)!=="svelte-1akgvwd"&&(G.textContent=Dt),xe=s(e),h(R.$$.fragment,e),Ne=s(e),h(F.$$.fragment,e),Ye=s(e),h(j.$$.fragment,e),Ee=s(e),h(L.$$.fragment,e),He=s(e),x=p(e,"P",{"data-svelte-h":!0}),J(x)!=="svelte-ygqg3g"&&(x.innerHTML=Pt),Qe=s(e),N=p(e,"UL",{"data-svelte-h":!0}),J(N)!=="svelte-1l33p46"&&(N.innerHTML=qt),De=s(e),h(Y.$$.fragment,e),Pe=s(e),E=p(e,"P",{"data-svelte-h":!0}),J(E)!=="svelte-1hk9llr"&&(E.innerHTML=Kt),qe=s(e),h(H.$$.fragment,e),Ke=s(e),h($.$$.fragment,e),Oe=s(e),h(Q.$$.fragment,e),et=s(e),D=p(e,"P",{"data-svelte-h":!0}),J(D)!=="svelte-hlvrr2"&&(D.innerHTML=Ot),tt=s(e),v=p(e,"BLOCKQUOTE",{});var Ce=Vt(v);Ae=p(Ce,"P",{"data-svelte-h":!0}),J(Ae)!=="svelte-1oqwqfa"&&(Ae.textContent=el),Bt=s(Ce),h(P.$$.fragment,Ce),Ce.forEach(l),lt=s(e),q=p(e,"P",{"data-svelte-h":!0}),J(q)!=="svelte-sajudj"&&(q.innerHTML=tl),nt=s(e),h(K.$$.fragment,e),it=s(e),O=p(e,"P",{"data-svelte-h":!0}),J(O)!=="svelte-ba3uqv"&&(O.textContent=ll),rt=s(e),h(ee.$$.fragment,e),at=s(e),te=p(e,"P",{"data-svelte-h":!0}),J(te)!=="svelte-189gcch"&&(te.textContent=nl),st=s(e),h(le.$$.fragment,e),mt=s(e),h(ne.$$.fragment,e),ut=s(e),ie=p(e,"P",{"data-svelte-h":!0}),J(ie)!=="svelte-70977j"&&(ie.textContent=il),ot=s(e),re=p(e,"UL",{"data-svelte-h":!0}),J(re)!=="svelte-1lpyzfn"&&(re.innerHTML=rl),Mt=s(e),ae=p(e,"P",{"data-svelte-h":!0}),J(ae)!=="svelte-wbqae1"&&(ae.textContent=al),pt=s(e),h(se.$$.fragment,e),ft=s(e),h(me.$$.fragment,e),dt=s(e),ue=p(e,"P",{"data-svelte-h":!0}),J(ue)!=="svelte-1etiu5b"&&(ue.textContent=sl),ht=s(e),oe=p(e,"UL",{"data-svelte-h":!0}),J(oe)!=="svelte-14g5f8g"&&(oe.innerHTML=ml),ct=s(e),h(Me.$$.fragment,e),wt=s(e),pe=p(e,"P",{"data-svelte-h":!0}),J(pe)!=="svelte-17jr0zz"&&(pe.innerHTML=ul),gt=s(e),h(fe.$$.fragment,e),Tt=s(e),h(de.$$.fragment,e),Jt=s(e),he=p(e,"P",{"data-svelte-h":!0}),J(he)!=="svelte-7kw3hv"&&(he.textContent=ol),yt=s(e),ce=p(e,"P",{"data-svelte-h":!0}),J(ce)!=="svelte-10lk07m"&&(ce.innerHTML=Ml),Ut=s(e),h(we.$$.fragment,e),bt=s(e),ge=p(e,"P",{"data-svelte-h":!0}),J(ge)!=="svelte-1jvl0eq"&&(ge.innerHTML=pl),_t=s(e),h(Te.$$.fragment,e),jt=s(e),h(Je.$$.fragment,e),$t=s(e),ye=p(e,"P",{"data-svelte-h":!0}),J(ye)!=="svelte-9ovwzu"&&(ye.innerHTML=fl),vt=s(e),h(Ue.$$.fragment,e),Ct=s(e),be=p(e,"P",{"data-svelte-h":!0}),J(be)!=="svelte-x4eh9q"&&(be.innerHTML=dl),At=s(e),_e=p(e,"P",{"data-svelte-h":!0}),J(_e)!=="svelte-1mbkf4"&&(_e.innerHTML=hl),Xt=s(e),je=p(e,"P",{"data-svelte-h":!0}),J(je)!=="svelte-kk496d"&&(je.textContent=cl),It=s(e),h($e.$$.fragment,e),zt=s(e),h(ve.$$.fragment,e),Wt=s(e),Xe=p(e,"P",{}),Vt(Xe).forEach(l),this.h()},h(){gl(i,"name","hf:doc:metadata"),gl(i,"content",kl)},m(e,t){Gt(document.head,i),n(e,f,t),n(e,r,t),n(e,u,t),c(o,e,t),n(e,m,t),n(e,y,t),n(e,Ie,t),n(e,C,t),n(e,ze,t),n(e,A,t),n(e,We,t),n(e,X,t),n(e,Ze,t),n(e,I,t),n(e,ke,t),c(z,e,t),n(e,Se,t),n(e,W,t),n(e,Be,t),c(Z,e,t),n(e,Ve,t),n(e,k,t),n(e,Ge,t),n(e,S,t),n(e,Re,t),n(e,B,t),n(e,Fe,t),c(V,e,t),n(e,Le,t),n(e,G,t),n(e,xe,t),c(R,e,t),n(e,Ne,t),c(F,e,t),n(e,Ye,t),c(j,e,t),n(e,Ee,t),c(L,e,t),n(e,He,t),n(e,x,t),n(e,Qe,t),n(e,N,t),n(e,De,t),c(Y,e,t),n(e,Pe,t),n(e,E,t),n(e,qe,t),c(H,e,t),n(e,Ke,t),c($,e,t),n(e,Oe,t),c(Q,e,t),n(e,et,t),n(e,D,t),n(e,tt,t),n(e,v,t),Gt(v,Ae),Gt(v,Bt),c(P,v,null),n(e,lt,t),n(e,q,t),n(e,nt,t),c(K,e,t),n(e,it,t),n(e,O,t),n(e,rt,t),c(ee,e,t),n(e,at,t),n(e,te,t),n(e,st,t),c(le,e,t),n(e,mt,t),c(ne,e,t),n(e,ut,t),n(e,ie,t),n(e,ot,t),n(e,re,t),n(e,Mt,t),n(e,ae,t),n(e,pt,t),c(se,e,t),n(e,ft,t),c(me,e,t),n(e,dt,t),n(e,ue,t),n(e,ht,t),n(e,oe,t),n(e,ct,t),c(Me,e,t),n(e,wt,t),n(e,pe,t),n(e,gt,t),c(fe,e,t),n(e,Tt,t),c(de,e,t),n(e,Jt,t),n(e,he,t),n(e,yt,t),n(e,ce,t),n(e,Ut,t),c(we,e,t),n(e,bt,t),n(e,ge,t),n(e,_t,t),c(Te,e,t),n(e,jt,t),c(Je,e,t),n(e,$t,t),n(e,ye,t),n(e,vt,t),c(Ue,e,t),n(e,Ct,t),n(e,be,t),n(e,At,t),n(e,_e,t),n(e,Xt,t),n(e,je,t),n(e,It,t),c($e,e,t),n(e,zt,t),c(ve,e,t),n(e,Wt,t),n(e,Xe,t),Zt=!0},p(e,[t]){const Ce={};t&2&&(Ce.$$scope={dirty:t,ctx:e}),j.$set(Ce);const wl={};t&2&&(wl.$$scope={dirty:t,ctx:e}),$.$set(wl)},i(e){Zt\|\|(w(o.$$.fragment,e),w(z.$$.fragment,e),w(Z.$$.fragment,e),w(V.$$.fragment,e),w(R.$$.fragment,e),w(F.$$.fragment,e),w(j.$$.fragment,e),w(L.$$.fragment,e),w(Y.$$.fragment,e),w(H.$$.fragment,e),w($.$$.fragment,e),w(Q.$$.fragment,e),w(P.$$.fragment,e),w(K.$$.fragment,e),w(ee.$$.fragment,e),w(le.$$.fragment,e),w(ne.$$.fragment,e),w(se.$$.fragment,e),w(me.$$.fragment,e),w(Me.$$.fragment,e),w(fe.$$.fragment,e),w(de.$$.fragment,e),w(we.$$.fragment,e),w(Te.$$.fragment,e),w(Je.$$.fragment,e),w(Ue.$$.fragment,e),w($e.$$.fragment,e),w(ve.$$.fragment,e),Zt=!0)},o(e){g(o.$$.fragment,e),g(z.$$.fragment,e),g(Z.$$.fragment,e),g(V.$$.fragment,e),g(R.$$.fragment,e),g(F.$$.fragment,e),g(j.$$.fragment,e),g(L.$$.fragment,e),g(Y.$$.fragment,e),g(H.$$.fragment,e),g($.$$.fragment,e),g(Q.$$.fragment,e),g(P.$$.fragment,e),g(K.$$.fragment,e),g(ee.$$.fragment,e),g(le.$$.fragment,e),g(ne.$$.fragment,e),g(se.$$.fragment,e),g(me.$$.fragment,e),g(Me.$$.fragment,e),g(fe.$$.fragment,e),g(de.$$.fragment,e),g(we.$$.fragment,e),g(Te.$$.fragment,e),g(Je.$$.fragment,e),g(Ue.$$.fragment,e),g($e.$$.fragment,e),g(ve.$$.fragment,e),Zt=!1},d(e){e&&(l(f),l(r),l(u),l(m),l(y),l(Ie),l(C),l(ze),l(A),l(We),l(X),l(Ze),l(I),l(ke),l(Se),l(W),l(Be),l(Ve),l(k),l(Ge),l(S),l(Re),l(B),l(Fe),l(Le),l(G),l(xe),l(Ne),l(Ye),l(Ee),l(He),l(x),l(Qe),l(N),l(De),l(Pe),l(E),l(qe),l(Ke),l(Oe),l(et),l(D),l(tt),l(v),l(lt),l(q),l(nt),l(it),l(O),l(rt),l(at),l(te),l(st),l(mt),l(ut),l(ie),l(ot),l(re),l(Mt),l(ae),l(pt),l(ft),l(dt),l(ue),l(ht),l(oe),l(ct),l(wt),l(pe),l(gt),l(Tt),l(Jt),l(he),l(yt),l(ce),l(Ut),l(bt),l(ge),l(_t),l(jt),l($t),l(ye),l(vt),l(Ct),l(be),l(At),l(_e),l(Xt),l(je),l(It),l(zt),l(Wt),l(Xe)),l(i),T(o,e),T(z,e),T(Z,e),T(V,e),T(R,e),T(F,e),T(j,e),T(L,e),T(Y,e),T(H,e),T($,e),T(Q,e),T(P),T(K,e),T(ee,e),T(le,e),T(ne,e),T(se,e),T(me,e),T(Me,e),T(fe,e),T(de,e),T(we,e),T(Te,e),T(Je,e),T(Ue,e),T($e,e),T(ve,e)}}}const kl='{"title":"Trainieren mit einem Skript","local":"trainieren-mit-einem-skript","sections":[{"title":"Einrichtung","local":"einrichtung","sections":[],"depth":2},{"title":"Ein Skript ausführen","local":"ein-skript-ausführen","sections":[],"depth":2},{"title":"Verteiltes Training und gemischte Präzision","local":"verteiltes-training-und-gemischte-präzision","sections":[],"depth":2},{"title":"Ein Skript auf einer TPU ausführen","local":"ein-skript-auf-einer-tpu-ausführen","sections":[],"depth":2},{"title":"Führen Sie ein Skript mit 🤗 Accelerate aus.","local":"führen-sie-ein-skript-mit--accelerate-aus","sections":[],"depth":2},{"title":"Verwenden Sie einen benutzerdefinierten Datensatz","local":"verwenden-sie-einen-benutzerdefinierten-datensatz","sections":[],"depth":2},{"title":"Testen Sie ein Skript","local":"testen-sie-ein-skript","sections":[],"depth":2},{"title":"Training vom Kontrollpunkt fortsetzen","local":"training-vom-kontrollpunkt-fortsetzen","sections":[],"depth":2},{"title":"Teilen Sie Ihr Modell","local":"teilen-sie-ihr-modell","sections":[],"depth":2}],"depth":1}';function Sl(b){return yl(()=>{new URLSearchParams(window.location.search).get("fw")}),[]}class Ll extends Ul{constructor(i){super(),bl(this,i,Sl,Zl,Jl,{})}}export{Ll as component};

Xet Storage Details

Size:: 44.4 kB
Xet hash:: b1e55815aa6a2029f8713a232253c120232b29bc7b55446bf33df87f5c532222

Xet efficiently stores files, intelligently splitting them into unique chunks and accelerating uploads and downloads. More info.