Buckets:
| import{s as Se,o as Qe,n as ms}from"../chunks/scheduler.9bc65507.js";import{S as qe,i as Ae,g as j,s as o,r as M,A as Le,h as b,f as l,c as m,j as Ne,u,x as T,k as Ee,y as Pe,a,v as y,d as h,t as $,w as d,m as De,n as Ke}from"../chunks/index.707bf1b6.js";import{T as we}from"../chunks/Tip.c2ecdbf4.js";import{Y as Ye}from"../chunks/Youtube.e1129c6f.js";import{C as R}from"../chunks/CodeBlock.54a9f38d.js";import{D as Oe}from"../chunks/DocNotebookDropdown.41f65cb5.js";import{F as Te,M as Es}from"../chunks/Markdown.8ab98a13.js";import{H as Ns,E as st}from"../chunks/EditOnGithub.922df6ba.js";function et(k){let t,c='このタスクと互換性のあるすべてのアーキテクチャとチェックポイントを確認するには、<a href="https://huggingface.co/tasks/translation" rel="nofollow">タスクページ</a> を確認することをお勧めします。';return{c(){t=j("p"),t.innerHTML=c},l(e){t=b(e,"P",{"data-svelte-h":!0}),T(t)!=="svelte-1cjt95d"&&(t.innerHTML=c)},m(e,i){a(e,t,i)},p:ms,d(e){e&&l(t)}}}function tt(k){let t,c;return t=new R({props:{code:"ZnJvbSUyMHRyYW5zZm9ybWVycyUyMGltcG9ydCUyMERhdGFDb2xsYXRvckZvclNlcTJTZXElMEElMEFkYXRhX2NvbGxhdG9yJTIwJTNEJTIwRGF0YUNvbGxhdG9yRm9yU2VxMlNlcSh0b2tlbml6ZXIlM0R0b2tlbml6ZXIlMkMlMjBtb2RlbCUzRGNoZWNrcG9pbnQp",highlighted:`<span class="hljs-meta">>>> </span><span class="hljs-keyword">from</span> transformers <span class="hljs-keyword">import</span> DataCollatorForSeq2Seq | |
| <span class="hljs-meta">>>> </span>data_collator = DataCollatorForSeq2Seq(tokenizer=tokenizer, model=checkpoint)`,wrap:!1}}),{c(){M(t.$$.fragment)},l(e){u(t.$$.fragment,e)},m(e,i){y(t,e,i),c=!0},p:ms,i(e){c||(h(t.$$.fragment,e),c=!0)},o(e){$(t.$$.fragment,e),c=!1},d(e){d(t,e)}}}function lt(k){let t,c;return t=new Es({props:{$$slots:{default:[tt]},$$scope:{ctx:k}}}),{c(){M(t.$$.fragment)},l(e){u(t.$$.fragment,e)},m(e,i){y(t,e,i),c=!0},p(e,i){const g={};i&2&&(g.$$scope={dirty:i,ctx:e}),t.$set(g)},i(e){c||(h(t.$$.fragment,e),c=!0)},o(e){$(t.$$.fragment,e),c=!1},d(e){d(t,e)}}}function at(k){let t,c;return t=new R({props:{code:"ZnJvbSUyMHRyYW5zZm9ybWVycyUyMGltcG9ydCUyMERhdGFDb2xsYXRvckZvclNlcTJTZXElMEElMEFkYXRhX2NvbGxhdG9yJTIwJTNEJTIwRGF0YUNvbGxhdG9yRm9yU2VxMlNlcSh0b2tlbml6ZXIlM0R0b2tlbml6ZXIlMkMlMjBtb2RlbCUzRGNoZWNrcG9pbnQlMkMlMjByZXR1cm5fdGVuc29ycyUzRCUyMnRmJTIyKQ==",highlighted:`<span class="hljs-meta">>>> </span><span class="hljs-keyword">from</span> transformers <span class="hljs-keyword">import</span> DataCollatorForSeq2Seq | |
| <span class="hljs-meta">>>> </span>data_collator = DataCollatorForSeq2Seq(tokenizer=tokenizer, model=checkpoint, return_tensors=<span class="hljs-string">"tf"</span>)`,wrap:!1}}),{c(){M(t.$$.fragment)},l(e){u(t.$$.fragment,e)},m(e,i){y(t,e,i),c=!0},p:ms,i(e){c||(h(t.$$.fragment,e),c=!0)},o(e){$(t.$$.fragment,e),c=!1},d(e){d(t,e)}}}function nt(k){let t,c;return t=new Es({props:{$$slots:{default:[at]},$$scope:{ctx:k}}}),{c(){M(t.$$.fragment)},l(e){u(t.$$.fragment,e)},m(e,i){y(t,e,i),c=!0},p(e,i){const g={};i&2&&(g.$$scope={dirty:i,ctx:e}),t.$set(g)},i(e){c||(h(t.$$.fragment,e),c=!0)},o(e){$(t.$$.fragment,e),c=!1},d(e){d(t,e)}}}function pt(k){let t,c='<a href="/docs/transformers/main/ja/main_classes/trainer#transformers.Trainer">Trainer</a> を使用したモデルの微調整に慣れていない場合は、<a href="../training#train-with-pytorch-trainer">ここ</a> の基本的なチュートリアルをご覧ください。';return{c(){t=j("p"),t.innerHTML=c},l(e){t=b(e,"P",{"data-svelte-h":!0}),T(t)!=="svelte-1ubngji"&&(t.innerHTML=c)},m(e,i){a(e,t,i)},p:ms,d(e){e&&l(t)}}}function rt(k){let t,c,e,i='これでモデルのトレーニングを開始する準備が整いました。 <a href="/docs/transformers/main/ja/model_doc/auto#transformers.AutoModelForSeq2SeqLM">AutoModelForSeq2SeqLM</a> を使用して T5 をロードします。',g,Z,V,X,C="この時点で残っているステップは 3 つだけです。",G,_,I='<li><a href="/docs/transformers/main/ja/main_classes/trainer#transformers.Seq2SeqTrainingArguments">Seq2SeqTrainingArguments</a> でトレーニング ハイパーパラメータを定義します。唯一の必須パラメータは、モデルの保存場所を指定する <code>output_dir</code> です。 <code>push_to_hub=True</code>を設定して、このモデルをハブにプッシュします (モデルをアップロードするには、Hugging Face にサインインする必要があります)。各エポックの終了時に、<a href="/docs/transformers/main/ja/main_classes/trainer#transformers.Trainer">Trainer</a> は SacreBLEU メトリクスを評価し、トレーニング チェックポイントを保存します。</li> <li>トレーニング引数をモデル、データセット、トークナイザー、データ照合器、および <code>compute_metrics</code> 関数とともに <a href="/docs/transformers/main/ja/main_classes/trainer#transformers.Seq2SeqTrainer">Seq2SeqTrainer</a> に渡します。</li> <li><a href="/docs/transformers/main/ja/main_classes/trainer#transformers.Trainer.train">train()</a> を呼び出してモデルを微調整します。</li>',W,U,x,r,J='トレーニングが完了したら、 <a href="/docs/transformers/main/ja/main_classes/trainer#transformers.Trainer.push_to_hub">push_to_hub()</a> メソッドを使用してモデルをハブに共有し、誰もがモデルを使用できるようにします。',F,H,B;return t=new we({props:{$$slots:{default:[pt]},$$scope:{ctx:k}}}),Z=new R({props:{code:"ZnJvbSUyMHRyYW5zZm9ybWVycyUyMGltcG9ydCUyMEF1dG9Nb2RlbEZvclNlcTJTZXFMTSUyQyUyMFNlcTJTZXFUcmFpbmluZ0FyZ3VtZW50cyUyQyUyMFNlcTJTZXFUcmFpbmVyJTBBJTBBbW9kZWwlMjAlM0QlMjBBdXRvTW9kZWxGb3JTZXEyU2VxTE0uZnJvbV9wcmV0cmFpbmVkKGNoZWNrcG9pbnQp",highlighted:`<span class="hljs-meta">>>> </span><span class="hljs-keyword">from</span> transformers <span class="hljs-keyword">import</span> AutoModelForSeq2SeqLM, Seq2SeqTrainingArguments, Seq2SeqTrainer | |
| <span class="hljs-meta">>>> </span>model = AutoModelForSeq2SeqLM.from_pretrained(checkpoint)`,wrap:!1}}),U=new R({props:{code:"dHJhaW5pbmdfYXJncyUyMCUzRCUyMFNlcTJTZXFUcmFpbmluZ0FyZ3VtZW50cyglMEElMjAlMjAlMjAlMjBvdXRwdXRfZGlyJTNEJTIybXlfYXdlc29tZV9vcHVzX2Jvb2tzX21vZGVsJTIyJTJDJTBBJTIwJTIwJTIwJTIwZXZhbF9zdHJhdGVneSUzRCUyMmVwb2NoJTIyJTJDJTBBJTIwJTIwJTIwJTIwbGVhcm5pbmdfcmF0ZSUzRDJlLTUlMkMlMEElMjAlMjAlMjAlMjBwZXJfZGV2aWNlX3RyYWluX2JhdGNoX3NpemUlM0QxNiUyQyUwQSUyMCUyMCUyMCUyMHBlcl9kZXZpY2VfZXZhbF9iYXRjaF9zaXplJTNEMTYlMkMlMEElMjAlMjAlMjAlMjB3ZWlnaHRfZGVjYXklM0QwLjAxJTJDJTBBJTIwJTIwJTIwJTIwc2F2ZV90b3RhbF9saW1pdCUzRDMlMkMlMEElMjAlMjAlMjAlMjBudW1fdHJhaW5fZXBvY2hzJTNEMiUyQyUwQSUyMCUyMCUyMCUyMHByZWRpY3Rfd2l0aF9nZW5lcmF0ZSUzRFRydWUlMkMlMEElMjAlMjAlMjAlMjBmcDE2JTNEVHJ1ZSUyQyUwQSUyMCUyMCUyMCUyMHB1c2hfdG9faHViJTNEVHJ1ZSUyQyUwQSklMEElMEF0cmFpbmVyJTIwJTNEJTIwU2VxMlNlcVRyYWluZXIoJTBBJTIwJTIwJTIwJTIwbW9kZWwlM0Rtb2RlbCUyQyUwQSUyMCUyMCUyMCUyMGFyZ3MlM0R0cmFpbmluZ19hcmdzJTJDJTBBJTIwJTIwJTIwJTIwdHJhaW5fZGF0YXNldCUzRHRva2VuaXplZF9ib29rcyU1QiUyMnRyYWluJTIyJTVEJTJDJTBBJTIwJTIwJTIwJTIwZXZhbF9kYXRhc2V0JTNEdG9rZW5pemVkX2Jvb2tzJTVCJTIydGVzdCUyMiU1RCUyQyUwQSUyMCUyMCUyMCUyMHRva2VuaXplciUzRHRva2VuaXplciUyQyUwQSUyMCUyMCUyMCUyMGRhdGFfY29sbGF0b3IlM0RkYXRhX2NvbGxhdG9yJTJDJTBBJTIwJTIwJTIwJTIwY29tcHV0ZV9tZXRyaWNzJTNEY29tcHV0ZV9tZXRyaWNzJTJDJTBBKSUwQSUwQXRyYWluZXIudHJhaW4oKQ==",highlighted:`<span class="hljs-meta">>>> </span>training_args = Seq2SeqTrainingArguments( | |
| <span class="hljs-meta">... </span> output_dir=<span class="hljs-string">"my_awesome_opus_books_model"</span>, | |
| <span class="hljs-meta">... </span> eval_strategy=<span class="hljs-string">"epoch"</span>, | |
| <span class="hljs-meta">... </span> learning_rate=<span class="hljs-number">2e-5</span>, | |
| <span class="hljs-meta">... </span> per_device_train_batch_size=<span class="hljs-number">16</span>, | |
| <span class="hljs-meta">... </span> per_device_eval_batch_size=<span class="hljs-number">16</span>, | |
| <span class="hljs-meta">... </span> weight_decay=<span class="hljs-number">0.01</span>, | |
| <span class="hljs-meta">... </span> save_total_limit=<span class="hljs-number">3</span>, | |
| <span class="hljs-meta">... </span> num_train_epochs=<span class="hljs-number">2</span>, | |
| <span class="hljs-meta">... </span> predict_with_generate=<span class="hljs-literal">True</span>, | |
| <span class="hljs-meta">... </span> fp16=<span class="hljs-literal">True</span>, | |
| <span class="hljs-meta">... </span> push_to_hub=<span class="hljs-literal">True</span>, | |
| <span class="hljs-meta">... </span>) | |
| <span class="hljs-meta">>>> </span>trainer = Seq2SeqTrainer( | |
| <span class="hljs-meta">... </span> model=model, | |
| <span class="hljs-meta">... </span> args=training_args, | |
| <span class="hljs-meta">... </span> train_dataset=tokenized_books[<span class="hljs-string">"train"</span>], | |
| <span class="hljs-meta">... </span> eval_dataset=tokenized_books[<span class="hljs-string">"test"</span>], | |
| <span class="hljs-meta">... </span> tokenizer=tokenizer, | |
| <span class="hljs-meta">... </span> data_collator=data_collator, | |
| <span class="hljs-meta">... </span> compute_metrics=compute_metrics, | |
| <span class="hljs-meta">... </span>) | |
| <span class="hljs-meta">>>> </span>trainer.train()`,wrap:!1}}),H=new R({props:{code:"dHJhaW5lci5wdXNoX3RvX2h1Yigp",highlighted:'<span class="hljs-meta">>>> </span>trainer.push_to_hub()',wrap:!1}}),{c(){M(t.$$.fragment),c=o(),e=j("p"),e.innerHTML=i,g=o(),M(Z.$$.fragment),V=o(),X=j("p"),X.textContent=C,G=o(),_=j("ol"),_.innerHTML=I,W=o(),M(U.$$.fragment),x=o(),r=j("p"),r.innerHTML=J,F=o(),M(H.$$.fragment)},l(f){u(t.$$.fragment,f),c=m(f),e=b(f,"P",{"data-svelte-h":!0}),T(e)!=="svelte-tkyheg"&&(e.innerHTML=i),g=m(f),u(Z.$$.fragment,f),V=m(f),X=b(f,"P",{"data-svelte-h":!0}),T(X)!=="svelte-5p19xw"&&(X.textContent=C),G=m(f),_=b(f,"OL",{"data-svelte-h":!0}),T(_)!=="svelte-1ppvf04"&&(_.innerHTML=I),W=m(f),u(U.$$.fragment,f),x=m(f),r=b(f,"P",{"data-svelte-h":!0}),T(r)!=="svelte-ngexm3"&&(r.innerHTML=J),F=m(f),u(H.$$.fragment,f)},m(f,v){y(t,f,v),a(f,c,v),a(f,e,v),a(f,g,v),y(Z,f,v),a(f,V,v),a(f,X,v),a(f,G,v),a(f,_,v),a(f,W,v),y(U,f,v),a(f,x,v),a(f,r,v),a(f,F,v),y(H,f,v),B=!0},p(f,v){const z={};v&2&&(z.$$scope={dirty:v,ctx:f}),t.$set(z)},i(f){B||(h(t.$$.fragment,f),h(Z.$$.fragment,f),h(U.$$.fragment,f),h(H.$$.fragment,f),B=!0)},o(f){$(t.$$.fragment,f),$(Z.$$.fragment,f),$(U.$$.fragment,f),$(H.$$.fragment,f),B=!1},d(f){f&&(l(c),l(e),l(g),l(V),l(X),l(G),l(_),l(W),l(x),l(r),l(F)),d(t,f),d(Z,f),d(U,f),d(H,f)}}}function ot(k){let t,c;return t=new Es({props:{$$slots:{default:[rt]},$$scope:{ctx:k}}}),{c(){M(t.$$.fragment)},l(e){u(t.$$.fragment,e)},m(e,i){y(t,e,i),c=!0},p(e,i){const g={};i&2&&(g.$$scope={dirty:i,ctx:e}),t.$set(g)},i(e){c||(h(t.$$.fragment,e),c=!0)},o(e){$(t.$$.fragment,e),c=!1},d(e){d(t,e)}}}function mt(k){let t,c='Keras を使用したモデルの微調整に慣れていない場合は、<a href="../training#train-a-tensorflow-model-with-keras">こちら</a> の基本的なチュートリアルをご覧ください。';return{c(){t=j("p"),t.innerHTML=c},l(e){t=b(e,"P",{"data-svelte-h":!0}),T(t)!=="svelte-1jwo7q8"&&(t.innerHTML=c)},m(e,i){a(e,t,i)},p:ms,d(e){e&&l(t)}}}function ct(k){let t,c,e,i,g,Z='次に、<a href="/docs/transformers/main/ja/model_doc/auto#transformers.TFAutoModelForSeq2SeqLM">TFAutoModelForSeq2SeqLM</a> を使用して T5 をロードできます。',V,X,C,G,_='<a href="/docs/transformers/main/ja/main_classes/model#transformers.TFPreTrainedModel.prepare_tf_dataset">prepare_tf_dataset()</a> を使用して、データセットを <code>tf.data.Dataset</code> 形式に変換します。',I,W,U,x,r='<a href="https://keras.io/api/models/model_training_apis/#compile-method" rel="nofollow"><code>compile</code></a> を使用してトレーニング用のモデルを設定します。 Transformers モデルにはすべてデフォルトのタスク関連の損失関数があるため、次の場合を除き、損失関数を指定する必要はないことに注意してください。',J,F,H,B,f='トレーニングを開始する前にセットアップする最後の 2 つのことは、予測から SacreBLEU メトリクスを計算し、モデルをハブにプッシュする方法を提供することです。どちらも <a href="../main_classes/keras_callbacks">Keras コールバック</a> を使用して行われます。',v,z,cs='<code>compute_metrics</code> 関数を <a href="/docs/transformers/main/ja/main_classes/keras_callbacks#transformers.KerasMetricCallback">KerasMetricCallback</a> に渡します。',N,E,Y,es,is='<a href="/docs/transformers/main/ja/main_classes/keras_callbacks#transformers.PushToHubCallback">PushToHubCallback</a> でモデルとトークナイザーをプッシュする場所を指定します。',S,Q,q,A,ts="次に、コールバックをまとめてバンドルします。",fs,L,P,D,ls='ついに、モデルのトレーニングを開始する準備が整いました。トレーニングおよび検証データセット、エポック数、コールバックを指定して <a href="https://keras.io/api/models/model_training_apis/#fit-method" rel="nofollow"><code>fit</code></a> を呼び出し、モデルを微調整します。',Ms,K,O,ss,as="トレーニングが完了すると、モデルは自動的にハブにアップロードされ、誰でも使用できるようになります。",us;return t=new we({props:{$$slots:{default:[mt]},$$scope:{ctx:k}}}),e=new R({props:{code:"ZnJvbSUyMHRyYW5zZm9ybWVycyUyMGltcG9ydCUyMEFkYW1XZWlnaHREZWNheSUwQSUwQW9wdGltaXplciUyMCUzRCUyMEFkYW1XZWlnaHREZWNheShsZWFybmluZ19yYXRlJTNEMmUtNSUyQyUyMHdlaWdodF9kZWNheV9yYXRlJTNEMC4wMSk=",highlighted:`<span class="hljs-meta">>>> </span><span class="hljs-keyword">from</span> transformers <span class="hljs-keyword">import</span> AdamWeightDecay | |
| <span class="hljs-meta">>>> </span>optimizer = AdamWeightDecay(learning_rate=<span class="hljs-number">2e-5</span>, weight_decay_rate=<span class="hljs-number">0.01</span>)`,wrap:!1}}),X=new R({props:{code:"ZnJvbSUyMHRyYW5zZm9ybWVycyUyMGltcG9ydCUyMFRGQXV0b01vZGVsRm9yU2VxMlNlcUxNJTBBJTBBbW9kZWwlMjAlM0QlMjBURkF1dG9Nb2RlbEZvclNlcTJTZXFMTS5mcm9tX3ByZXRyYWluZWQoY2hlY2twb2ludCk=",highlighted:`<span class="hljs-meta">>>> </span><span class="hljs-keyword">from</span> transformers <span class="hljs-keyword">import</span> TFAutoModelForSeq2SeqLM | |
| <span class="hljs-meta">>>> </span>model = TFAutoModelForSeq2SeqLM.from_pretrained(checkpoint)`,wrap:!1}}),W=new R({props:{code:"dGZfdHJhaW5fc2V0JTIwJTNEJTIwbW9kZWwucHJlcGFyZV90Zl9kYXRhc2V0KCUwQSUyMCUyMCUyMCUyMHRva2VuaXplZF9ib29rcyU1QiUyMnRyYWluJTIyJTVEJTJDJTBBJTIwJTIwJTIwJTIwc2h1ZmZsZSUzRFRydWUlMkMlMEElMjAlMjAlMjAlMjBiYXRjaF9zaXplJTNEMTYlMkMlMEElMjAlMjAlMjAlMjBjb2xsYXRlX2ZuJTNEZGF0YV9jb2xsYXRvciUyQyUwQSklMEElMEF0Zl90ZXN0X3NldCUyMCUzRCUyMG1vZGVsLnByZXBhcmVfdGZfZGF0YXNldCglMEElMjAlMjAlMjAlMjB0b2tlbml6ZWRfYm9va3MlNUIlMjJ0ZXN0JTIyJTVEJTJDJTBBJTIwJTIwJTIwJTIwc2h1ZmZsZSUzREZhbHNlJTJDJTBBJTIwJTIwJTIwJTIwYmF0Y2hfc2l6ZSUzRDE2JTJDJTBBJTIwJTIwJTIwJTIwY29sbGF0ZV9mbiUzRGRhdGFfY29sbGF0b3IlMkMlMEEp",highlighted:`<span class="hljs-meta">>>> </span>tf_train_set = model.prepare_tf_dataset( | |
| <span class="hljs-meta">... </span> tokenized_books[<span class="hljs-string">"train"</span>], | |
| <span class="hljs-meta">... </span> shuffle=<span class="hljs-literal">True</span>, | |
| <span class="hljs-meta">... </span> batch_size=<span class="hljs-number">16</span>, | |
| <span class="hljs-meta">... </span> collate_fn=data_collator, | |
| <span class="hljs-meta">... </span>) | |
| <span class="hljs-meta">>>> </span>tf_test_set = model.prepare_tf_dataset( | |
| <span class="hljs-meta">... </span> tokenized_books[<span class="hljs-string">"test"</span>], | |
| <span class="hljs-meta">... </span> shuffle=<span class="hljs-literal">False</span>, | |
| <span class="hljs-meta">... </span> batch_size=<span class="hljs-number">16</span>, | |
| <span class="hljs-meta">... </span> collate_fn=data_collator, | |
| <span class="hljs-meta">... </span>)`,wrap:!1}}),F=new R({props:{code:"aW1wb3J0JTIwdGVuc29yZmxvdyUyMGFzJTIwdGYlMEElMEFtb2RlbC5jb21waWxlKG9wdGltaXplciUzRG9wdGltaXplciklMjAlMjAlMjMlMjBObyUyMGxvc3MlMjBhcmd1bWVudCE=",highlighted:`<span class="hljs-meta">>>> </span><span class="hljs-keyword">import</span> tensorflow <span class="hljs-keyword">as</span> tf | |
| <span class="hljs-meta">>>> </span>model.<span class="hljs-built_in">compile</span>(optimizer=optimizer) <span class="hljs-comment"># No loss argument!</span>`,wrap:!1}}),E=new R({props:{code:"ZnJvbSUyMHRyYW5zZm9ybWVycy5rZXJhc19jYWxsYmFja3MlMjBpbXBvcnQlMjBLZXJhc01ldHJpY0NhbGxiYWNrJTBBJTBBbWV0cmljX2NhbGxiYWNrJTIwJTNEJTIwS2VyYXNNZXRyaWNDYWxsYmFjayhtZXRyaWNfZm4lM0Rjb21wdXRlX21ldHJpY3MlMkMlMjBldmFsX2RhdGFzZXQlM0R0Zl92YWxpZGF0aW9uX3NldCk=",highlighted:`<span class="hljs-meta">>>> </span><span class="hljs-keyword">from</span> transformers.keras_callbacks <span class="hljs-keyword">import</span> KerasMetricCallback | |
| <span class="hljs-meta">>>> </span>metric_callback = KerasMetricCallback(metric_fn=compute_metrics, eval_dataset=tf_validation_set)`,wrap:!1}}),Q=new R({props:{code:"ZnJvbSUyMHRyYW5zZm9ybWVycy5rZXJhc19jYWxsYmFja3MlMjBpbXBvcnQlMjBQdXNoVG9IdWJDYWxsYmFjayUwQSUwQXB1c2hfdG9faHViX2NhbGxiYWNrJTIwJTNEJTIwUHVzaFRvSHViQ2FsbGJhY2soJTBBJTIwJTIwJTIwJTIwb3V0cHV0X2RpciUzRCUyMm15X2F3ZXNvbWVfb3B1c19ib29rc19tb2RlbCUyMiUyQyUwQSUyMCUyMCUyMCUyMHRva2VuaXplciUzRHRva2VuaXplciUyQyUwQSk=",highlighted:`<span class="hljs-meta">>>> </span><span class="hljs-keyword">from</span> transformers.keras_callbacks <span class="hljs-keyword">import</span> PushToHubCallback | |
| <span class="hljs-meta">>>> </span>push_to_hub_callback = PushToHubCallback( | |
| <span class="hljs-meta">... </span> output_dir=<span class="hljs-string">"my_awesome_opus_books_model"</span>, | |
| <span class="hljs-meta">... </span> tokenizer=tokenizer, | |
| <span class="hljs-meta">... </span>)`,wrap:!1}}),L=new R({props:{code:"Y2FsbGJhY2tzJTIwJTNEJTIwJTVCbWV0cmljX2NhbGxiYWNrJTJDJTIwcHVzaF90b19odWJfY2FsbGJhY2slNUQ=",highlighted:'<span class="hljs-meta">>>> </span>callbacks = [metric_callback, push_to_hub_callback]',wrap:!1}}),K=new R({props:{code:"bW9kZWwuZml0KHglM0R0Zl90cmFpbl9zZXQlMkMlMjB2YWxpZGF0aW9uX2RhdGElM0R0Zl90ZXN0X3NldCUyQyUyMGVwb2NocyUzRDMlMkMlMjBjYWxsYmFja3MlM0RjYWxsYmFja3Mp",highlighted:'<span class="hljs-meta">>>> </span>model.fit(x=tf_train_set, validation_data=tf_test_set, epochs=<span class="hljs-number">3</span>, callbacks=callbacks)',wrap:!1}}),{c(){M(t.$$.fragment),c=De(` | |
| TensorFlow でモデルを微調整するには、オプティマイザー関数、学習率スケジュール、およびいくつかのトレーニング ハイパーパラメーターをセットアップすることから始めます。 | |
| `),M(e.$$.fragment),i=o(),g=j("p"),g.innerHTML=Z,V=o(),M(X.$$.fragment),C=o(),G=j("p"),G.innerHTML=_,I=o(),M(W.$$.fragment),U=o(),x=j("p"),x.innerHTML=r,J=o(),M(F.$$.fragment),H=o(),B=j("p"),B.innerHTML=f,v=o(),z=j("p"),z.innerHTML=cs,N=o(),M(E.$$.fragment),Y=o(),es=j("p"),es.innerHTML=is,S=o(),M(Q.$$.fragment),q=o(),A=j("p"),A.textContent=ts,fs=o(),M(L.$$.fragment),P=o(),D=j("p"),D.innerHTML=ls,Ms=o(),M(K.$$.fragment),O=o(),ss=j("p"),ss.textContent=as},l(p){u(t.$$.fragment,p),c=Ke(p,` | |
| TensorFlow でモデルを微調整するには、オプティマイザー関数、学習率スケジュール、およびいくつかのトレーニング ハイパーパラメーターをセットアップすることから始めます。 | |
| `),u(e.$$.fragment,p),i=m(p),g=b(p,"P",{"data-svelte-h":!0}),T(g)!=="svelte-16zhwz"&&(g.innerHTML=Z),V=m(p),u(X.$$.fragment,p),C=m(p),G=b(p,"P",{"data-svelte-h":!0}),T(G)!=="svelte-1mdvspu"&&(G.innerHTML=_),I=m(p),u(W.$$.fragment,p),U=m(p),x=b(p,"P",{"data-svelte-h":!0}),T(x)!=="svelte-1pd5few"&&(x.innerHTML=r),J=m(p),u(F.$$.fragment,p),H=m(p),B=b(p,"P",{"data-svelte-h":!0}),T(B)!=="svelte-nilt2w"&&(B.innerHTML=f),v=m(p),z=b(p,"P",{"data-svelte-h":!0}),T(z)!=="svelte-ht78yi"&&(z.innerHTML=cs),N=m(p),u(E.$$.fragment,p),Y=m(p),es=b(p,"P",{"data-svelte-h":!0}),T(es)!=="svelte-1rwfgpb"&&(es.innerHTML=is),S=m(p),u(Q.$$.fragment,p),q=m(p),A=b(p,"P",{"data-svelte-h":!0}),T(A)!=="svelte-r16oc5"&&(A.textContent=ts),fs=m(p),u(L.$$.fragment,p),P=m(p),D=b(p,"P",{"data-svelte-h":!0}),T(D)!=="svelte-ffgub5"&&(D.innerHTML=ls),Ms=m(p),u(K.$$.fragment,p),O=m(p),ss=b(p,"P",{"data-svelte-h":!0}),T(ss)!=="svelte-vh7z0v"&&(ss.textContent=as)},m(p,w){y(t,p,w),a(p,c,w),y(e,p,w),a(p,i,w),a(p,g,w),a(p,V,w),y(X,p,w),a(p,C,w),a(p,G,w),a(p,I,w),y(W,p,w),a(p,U,w),a(p,x,w),a(p,J,w),y(F,p,w),a(p,H,w),a(p,B,w),a(p,v,w),a(p,z,w),a(p,N,w),y(E,p,w),a(p,Y,w),a(p,es,w),a(p,S,w),y(Q,p,w),a(p,q,w),a(p,A,w),a(p,fs,w),y(L,p,w),a(p,P,w),a(p,D,w),a(p,Ms,w),y(K,p,w),a(p,O,w),a(p,ss,w),us=!0},p(p,w){const ys={};w&2&&(ys.$$scope={dirty:w,ctx:p}),t.$set(ys)},i(p){us||(h(t.$$.fragment,p),h(e.$$.fragment,p),h(X.$$.fragment,p),h(W.$$.fragment,p),h(F.$$.fragment,p),h(E.$$.fragment,p),h(Q.$$.fragment,p),h(L.$$.fragment,p),h(K.$$.fragment,p),us=!0)},o(p){$(t.$$.fragment,p),$(e.$$.fragment,p),$(X.$$.fragment,p),$(W.$$.fragment,p),$(F.$$.fragment,p),$(E.$$.fragment,p),$(Q.$$.fragment,p),$(L.$$.fragment,p),$(K.$$.fragment,p),us=!1},d(p){p&&(l(c),l(i),l(g),l(V),l(C),l(G),l(I),l(U),l(x),l(J),l(H),l(B),l(v),l(z),l(N),l(Y),l(es),l(S),l(q),l(A),l(fs),l(P),l(D),l(Ms),l(O),l(ss)),d(t,p),d(e,p),d(X,p),d(W,p),d(F,p),d(E,p),d(Q,p),d(L,p),d(K,p)}}}function it(k){let t,c;return t=new Es({props:{$$slots:{default:[ct]},$$scope:{ctx:k}}}),{c(){M(t.$$.fragment)},l(e){u(t.$$.fragment,e)},m(e,i){y(t,e,i),c=!0},p(e,i){const g={};i&2&&(g.$$scope={dirty:i,ctx:e}),t.$set(g)},i(e){c||(h(t.$$.fragment,e),c=!0)},o(e){$(t.$$.fragment,e),c=!1},d(e){d(t,e)}}}function ft(k){let t,c=`翻訳用にモデルを微調整する方法の詳細な例については、対応するドキュメントを参照してください。 | |
| <a href="https://colab.research.google.com/github/huggingface/notebooks/blob/main/examples/translation.ipynb" rel="nofollow">PyTorch ノートブック</a> | |
| または <a href="https://colab.research.google.com/github/huggingface/notebooks/blob/main/examples/translation-tf.ipynb" rel="nofollow">TensorFlow ノートブック</a>。`;return{c(){t=j("p"),t.innerHTML=c},l(e){t=b(e,"P",{"data-svelte-h":!0}),T(t)!=="svelte-64mea5"&&(t.innerHTML=c)},m(e,i){a(e,t,i)},p:ms,d(e){e&&l(t)}}}function Mt(k){let t,c="テキストをトークン化し、<code>input_ids</code> を PyTorch テンソルとして返します。",e,i,g,Z,V='<a href="/docs/transformers/main/ja/main_classes/text_generation#transformers.GenerationMixin.generate">generate()</a> メソッドを使用して翻訳を作成します。さまざまなテキスト生成戦略と生成を制御するためのパラメーターの詳細については、<a href="../main_classes/text_generation">Text Generation</a> API を確認してください。',X,C,G,_,I="生成されたトークン ID をデコードしてテキストに戻します。",W,U,x;return i=new R({props:{code:"ZnJvbSUyMHRyYW5zZm9ybWVycyUyMGltcG9ydCUyMEF1dG9Ub2tlbml6ZXIlMEElMEF0b2tlbml6ZXIlMjAlM0QlMjBBdXRvVG9rZW5pemVyLmZyb21fcHJldHJhaW5lZCglMjJteV9hd2Vzb21lX29wdXNfYm9va3NfbW9kZWwlMjIpJTBBaW5wdXRzJTIwJTNEJTIwdG9rZW5pemVyKHRleHQlMkMlMjByZXR1cm5fdGVuc29ycyUzRCUyMnB0JTIyKS5pbnB1dF9pZHM=",highlighted:`<span class="hljs-meta">>>> </span><span class="hljs-keyword">from</span> transformers <span class="hljs-keyword">import</span> AutoTokenizer | |
| <span class="hljs-meta">>>> </span>tokenizer = AutoTokenizer.from_pretrained(<span class="hljs-string">"my_awesome_opus_books_model"</span>) | |
| <span class="hljs-meta">>>> </span>inputs = tokenizer(text, return_tensors=<span class="hljs-string">"pt"</span>).input_ids`,wrap:!1}}),C=new R({props:{code:"ZnJvbSUyMHRyYW5zZm9ybWVycyUyMGltcG9ydCUyMEF1dG9Nb2RlbEZvclNlcTJTZXFMTSUwQSUwQW1vZGVsJTIwJTNEJTIwQXV0b01vZGVsRm9yU2VxMlNlcUxNLmZyb21fcHJldHJhaW5lZCglMjJteV9hd2Vzb21lX29wdXNfYm9va3NfbW9kZWwlMjIpJTBBb3V0cHV0cyUyMCUzRCUyMG1vZGVsLmdlbmVyYXRlKGlucHV0cyUyQyUyMG1heF9uZXdfdG9rZW5zJTNENDAlMkMlMjBkb19zYW1wbGUlM0RUcnVlJTJDJTIwdG9wX2slM0QzMCUyQyUyMHRvcF9wJTNEMC45NSk=",highlighted:`<span class="hljs-meta">>>> </span><span class="hljs-keyword">from</span> transformers <span class="hljs-keyword">import</span> AutoModelForSeq2SeqLM | |
| <span class="hljs-meta">>>> </span>model = AutoModelForSeq2SeqLM.from_pretrained(<span class="hljs-string">"my_awesome_opus_books_model"</span>) | |
| <span class="hljs-meta">>>> </span>outputs = model.generate(inputs, max_new_tokens=<span class="hljs-number">40</span>, do_sample=<span class="hljs-literal">True</span>, top_k=<span class="hljs-number">30</span>, top_p=<span class="hljs-number">0.95</span>)`,wrap:!1}}),U=new R({props:{code:"dG9rZW5pemVyLmRlY29kZShvdXRwdXRzJTVCMCU1RCUyQyUyMHNraXBfc3BlY2lhbF90b2tlbnMlM0RUcnVlKQ==",highlighted:`<span class="hljs-meta">>>> </span>tokenizer.decode(outputs[<span class="hljs-number">0</span>], skip_special_tokens=<span class="hljs-literal">True</span>) | |
| <span class="hljs-string">'Les lignées partagent des ressources avec des bactéries enfixant l'</span>azote.<span class="hljs-string">'</span>`,wrap:!1}}),{c(){t=j("p"),t.innerHTML=c,e=o(),M(i.$$.fragment),g=o(),Z=j("p"),Z.innerHTML=V,X=o(),M(C.$$.fragment),G=o(),_=j("p"),_.textContent=I,W=o(),M(U.$$.fragment)},l(r){t=b(r,"P",{"data-svelte-h":!0}),T(t)!=="svelte-qm50cf"&&(t.innerHTML=c),e=m(r),u(i.$$.fragment,r),g=m(r),Z=b(r,"P",{"data-svelte-h":!0}),T(Z)!=="svelte-1kdcpie"&&(Z.innerHTML=V),X=m(r),u(C.$$.fragment,r),G=m(r),_=b(r,"P",{"data-svelte-h":!0}),T(_)!=="svelte-izrqac"&&(_.textContent=I),W=m(r),u(U.$$.fragment,r)},m(r,J){a(r,t,J),a(r,e,J),y(i,r,J),a(r,g,J),a(r,Z,J),a(r,X,J),y(C,r,J),a(r,G,J),a(r,_,J),a(r,W,J),y(U,r,J),x=!0},p:ms,i(r){x||(h(i.$$.fragment,r),h(C.$$.fragment,r),h(U.$$.fragment,r),x=!0)},o(r){$(i.$$.fragment,r),$(C.$$.fragment,r),$(U.$$.fragment,r),x=!1},d(r){r&&(l(t),l(e),l(g),l(Z),l(X),l(G),l(_),l(W)),d(i,r),d(C,r),d(U,r)}}}function ut(k){let t,c;return t=new Es({props:{$$slots:{default:[Mt]},$$scope:{ctx:k}}}),{c(){M(t.$$.fragment)},l(e){u(t.$$.fragment,e)},m(e,i){y(t,e,i),c=!0},p(e,i){const g={};i&2&&(g.$$scope={dirty:i,ctx:e}),t.$set(g)},i(e){c||(h(t.$$.fragment,e),c=!0)},o(e){$(t.$$.fragment,e),c=!1},d(e){d(t,e)}}}function yt(k){let t,c="<code>input_ids</code>を TensorFlow テンソルとして返します。 tensors:",e,i,g,Z,V='<code>~transformers.generation_tf_utils.TFGenerationMixin.generate</code> メソッドを使用して翻訳を作成します。さまざまなテキスト生成戦略と生成を制御するためのパラメーターの詳細については、<a href="../main_classes/text_generation">Text Generation</a> API を確認してください。',X,C,G,_,I="生成されたトークン ID をデコードしてテキストに戻します。",W,U,x;return i=new R({props:{code:"ZnJvbSUyMHRyYW5zZm9ybWVycyUyMGltcG9ydCUyMEF1dG9Ub2tlbml6ZXIlMEElMEF0b2tlbml6ZXIlMjAlM0QlMjBBdXRvVG9rZW5pemVyLmZyb21fcHJldHJhaW5lZCglMjJteV9hd2Vzb21lX29wdXNfYm9va3NfbW9kZWwlMjIpJTBBaW5wdXRzJTIwJTNEJTIwdG9rZW5pemVyKHRleHQlMkMlMjByZXR1cm5fdGVuc29ycyUzRCUyMnRmJTIyKS5pbnB1dF9pZHM=",highlighted:`<span class="hljs-meta">>>> </span><span class="hljs-keyword">from</span> transformers <span class="hljs-keyword">import</span> AutoTokenizer | |
| <span class="hljs-meta">>>> </span>tokenizer = AutoTokenizer.from_pretrained(<span class="hljs-string">"my_awesome_opus_books_model"</span>) | |
| <span class="hljs-meta">>>> </span>inputs = tokenizer(text, return_tensors=<span class="hljs-string">"tf"</span>).input_ids`,wrap:!1}}),C=new R({props:{code:"ZnJvbSUyMHRyYW5zZm9ybWVycyUyMGltcG9ydCUyMFRGQXV0b01vZGVsRm9yU2VxMlNlcUxNJTBBJTBBbW9kZWwlMjAlM0QlMjBURkF1dG9Nb2RlbEZvclNlcTJTZXFMTS5mcm9tX3ByZXRyYWluZWQoJTIybXlfYXdlc29tZV9vcHVzX2Jvb2tzX21vZGVsJTIyKSUwQW91dHB1dHMlMjAlM0QlMjBtb2RlbC5nZW5lcmF0ZShpbnB1dHMlMkMlMjBtYXhfbmV3X3Rva2VucyUzRDQwJTJDJTIwZG9fc2FtcGxlJTNEVHJ1ZSUyQyUyMHRvcF9rJTNEMzAlMkMlMjB0b3BfcCUzRDAuOTUp",highlighted:`<span class="hljs-meta">>>> </span><span class="hljs-keyword">from</span> transformers <span class="hljs-keyword">import</span> TFAutoModelForSeq2SeqLM | |
| <span class="hljs-meta">>>> </span>model = TFAutoModelForSeq2SeqLM.from_pretrained(<span class="hljs-string">"my_awesome_opus_books_model"</span>) | |
| <span class="hljs-meta">>>> </span>outputs = model.generate(inputs, max_new_tokens=<span class="hljs-number">40</span>, do_sample=<span class="hljs-literal">True</span>, top_k=<span class="hljs-number">30</span>, top_p=<span class="hljs-number">0.95</span>)`,wrap:!1}}),U=new R({props:{code:"dG9rZW5pemVyLmRlY29kZShvdXRwdXRzJTVCMCU1RCUyQyUyMHNraXBfc3BlY2lhbF90b2tlbnMlM0RUcnVlKQ==",highlighted:`<span class="hljs-meta">>>> </span>tokenizer.decode(outputs[<span class="hljs-number">0</span>], skip_special_tokens=<span class="hljs-literal">True</span>) | |
| <span class="hljs-string">'Les lugumes partagent les ressources avec des bactéries fixatrices d'</span>azote.<span class="hljs-string">'</span>`,wrap:!1}}),{c(){t=j("p"),t.innerHTML=c,e=o(),M(i.$$.fragment),g=o(),Z=j("p"),Z.innerHTML=V,X=o(),M(C.$$.fragment),G=o(),_=j("p"),_.textContent=I,W=o(),M(U.$$.fragment)},l(r){t=b(r,"P",{"data-svelte-h":!0}),T(t)!=="svelte-258v67"&&(t.innerHTML=c),e=m(r),u(i.$$.fragment,r),g=m(r),Z=b(r,"P",{"data-svelte-h":!0}),T(Z)!=="svelte-18gmcr7"&&(Z.innerHTML=V),X=m(r),u(C.$$.fragment,r),G=m(r),_=b(r,"P",{"data-svelte-h":!0}),T(_)!=="svelte-izrqac"&&(_.textContent=I),W=m(r),u(U.$$.fragment,r)},m(r,J){a(r,t,J),a(r,e,J),y(i,r,J),a(r,g,J),a(r,Z,J),a(r,X,J),y(C,r,J),a(r,G,J),a(r,_,J),a(r,W,J),y(U,r,J),x=!0},p:ms,i(r){x||(h(i.$$.fragment,r),h(C.$$.fragment,r),h(U.$$.fragment,r),x=!0)},o(r){$(i.$$.fragment,r),$(C.$$.fragment,r),$(U.$$.fragment,r),x=!1},d(r){r&&(l(t),l(e),l(g),l(Z),l(X),l(G),l(_),l(W)),d(i,r),d(C,r),d(U,r)}}}function ht(k){let t,c;return t=new Es({props:{$$slots:{default:[yt]},$$scope:{ctx:k}}}),{c(){M(t.$$.fragment)},l(e){u(t.$$.fragment,e)},m(e,i){y(t,e,i),c=!0},p(e,i){const g={};i&2&&(g.$$scope={dirty:i,ctx:e}),t.$set(g)},i(e){c||(h(t.$$.fragment,e),c=!0)},o(e){$(t.$$.fragment,e),c=!1},d(e){d(t,e)}}}function $t(k){let t,c,e,i,g,Z,V,X,C,G,_,I="翻訳では、一連のテキストをある言語から別の言語に変換します。これは、シーケンス間問題として定式化できるいくつかのタスクの 1 つであり、翻訳や要約など、入力から何らかの出力を返すための強力なフレームワークです。翻訳システムは通常、異なる言語のテキスト間の翻訳に使用されますが、音声、またはテキストから音声への変換や音声からテキストへの変換など、音声間の組み合わせにも使用できます。",W,U,x="このガイドでは、次の方法を説明します。",r,J,F='<li><a href="https://huggingface.co/datasets/opus_books" rel="nofollow">OPUS Books</a> データセットの英語-フランス語サブセットの <a href="https://huggingface.co/google-t5/t5-small" rel="nofollow">T5</a> を微調整して、英語のテキストを次の形式に翻訳します。フランス語。</li> <li>微調整されたモデルを推論に使用します。</li>',H,B,f,v,z="始める前に、必要なライブラリがすべてインストールされていることを確認してください。",cs,N,E,Y,es="モデルをアップロードしてコミュニティと共有できるように、Hugging Face アカウントにログインすることをお勧めします。プロンプトが表示されたら、トークンを入力してログインします。",is,S,Q,q,A,ts,fs='まず、🤗 データセット ライブラリから <a href="https://huggingface.co/datasets/opus_books" rel="nofollow">OPUS Books</a> データセットの英語とフランス語のサブセットを読み込みます。',L,P,D,ls,Ms="<code>train_test_split</code> メソッドを使用して、データセットをトレイン セットとテスト セットに分割します。",K,O,ss,as,us="次に、例を見てみましょう。",p,w,ys,hs,Je="<code>translation</code>: テキストの英語とフランス語の翻訳。",Ss,$s,Qs,ds,qs,gs,Ue="次のステップでは、T5 トークナイザーをロードして英語とフランス語の言語ペアを処理します。",As,js,Ls,bs,_e="作成する前処理関数は次のことを行う必要があります。",Ps,ws,ke="<li>T5 がこれが翻訳タスクであることを認識できるように、入力の前にプロンプトを付けます。複数の NLP タスクが可能な一部のモデルでは、特定のタスクのプロンプトが必要です。</li> <li>英語の語彙で事前トレーニングされたトークナイザーを使用してフランス語のテキストをトークン化することはできないため、入力 (英語) とターゲット (フランス語) を別々にトークン化します。</li> <li><code>max_length</code>パラメータで設定された最大長を超えないようにシーケンスを切り詰めます。</li>",Ds,Ts,Ks,Js,Ze="データセット全体に前処理関数を適用するには、🤗 Datasets <code>map</code> メソッドを使用します。 <code>batched=True</code> を設定してデータセットの複数の要素を一度に処理することで、<code>map</code> 関数を高速化できます。",Os,Us,se,_s,Ce="次に、<code>DataCollatorForSeq2Seq</code> を使用してサンプルのバッチを作成します。データセット全体を最大長までパディングするのではなく、照合中にバッチ内の最長の長さまで文を <em>動的にパディング</em> する方が効率的です。",ee,ns,te,ks,le,Zs,ve='トレーニング中にメトリクスを含めると、多くの場合、モデルのパフォーマンスを評価するのに役立ちます。 🤗 <a href="https://huggingface.co/docs/evaluate/index" rel="nofollow">Evaluate</a> ライブラリを使用して、評価メソッドをすばやくロードできます。このタスクでは、<a href="https://huggingface.co/spaces/evaluate-metric/sacrebleu" rel="nofollow">SacreBLEU</a> メトリクスをロードします (🤗 Evaluate <a href="https://huggingface.co/docs/evaluate/a_quick_tour" rel="nofollow">クイック ツアー</a> を参照してください) ) メトリクスの読み込みと計算方法の詳細については、次を参照してください)。',ae,Cs,ne,vs,Re="次に、予測とラベルを <code>compute</code> に渡して SacreBLEU スコアを計算する関数を作成します。",pe,Rs,re,Xs,Xe="これで<code>compute_metrics</code>関数の準備が整いました。トレーニングをセットアップするときにこの関数に戻ります。",oe,Gs,me,ps,ce,rs,ie,Ws,fe,xs,Ge="モデルを微調整したので、それを推論に使用できるようになりました。",Me,Vs,We="別の言語に翻訳したいテキストを考え出します。 T5 の場合、作業中のタスクに応じて入力に接頭辞を付ける必要があります。英語からフランス語に翻訳する場合は、以下に示すように入力に接頭辞を付ける必要があります。",ue,Bs,ye,Hs,xe='推論用に微調整されたモデルを試す最も簡単な方法は、それを <a href="/docs/transformers/main/ja/main_classes/pipelines#transformers.pipeline">pipeline()</a> で使用することです。モデルを使用して翻訳用の<code>pipeline</code>をインスタンス化し、テキストをそれに渡します。',he,Is,$e,Fs,Ve="必要に応じて、<code>pipeline</code>の結果を手動で複製することもできます。",de,os,ge,zs,je,Ys,be;return g=new Ns({props:{title:"Translation",local:"translation",headingTag:"h1"}}),V=new Oe({props:{classNames:"absolute z-10 right-0 top-0",options:[{label:"Mixed",value:"https://colab.research.google.com/github/huggingface/notebooks/blob/main/transformers_doc/ja/translation.ipynb"},{label:"PyTorch",value:"https://colab.research.google.com/github/huggingface/notebooks/blob/main/transformers_doc/ja/pytorch/translation.ipynb"},{label:"TensorFlow",value:"https://colab.research.google.com/github/huggingface/notebooks/blob/main/transformers_doc/ja/tensorflow/translation.ipynb"},{label:"Mixed",value:"https://studiolab.sagemaker.aws/import/github/huggingface/notebooks/blob/main/transformers_doc/ja/translation.ipynb"},{label:"PyTorch",value:"https://studiolab.sagemaker.aws/import/github/huggingface/notebooks/blob/main/transformers_doc/ja/pytorch/translation.ipynb"},{label:"TensorFlow",value:"https://studiolab.sagemaker.aws/import/github/huggingface/notebooks/blob/main/transformers_doc/ja/tensorflow/translation.ipynb"}]}}),C=new Ye({props:{id:"1JvfrvZgi6c"}}),B=new we({props:{$$slots:{default:[et]},$$scope:{ctx:k}}}),N=new R({props:{code:"cGlwJTIwaW5zdGFsbCUyMHRyYW5zZm9ybWVycyUyMGRhdGFzZXRzJTIwZXZhbHVhdGUlMjBzYWNyZWJsZXU=",highlighted:"pip install transformers datasets evaluate sacrebleu",wrap:!1}}),S=new R({props:{code:"ZnJvbSUyMGh1Z2dpbmdmYWNlX2h1YiUyMGltcG9ydCUyMG5vdGVib29rX2xvZ2luJTBBJTBBbm90ZWJvb2tfbG9naW4oKQ==",highlighted:`<span class="hljs-meta">>>> </span><span class="hljs-keyword">from</span> huggingface_hub <span class="hljs-keyword">import</span> notebook_login | |
| <span class="hljs-meta">>>> </span>notebook_login()`,wrap:!1}}),q=new Ns({props:{title:"Load OPUS Books dataset",local:"load-opus-books-dataset",headingTag:"h2"}}),P=new R({props:{code:"ZnJvbSUyMGRhdGFzZXRzJTIwaW1wb3J0JTIwbG9hZF9kYXRhc2V0JTBBJTBBYm9va3MlMjAlM0QlMjBsb2FkX2RhdGFzZXQoJTIyb3B1c19ib29rcyUyMiUyQyUyMCUyMmVuLWZyJTIyKQ==",highlighted:`<span class="hljs-meta">>>> </span><span class="hljs-keyword">from</span> datasets <span class="hljs-keyword">import</span> load_dataset | |
| <span class="hljs-meta">>>> </span>books = load_dataset(<span class="hljs-string">"opus_books"</span>, <span class="hljs-string">"en-fr"</span>)`,wrap:!1}}),O=new R({props:{code:"Ym9va3MlMjAlM0QlMjBib29rcyU1QiUyMnRyYWluJTIyJTVELnRyYWluX3Rlc3Rfc3BsaXQodGVzdF9zaXplJTNEMC4yKQ==",highlighted:'<span class="hljs-meta">>>> </span>books = books[<span class="hljs-string">"train"</span>].train_test_split(test_size=<span class="hljs-number">0.2</span>)',wrap:!1}}),w=new R({props:{code:"Ym9va3MlNUIlMjJ0cmFpbiUyMiU1RCU1QjAlNUQ=",highlighted:`<span class="hljs-meta">>>> </span>books[<span class="hljs-string">"train"</span>][<span class="hljs-number">0</span>] | |
| {<span class="hljs-string">'id'</span>: <span class="hljs-string">'90560'</span>, | |
| <span class="hljs-string">'translation'</span>: {<span class="hljs-string">'en'</span>: <span class="hljs-string">'But this lofty plateau measured only a few fathoms, and soon we reentered Our Element.'</span>, | |
| <span class="hljs-string">'fr'</span>: <span class="hljs-string">'Mais ce plateau élevé ne mesurait que quelques toises, et bientôt nous fûmes rentrés dans notre élément.'</span>}}`,wrap:!1}}),$s=new Ns({props:{title:"Preprocess",local:"preprocess",headingTag:"h2"}}),ds=new Ye({props:{id:"XAR8jnZZuUs"}}),js=new R({props:{code:"ZnJvbSUyMHRyYW5zZm9ybWVycyUyMGltcG9ydCUyMEF1dG9Ub2tlbml6ZXIlMEElMEFjaGVja3BvaW50JTIwJTNEJTIwJTIyZ29vZ2xlLXQ1JTJGdDUtc21hbGwlMjIlMEF0b2tlbml6ZXIlMjAlM0QlMjBBdXRvVG9rZW5pemVyLmZyb21fcHJldHJhaW5lZChjaGVja3BvaW50KQ==",highlighted:`<span class="hljs-meta">>>> </span><span class="hljs-keyword">from</span> transformers <span class="hljs-keyword">import</span> AutoTokenizer | |
| <span class="hljs-meta">>>> </span>checkpoint = <span class="hljs-string">"google-t5/t5-small"</span> | |
| <span class="hljs-meta">>>> </span>tokenizer = AutoTokenizer.from_pretrained(checkpoint)`,wrap:!1}}),Ts=new R({props:{code:"c291cmNlX2xhbmclMjAlM0QlMjAlMjJlbiUyMiUwQXRhcmdldF9sYW5nJTIwJTNEJTIwJTIyZnIlMjIlMEFwcmVmaXglMjAlM0QlMjAlMjJ0cmFuc2xhdGUlMjBFbmdsaXNoJTIwdG8lMjBGcmVuY2glM0ElMjAlMjIlMEElMEElMEFkZWYlMjBwcmVwcm9jZXNzX2Z1bmN0aW9uKGV4YW1wbGVzKSUzQSUwQSUyMCUyMCUyMCUyMGlucHV0cyUyMCUzRCUyMCU1QnByZWZpeCUyMCUyQiUyMGV4YW1wbGUlNUJzb3VyY2VfbGFuZyU1RCUyMGZvciUyMGV4YW1wbGUlMjBpbiUyMGV4YW1wbGVzJTVCJTIydHJhbnNsYXRpb24lMjIlNUQlNUQlMEElMjAlMjAlMjAlMjB0YXJnZXRzJTIwJTNEJTIwJTVCZXhhbXBsZSU1QnRhcmdldF9sYW5nJTVEJTIwZm9yJTIwZXhhbXBsZSUyMGluJTIwZXhhbXBsZXMlNUIlMjJ0cmFuc2xhdGlvbiUyMiU1RCU1RCUwQSUyMCUyMCUyMCUyMG1vZGVsX2lucHV0cyUyMCUzRCUyMHRva2VuaXplcihpbnB1dHMlMkMlMjB0ZXh0X3RhcmdldCUzRHRhcmdldHMlMkMlMjBtYXhfbGVuZ3RoJTNEMTI4JTJDJTIwdHJ1bmNhdGlvbiUzRFRydWUpJTBBJTIwJTIwJTIwJTIwcmV0dXJuJTIwbW9kZWxfaW5wdXRz",highlighted:`<span class="hljs-meta">>>> </span>source_lang = <span class="hljs-string">"en"</span> | |
| <span class="hljs-meta">>>> </span>target_lang = <span class="hljs-string">"fr"</span> | |
| <span class="hljs-meta">>>> </span>prefix = <span class="hljs-string">"translate English to French: "</span> | |
| <span class="hljs-meta">>>> </span><span class="hljs-keyword">def</span> <span class="hljs-title function_">preprocess_function</span>(<span class="hljs-params">examples</span>): | |
| <span class="hljs-meta">... </span> inputs = [prefix + example[source_lang] <span class="hljs-keyword">for</span> example <span class="hljs-keyword">in</span> examples[<span class="hljs-string">"translation"</span>]] | |
| <span class="hljs-meta">... </span> targets = [example[target_lang] <span class="hljs-keyword">for</span> example <span class="hljs-keyword">in</span> examples[<span class="hljs-string">"translation"</span>]] | |
| <span class="hljs-meta">... </span> model_inputs = tokenizer(inputs, text_target=targets, max_length=<span class="hljs-number">128</span>, truncation=<span class="hljs-literal">True</span>) | |
| <span class="hljs-meta">... </span> <span class="hljs-keyword">return</span> model_inputs`,wrap:!1}}),Us=new R({props:{code:"dG9rZW5pemVkX2Jvb2tzJTIwJTNEJTIwYm9va3MubWFwKHByZXByb2Nlc3NfZnVuY3Rpb24lMkMlMjBiYXRjaGVkJTNEVHJ1ZSk=",highlighted:'<span class="hljs-meta">>>> </span>tokenized_books = books.<span class="hljs-built_in">map</span>(preprocess_function, batched=<span class="hljs-literal">True</span>)',wrap:!1}}),ns=new Te({props:{pytorch:!0,tensorflow:!0,jax:!1,$$slots:{tensorflow:[nt],pytorch:[lt]},$$scope:{ctx:k}}}),ks=new Ns({props:{title:"Evaluate",local:"evaluate",headingTag:"h2"}}),Cs=new R({props:{code:"aW1wb3J0JTIwZXZhbHVhdGUlMEElMEFtZXRyaWMlMjAlM0QlMjBldmFsdWF0ZS5sb2FkKCUyMnNhY3JlYmxldSUyMik=",highlighted:`<span class="hljs-meta">>>> </span><span class="hljs-keyword">import</span> evaluate | |
| <span class="hljs-meta">>>> </span>metric = evaluate.load(<span class="hljs-string">"sacrebleu"</span>)`,wrap:!1}}),Rs=new R({props:{code:"aW1wb3J0JTIwbnVtcHklMjBhcyUyMG5wJTBBJTBBJTBBZGVmJTIwcG9zdHByb2Nlc3NfdGV4dChwcmVkcyUyQyUyMGxhYmVscyklM0ElMEElMjAlMjAlMjAlMjBwcmVkcyUyMCUzRCUyMCU1QnByZWQuc3RyaXAoKSUyMGZvciUyMHByZWQlMjBpbiUyMHByZWRzJTVEJTBBJTIwJTIwJTIwJTIwbGFiZWxzJTIwJTNEJTIwJTVCJTVCbGFiZWwuc3RyaXAoKSU1RCUyMGZvciUyMGxhYmVsJTIwaW4lMjBsYWJlbHMlNUQlMEElMEElMjAlMjAlMjAlMjByZXR1cm4lMjBwcmVkcyUyQyUyMGxhYmVscyUwQSUwQSUwQWRlZiUyMGNvbXB1dGVfbWV0cmljcyhldmFsX3ByZWRzKSUzQSUwQSUyMCUyMCUyMCUyMHByZWRzJTJDJTIwbGFiZWxzJTIwJTNEJTIwZXZhbF9wcmVkcyUwQSUyMCUyMCUyMCUyMGlmJTIwaXNpbnN0YW5jZShwcmVkcyUyQyUyMHR1cGxlKSUzQSUwQSUyMCUyMCUyMCUyMCUyMCUyMCUyMCUyMHByZWRzJTIwJTNEJTIwcHJlZHMlNUIwJTVEJTBBJTIwJTIwJTIwJTIwZGVjb2RlZF9wcmVkcyUyMCUzRCUyMHRva2VuaXplci5iYXRjaF9kZWNvZGUocHJlZHMlMkMlMjBza2lwX3NwZWNpYWxfdG9rZW5zJTNEVHJ1ZSklMEElMEElMjAlMjAlMjAlMjBsYWJlbHMlMjAlM0QlMjBucC53aGVyZShsYWJlbHMlMjAhJTNEJTIwLTEwMCUyQyUyMGxhYmVscyUyQyUyMHRva2VuaXplci5wYWRfdG9rZW5faWQpJTBBJTIwJTIwJTIwJTIwZGVjb2RlZF9sYWJlbHMlMjAlM0QlMjB0b2tlbml6ZXIuYmF0Y2hfZGVjb2RlKGxhYmVscyUyQyUyMHNraXBfc3BlY2lhbF90b2tlbnMlM0RUcnVlKSUwQSUwQSUyMCUyMCUyMCUyMGRlY29kZWRfcHJlZHMlMkMlMjBkZWNvZGVkX2xhYmVscyUyMCUzRCUyMHBvc3Rwcm9jZXNzX3RleHQoZGVjb2RlZF9wcmVkcyUyQyUyMGRlY29kZWRfbGFiZWxzKSUwQSUwQSUyMCUyMCUyMCUyMHJlc3VsdCUyMCUzRCUyMG1ldHJpYy5jb21wdXRlKHByZWRpY3Rpb25zJTNEZGVjb2RlZF9wcmVkcyUyQyUyMHJlZmVyZW5jZXMlM0RkZWNvZGVkX2xhYmVscyklMEElMjAlMjAlMjAlMjByZXN1bHQlMjAlM0QlMjAlN0IlMjJibGV1JTIyJTNBJTIwcmVzdWx0JTVCJTIyc2NvcmUlMjIlNUQlN0QlMEElMEElMjAlMjAlMjAlMjBwcmVkaWN0aW9uX2xlbnMlMjAlM0QlMjAlNUJucC5jb3VudF9ub256ZXJvKHByZWQlMjAhJTNEJTIwdG9rZW5pemVyLnBhZF90b2tlbl9pZCklMjBmb3IlMjBwcmVkJTIwaW4lMjBwcmVkcyU1RCUwQSUyMCUyMCUyMCUyMHJlc3VsdCU1QiUyMmdlbl9sZW4lMjIlNUQlMjAlM0QlMjBucC5tZWFuKHByZWRpY3Rpb25fbGVucyklMEElMjAlMjAlMjAlMjByZXN1bHQlMjAlM0QlMjAlN0JrJTNBJTIwcm91bmQodiUyQyUyMDQpJTIwZm9yJTIwayUyQyUyMHYlMjBpbiUyMHJlc3VsdC5pdGVtcygpJTdEJTBBJTIwJTIwJTIwJTIwcmV0dXJuJTIwcmVzdWx0",highlighted:`<span class="hljs-meta">>>> </span><span class="hljs-keyword">import</span> numpy <span class="hljs-keyword">as</span> np | |
| <span class="hljs-meta">>>> </span><span class="hljs-keyword">def</span> <span class="hljs-title function_">postprocess_text</span>(<span class="hljs-params">preds, labels</span>): | |
| <span class="hljs-meta">... </span> preds = [pred.strip() <span class="hljs-keyword">for</span> pred <span class="hljs-keyword">in</span> preds] | |
| <span class="hljs-meta">... </span> labels = [[label.strip()] <span class="hljs-keyword">for</span> label <span class="hljs-keyword">in</span> labels] | |
| <span class="hljs-meta">... </span> <span class="hljs-keyword">return</span> preds, labels | |
| <span class="hljs-meta">>>> </span><span class="hljs-keyword">def</span> <span class="hljs-title function_">compute_metrics</span>(<span class="hljs-params">eval_preds</span>): | |
| <span class="hljs-meta">... </span> preds, labels = eval_preds | |
| <span class="hljs-meta">... </span> <span class="hljs-keyword">if</span> <span class="hljs-built_in">isinstance</span>(preds, <span class="hljs-built_in">tuple</span>): | |
| <span class="hljs-meta">... </span> preds = preds[<span class="hljs-number">0</span>] | |
| <span class="hljs-meta">... </span> decoded_preds = tokenizer.batch_decode(preds, skip_special_tokens=<span class="hljs-literal">True</span>) | |
| <span class="hljs-meta">... </span> labels = np.where(labels != -<span class="hljs-number">100</span>, labels, tokenizer.pad_token_id) | |
| <span class="hljs-meta">... </span> decoded_labels = tokenizer.batch_decode(labels, skip_special_tokens=<span class="hljs-literal">True</span>) | |
| <span class="hljs-meta">... </span> decoded_preds, decoded_labels = postprocess_text(decoded_preds, decoded_labels) | |
| <span class="hljs-meta">... </span> result = metric.compute(predictions=decoded_preds, references=decoded_labels) | |
| <span class="hljs-meta">... </span> result = {<span class="hljs-string">"bleu"</span>: result[<span class="hljs-string">"score"</span>]} | |
| <span class="hljs-meta">... </span> prediction_lens = [np.count_nonzero(pred != tokenizer.pad_token_id) <span class="hljs-keyword">for</span> pred <span class="hljs-keyword">in</span> preds] | |
| <span class="hljs-meta">... </span> result[<span class="hljs-string">"gen_len"</span>] = np.mean(prediction_lens) | |
| <span class="hljs-meta">... </span> result = {k: <span class="hljs-built_in">round</span>(v, <span class="hljs-number">4</span>) <span class="hljs-keyword">for</span> k, v <span class="hljs-keyword">in</span> result.items()} | |
| <span class="hljs-meta">... </span> <span class="hljs-keyword">return</span> result`,wrap:!1}}),Gs=new Ns({props:{title:"Train",local:"train",headingTag:"h2"}}),ps=new Te({props:{pytorch:!0,tensorflow:!0,jax:!1,$$slots:{tensorflow:[it],pytorch:[ot]},$$scope:{ctx:k}}}),rs=new we({props:{$$slots:{default:[ft]},$$scope:{ctx:k}}}),Ws=new Ns({props:{title:"Inference",local:"inference",headingTag:"h2"}}),Bs=new R({props:{code:"dGV4dCUyMCUzRCUyMCUyMnRyYW5zbGF0ZSUyMEVuZ2xpc2glMjB0byUyMEZyZW5jaCUzQSUyMExlZ3VtZXMlMjBzaGFyZSUyMHJlc291cmNlcyUyMHdpdGglMjBuaXRyb2dlbi1maXhpbmclMjBiYWN0ZXJpYS4lMjI=",highlighted:'<span class="hljs-meta">>>> </span>text = <span class="hljs-string">"translate English to French: Legumes share resources with nitrogen-fixing bacteria."</span>',wrap:!1}}),Is=new R({props:{code:"ZnJvbSUyMHRyYW5zZm9ybWVycyUyMGltcG9ydCUyMHBpcGVsaW5lJTBBJTBBdHJhbnNsYXRvciUyMCUzRCUyMHBpcGVsaW5lKCUyMnRyYW5zbGF0aW9uX3h4X3RvX3l5JTIyJTJDJTIwbW9kZWwlM0QlMjJteV9hd2Vzb21lX29wdXNfYm9va3NfbW9kZWwlMjIpJTBBdHJhbnNsYXRvcih0ZXh0KQ==",highlighted:`<span class="hljs-meta">>>> </span><span class="hljs-keyword">from</span> transformers <span class="hljs-keyword">import</span> pipeline | |
| <span class="hljs-comment"># Change \`xx\` to the language of the input and \`yy\` to the language of the desired output.</span> | |
| <span class="hljs-comment"># Examples: "en" for English, "fr" for French, "de" for German, "es" for Spanish, "zh" for Chinese, etc; translation_en_to_fr translates English to French</span> | |
| <span class="hljs-comment"># You can view all the lists of languages here - https://huggingface.co/languages</span> | |
| <span class="hljs-meta">>>> </span>translator = pipeline(<span class="hljs-string">"translation_xx_to_yy"</span>, model=<span class="hljs-string">"my_awesome_opus_books_model"</span>) | |
| <span class="hljs-meta">>>> </span>translator(text) | |
| [{<span class="hljs-string">'translation_text'</span>: <span class="hljs-string">'Legumes partagent des ressources avec des bactéries azotantes.'</span>}]`,wrap:!1}}),os=new Te({props:{pytorch:!0,tensorflow:!0,jax:!1,$$slots:{tensorflow:[ht],pytorch:[ut]},$$scope:{ctx:k}}}),zs=new st({props:{source:"https://github.com/huggingface/transformers/blob/main/docs/source/ja/tasks/translation.md"}}),{c(){t=j("meta"),c=o(),e=j("p"),i=o(),M(g.$$.fragment),Z=o(),M(V.$$.fragment),X=o(),M(C.$$.fragment),G=o(),_=j("p"),_.textContent=I,W=o(),U=j("p"),U.textContent=x,r=o(),J=j("ol"),J.innerHTML=F,H=o(),M(B.$$.fragment),f=o(),v=j("p"),v.textContent=z,cs=o(),M(N.$$.fragment),E=o(),Y=j("p"),Y.textContent=es,is=o(),M(S.$$.fragment),Q=o(),M(q.$$.fragment),A=o(),ts=j("p"),ts.innerHTML=fs,L=o(),M(P.$$.fragment),D=o(),ls=j("p"),ls.innerHTML=Ms,K=o(),M(O.$$.fragment),ss=o(),as=j("p"),as.textContent=us,p=o(),M(w.$$.fragment),ys=o(),hs=j("p"),hs.innerHTML=Je,Ss=o(),M($s.$$.fragment),Qs=o(),M(ds.$$.fragment),qs=o(),gs=j("p"),gs.textContent=Ue,As=o(),M(js.$$.fragment),Ls=o(),bs=j("p"),bs.textContent=_e,Ps=o(),ws=j("ol"),ws.innerHTML=ke,Ds=o(),M(Ts.$$.fragment),Ks=o(),Js=j("p"),Js.innerHTML=Ze,Os=o(),M(Us.$$.fragment),se=o(),_s=j("p"),_s.innerHTML=Ce,ee=o(),M(ns.$$.fragment),te=o(),M(ks.$$.fragment),le=o(),Zs=j("p"),Zs.innerHTML=ve,ae=o(),M(Cs.$$.fragment),ne=o(),vs=j("p"),vs.innerHTML=Re,pe=o(),M(Rs.$$.fragment),re=o(),Xs=j("p"),Xs.innerHTML=Xe,oe=o(),M(Gs.$$.fragment),me=o(),M(ps.$$.fragment),ce=o(),M(rs.$$.fragment),ie=o(),M(Ws.$$.fragment),fe=o(),xs=j("p"),xs.textContent=Ge,Me=o(),Vs=j("p"),Vs.textContent=We,ue=o(),M(Bs.$$.fragment),ye=o(),Hs=j("p"),Hs.innerHTML=xe,he=o(),M(Is.$$.fragment),$e=o(),Fs=j("p"),Fs.innerHTML=Ve,de=o(),M(os.$$.fragment),ge=o(),M(zs.$$.fragment),je=o(),Ys=j("p"),this.h()},l(s){const n=Le("svelte-u9bgzb",document.head);t=b(n,"META",{name:!0,content:!0}),n.forEach(l),c=m(s),e=b(s,"P",{}),Ne(e).forEach(l),i=m(s),u(g.$$.fragment,s),Z=m(s),u(V.$$.fragment,s),X=m(s),u(C.$$.fragment,s),G=m(s),_=b(s,"P",{"data-svelte-h":!0}),T(_)!=="svelte-8icxqd"&&(_.textContent=I),W=m(s),U=b(s,"P",{"data-svelte-h":!0}),T(U)!=="svelte-w5jzhi"&&(U.textContent=x),r=m(s),J=b(s,"OL",{"data-svelte-h":!0}),T(J)!=="svelte-1ibteza"&&(J.innerHTML=F),H=m(s),u(B.$$.fragment,s),f=m(s),v=b(s,"P",{"data-svelte-h":!0}),T(v)!=="svelte-1lya3k8"&&(v.textContent=z),cs=m(s),u(N.$$.fragment,s),E=m(s),Y=b(s,"P",{"data-svelte-h":!0}),T(Y)!=="svelte-193zy02"&&(Y.textContent=es),is=m(s),u(S.$$.fragment,s),Q=m(s),u(q.$$.fragment,s),A=m(s),ts=b(s,"P",{"data-svelte-h":!0}),T(ts)!=="svelte-uzg9sm"&&(ts.innerHTML=fs),L=m(s),u(P.$$.fragment,s),D=m(s),ls=b(s,"P",{"data-svelte-h":!0}),T(ls)!=="svelte-1la4z0h"&&(ls.innerHTML=Ms),K=m(s),u(O.$$.fragment,s),ss=m(s),as=b(s,"P",{"data-svelte-h":!0}),T(as)!=="svelte-1r6oj5w"&&(as.textContent=us),p=m(s),u(w.$$.fragment,s),ys=m(s),hs=b(s,"P",{"data-svelte-h":!0}),T(hs)!=="svelte-nv77ib"&&(hs.innerHTML=Je),Ss=m(s),u($s.$$.fragment,s),Qs=m(s),u(ds.$$.fragment,s),qs=m(s),gs=b(s,"P",{"data-svelte-h":!0}),T(gs)!=="svelte-1u9up01"&&(gs.textContent=Ue),As=m(s),u(js.$$.fragment,s),Ls=m(s),bs=b(s,"P",{"data-svelte-h":!0}),T(bs)!=="svelte-pmbrx1"&&(bs.textContent=_e),Ps=m(s),ws=b(s,"OL",{"data-svelte-h":!0}),T(ws)!=="svelte-1lzk21w"&&(ws.innerHTML=ke),Ds=m(s),u(Ts.$$.fragment,s),Ks=m(s),Js=b(s,"P",{"data-svelte-h":!0}),T(Js)!=="svelte-1rdkxip"&&(Js.innerHTML=Ze),Os=m(s),u(Us.$$.fragment,s),se=m(s),_s=b(s,"P",{"data-svelte-h":!0}),T(_s)!=="svelte-1uxhmr6"&&(_s.innerHTML=Ce),ee=m(s),u(ns.$$.fragment,s),te=m(s),u(ks.$$.fragment,s),le=m(s),Zs=b(s,"P",{"data-svelte-h":!0}),T(Zs)!=="svelte-js2qj9"&&(Zs.innerHTML=ve),ae=m(s),u(Cs.$$.fragment,s),ne=m(s),vs=b(s,"P",{"data-svelte-h":!0}),T(vs)!=="svelte-1txbu5a"&&(vs.innerHTML=Re),pe=m(s),u(Rs.$$.fragment,s),re=m(s),Xs=b(s,"P",{"data-svelte-h":!0}),T(Xs)!=="svelte-18cw5xr"&&(Xs.innerHTML=Xe),oe=m(s),u(Gs.$$.fragment,s),me=m(s),u(ps.$$.fragment,s),ce=m(s),u(rs.$$.fragment,s),ie=m(s),u(Ws.$$.fragment,s),fe=m(s),xs=b(s,"P",{"data-svelte-h":!0}),T(xs)!=="svelte-cyrfc8"&&(xs.textContent=Ge),Me=m(s),Vs=b(s,"P",{"data-svelte-h":!0}),T(Vs)!=="svelte-s3gdss"&&(Vs.textContent=We),ue=m(s),u(Bs.$$.fragment,s),ye=m(s),Hs=b(s,"P",{"data-svelte-h":!0}),T(Hs)!=="svelte-1kjanzo"&&(Hs.innerHTML=xe),he=m(s),u(Is.$$.fragment,s),$e=m(s),Fs=b(s,"P",{"data-svelte-h":!0}),T(Fs)!=="svelte-p649vi"&&(Fs.innerHTML=Ve),de=m(s),u(os.$$.fragment,s),ge=m(s),u(zs.$$.fragment,s),je=m(s),Ys=b(s,"P",{}),Ne(Ys).forEach(l),this.h()},h(){Ee(t,"name","hf:doc:metadata"),Ee(t,"content",dt)},m(s,n){Pe(document.head,t),a(s,c,n),a(s,e,n),a(s,i,n),y(g,s,n),a(s,Z,n),y(V,s,n),a(s,X,n),y(C,s,n),a(s,G,n),a(s,_,n),a(s,W,n),a(s,U,n),a(s,r,n),a(s,J,n),a(s,H,n),y(B,s,n),a(s,f,n),a(s,v,n),a(s,cs,n),y(N,s,n),a(s,E,n),a(s,Y,n),a(s,is,n),y(S,s,n),a(s,Q,n),y(q,s,n),a(s,A,n),a(s,ts,n),a(s,L,n),y(P,s,n),a(s,D,n),a(s,ls,n),a(s,K,n),y(O,s,n),a(s,ss,n),a(s,as,n),a(s,p,n),y(w,s,n),a(s,ys,n),a(s,hs,n),a(s,Ss,n),y($s,s,n),a(s,Qs,n),y(ds,s,n),a(s,qs,n),a(s,gs,n),a(s,As,n),y(js,s,n),a(s,Ls,n),a(s,bs,n),a(s,Ps,n),a(s,ws,n),a(s,Ds,n),y(Ts,s,n),a(s,Ks,n),a(s,Js,n),a(s,Os,n),y(Us,s,n),a(s,se,n),a(s,_s,n),a(s,ee,n),y(ns,s,n),a(s,te,n),y(ks,s,n),a(s,le,n),a(s,Zs,n),a(s,ae,n),y(Cs,s,n),a(s,ne,n),a(s,vs,n),a(s,pe,n),y(Rs,s,n),a(s,re,n),a(s,Xs,n),a(s,oe,n),y(Gs,s,n),a(s,me,n),y(ps,s,n),a(s,ce,n),y(rs,s,n),a(s,ie,n),y(Ws,s,n),a(s,fe,n),a(s,xs,n),a(s,Me,n),a(s,Vs,n),a(s,ue,n),y(Bs,s,n),a(s,ye,n),a(s,Hs,n),a(s,he,n),y(Is,s,n),a(s,$e,n),a(s,Fs,n),a(s,de,n),y(os,s,n),a(s,ge,n),y(zs,s,n),a(s,je,n),a(s,Ys,n),be=!0},p(s,[n]){const Be={};n&2&&(Be.$$scope={dirty:n,ctx:s}),B.$set(Be);const He={};n&2&&(He.$$scope={dirty:n,ctx:s}),ns.$set(He);const Ie={};n&2&&(Ie.$$scope={dirty:n,ctx:s}),ps.$set(Ie);const Fe={};n&2&&(Fe.$$scope={dirty:n,ctx:s}),rs.$set(Fe);const ze={};n&2&&(ze.$$scope={dirty:n,ctx:s}),os.$set(ze)},i(s){be||(h(g.$$.fragment,s),h(V.$$.fragment,s),h(C.$$.fragment,s),h(B.$$.fragment,s),h(N.$$.fragment,s),h(S.$$.fragment,s),h(q.$$.fragment,s),h(P.$$.fragment,s),h(O.$$.fragment,s),h(w.$$.fragment,s),h($s.$$.fragment,s),h(ds.$$.fragment,s),h(js.$$.fragment,s),h(Ts.$$.fragment,s),h(Us.$$.fragment,s),h(ns.$$.fragment,s),h(ks.$$.fragment,s),h(Cs.$$.fragment,s),h(Rs.$$.fragment,s),h(Gs.$$.fragment,s),h(ps.$$.fragment,s),h(rs.$$.fragment,s),h(Ws.$$.fragment,s),h(Bs.$$.fragment,s),h(Is.$$.fragment,s),h(os.$$.fragment,s),h(zs.$$.fragment,s),be=!0)},o(s){$(g.$$.fragment,s),$(V.$$.fragment,s),$(C.$$.fragment,s),$(B.$$.fragment,s),$(N.$$.fragment,s),$(S.$$.fragment,s),$(q.$$.fragment,s),$(P.$$.fragment,s),$(O.$$.fragment,s),$(w.$$.fragment,s),$($s.$$.fragment,s),$(ds.$$.fragment,s),$(js.$$.fragment,s),$(Ts.$$.fragment,s),$(Us.$$.fragment,s),$(ns.$$.fragment,s),$(ks.$$.fragment,s),$(Cs.$$.fragment,s),$(Rs.$$.fragment,s),$(Gs.$$.fragment,s),$(ps.$$.fragment,s),$(rs.$$.fragment,s),$(Ws.$$.fragment,s),$(Bs.$$.fragment,s),$(Is.$$.fragment,s),$(os.$$.fragment,s),$(zs.$$.fragment,s),be=!1},d(s){s&&(l(c),l(e),l(i),l(Z),l(X),l(G),l(_),l(W),l(U),l(r),l(J),l(H),l(f),l(v),l(cs),l(E),l(Y),l(is),l(Q),l(A),l(ts),l(L),l(D),l(ls),l(K),l(ss),l(as),l(p),l(ys),l(hs),l(Ss),l(Qs),l(qs),l(gs),l(As),l(Ls),l(bs),l(Ps),l(ws),l(Ds),l(Ks),l(Js),l(Os),l(se),l(_s),l(ee),l(te),l(le),l(Zs),l(ae),l(ne),l(vs),l(pe),l(re),l(Xs),l(oe),l(me),l(ce),l(ie),l(fe),l(xs),l(Me),l(Vs),l(ue),l(ye),l(Hs),l(he),l($e),l(Fs),l(de),l(ge),l(je),l(Ys)),l(t),d(g,s),d(V,s),d(C,s),d(B,s),d(N,s),d(S,s),d(q,s),d(P,s),d(O,s),d(w,s),d($s,s),d(ds,s),d(js,s),d(Ts,s),d(Us,s),d(ns,s),d(ks,s),d(Cs,s),d(Rs,s),d(Gs,s),d(ps,s),d(rs,s),d(Ws,s),d(Bs,s),d(Is,s),d(os,s),d(zs,s)}}}const dt='{"title":"Translation","local":"translation","sections":[{"title":"Load OPUS Books dataset","local":"load-opus-books-dataset","sections":[],"depth":2},{"title":"Preprocess","local":"preprocess","sections":[],"depth":2},{"title":"Evaluate","local":"evaluate","sections":[],"depth":2},{"title":"Train","local":"train","sections":[],"depth":2},{"title":"Inference","local":"inference","sections":[],"depth":2}],"depth":1}';function gt(k){return Qe(()=>{new URLSearchParams(window.location.search).get("fw")}),[]}class Zt extends qe{constructor(t){super(),Ae(this,t,gt,$t,Se,{})}}export{Zt as component}; | |
Xet Storage Details
- Size:
- 57.8 kB
- Xet hash:
- 8d2269dbd0e493a66138c87d34377a6b545440ef119aa8706dcddb5a8f9e87e8
·
Xet efficiently stores files, intelligently splitting them into unique chunks and accelerating uploads and downloads. More info.