Hugging Face's logo

Buckets:
hf-doc-build
/
doc-dev

Files
xet
hf-doc-build/doc-dev / course /pr_1194 /ja /_app /immutable /nodes /29.ff71beea.js
rtrm's picture
rtrm
download
raw
127 kB
import{s as Ta,a as wa,o as ua}from"../chunks/scheduler.ddeee2a5.js";import{S as ja,i as da,e as U,s as p,c as w,h as ba,a as o,d as s,b as y,f as kt,g as u,j as T,k as V,l as Ca,m as t,n as j,o as c,q as os,t as r,p as d,r as ms}from"../chunks/index.b5ed4bbb.js";import{C as ha,H as Be,E as fa}from"../chunks/MermaidChart.svelte_svelte_type_style_lang.759a44d1.js";import{Y as Zt}from"../chunks/Youtube.08e6a733.js";import{C as f}from"../chunks/CodeBlock.0cb3478e.js";import{C as ma}from"../chunks/CourseFloatingBanner.e70be405.js";import{F as Ia}from"../chunks/FrameworkSwitchCourse.f26cbc91.js";function _a(_){let n,i;return n=new ma({props:{chapter:7,classNames:"absolute z-10 right-0 top-0",notebooks:[{label:"Google Colab",value:"https://colab.research.google.com/github/huggingface/notebooks/blob/master/course/ja/chapter7/section6_tf.ipynb"},{label:"Aws Studio",value:"https://studiolab.sagemaker.aws/import/github/huggingface/notebooks/blob/master/course/ja/chapter7/section6_tf.ipynb"}]}}),{c(){w(n.$$.fragment)},l(M){u(n.$$.fragment,M)},m(M,C){j(n,M,C),i=!0},i(M){i||(r(n.$$.fragment,M),i=!0)},o(M){c(n.$$.fragment,M),i=!1},d(M){d(n,M)}}}function ka(_){let n,i;return n=new ma({props:{chapter:7,classNames:"absolute z-10 right-0 top-0",notebooks:[{label:"Google Colab",value:"https://colab.research.google.com/github/huggingface/notebooks/blob/master/course/ja/chapter7/section6_pt.ipynb"},{label:"Aws Studio",value:"https://studiolab.sagemaker.aws/import/github/huggingface/notebooks/blob/master/course/ja/chapter7/section6_pt.ipynb"}]}}),{c(){w(n.$$.fragment)},l(M){u(n.$$.fragment,M)},m(M,C){j(n,M,C),i=!0},i(M){i||(r(n.$$.fragment,M),i=!0)},o(M){c(n.$$.fragment,M),i=!1},d(M){d(n,M)}}}function Za(_){let n,i,M,C="この構成で、新しいモデルをロードすることができます。これは <code>from_pretrained()</code> 関数を使わない最初の例であることに注意してください。なぜなら、実際には自分自身でモデルを初期化しているからです。",k,h,B,Z,G;return n=new f({props:{code:"ZnJvbSUyMHRyYW5zZm9ybWVycyUyMGltcG9ydCUyMEF1dG9Ub2tlbml6ZXIlMkMlMjBURkdQVDJMTUhlYWRNb2RlbCUyQyUyMEF1dG9Db25maWclMEElMEFjb25maWclMjAlM0QlMjBBdXRvQ29uZmlnLmZyb21fcHJldHJhaW5lZCglMEElMjAlMjAlMjAlMjAlMjJncHQyJTIyJTJDJTBBJTIwJTIwJTIwJTIwdm9jYWJfc2l6ZSUzRGxlbih0b2tlbml6ZXIpJTJDJTBBJTIwJTIwJTIwJTIwbl9jdHglM0Rjb250ZXh0X2xlbmd0aCUyQyUwQSUyMCUyMCUyMCUyMGJvc190b2tlbl9pZCUzRHRva2VuaXplci5ib3NfdG9rZW5faWQlMkMlMEElMjAlMjAlMjAlMjBlb3NfdG9rZW5faWQlM0R0b2tlbml6ZXIuZW9zX3Rva2VuX2lkJTJDJTBBKQ==",highlighted:`<span class="hljs-keyword">from</span> transformers <span class="hljs-keyword">import</span> AutoTokenizer, TFGPT2LMHeadModel, AutoConfig
config = AutoConfig.from_pretrained(
 <span class="hljs-string">&quot;gpt2&quot;</span>,
 vocab_size=<span class="hljs-built_in">len</span>(tokenizer),
 n_ctx=context_length,
 bos_token_id=tokenizer.bos_token_id,
 eos_token_id=tokenizer.eos_token_id,
)`,wrap:!1}}),h=new f({props:{code:"bW9kZWwlMjAlM0QlMjBURkdQVDJMTUhlYWRNb2RlbChjb25maWcpJTBBbW9kZWwobW9kZWwuZHVtbXlfaW5wdXRzKSUyMCUyMCUyMyUyMEJ1aWxkcyUyMHRoZSUyMG1vZGVsJTBBbW9kZWwuc3VtbWFyeSgp",highlighted:`model = TFGPT2LMHeadModel(config)
model(model.dummy_inputs) <span class="hljs-comment"># Builds the model</span>
model.summary()`,wrap:!1}}),Z=new f({props:{code:"X19fX19fX19fX19fX19fX19fX19fX19fX19fX19fX19fX19fX19fX19fX19fX19fX19fX19fX19fX19fX19fX18lMEFMYXllciUyMCh0eXBlKSUyMCUyMCUyMCUyMCUyMCUyMCUyMCUyMCUyMCUyMCUyMCUyMCUyMCUyMCUyMCUyMCUyME91dHB1dCUyMFNoYXBlJTIwJTIwJTIwJTIwJTIwJTIwJTIwJTIwJTIwJTIwJTIwJTIwJTIwJTIwUGFyYW0lMjAlMjMlMjAlMjAlMjAlMEElM0QlM0QlM0QlM0QlM0QlM0QlM0QlM0QlM0QlM0QlM0QlM0QlM0QlM0QlM0QlM0QlM0QlM0QlM0QlM0QlM0QlM0QlM0QlM0QlM0QlM0QlM0QlM0QlM0QlM0QlM0QlM0QlM0QlM0QlM0QlM0QlM0QlM0QlM0QlM0QlM0QlM0QlM0QlM0QlM0QlM0QlM0QlM0QlM0QlM0QlM0QlM0QlM0QlM0QlM0QlM0QlM0QlM0QlM0QlM0QlM0QlM0QlM0QlM0QlM0QlMEF0cmFuc2Zvcm1lciUyMChURkdQVDJNYWluTGF5ZXIlMjBtdWx0aXBsZSUyMCUyMCUyMCUyMCUyMCUyMCUyMCUyMCUyMCUyMCUyMCUyMCUyMCUyMCUyMCUyMCUyMCUyMDEyNDI0MjQzMiUyMCUwQSUzRCUzRCUzRCUzRCUzRCUzRCUzRCUzRCUzRCUzRCUzRCUzRCUzRCUzRCUzRCUzRCUzRCUzRCUzRCUzRCUzRCUzRCUzRCUzRCUzRCUzRCUzRCUzRCUzRCUzRCUzRCUzRCUzRCUzRCUzRCUzRCUzRCUzRCUzRCUzRCUzRCUzRCUzRCUzRCUzRCUzRCUzRCUzRCUzRCUzRCUzRCUzRCUzRCUzRCUzRCUzRCUzRCUzRCUzRCUzRCUzRCUzRCUzRCUzRCUzRCUwQVRvdGFsJTIwcGFyYW1zJTNBJTIwMTI0JTJDMjQyJTJDNDMyJTBBVHJhaW5hYmxlJTIwcGFyYW1zJTNBJTIwMTI0JTJDMjQyJTJDNDMyJTBBTm9uLXRyYWluYWJsZSUyMHBhcmFtcyUzQSUyMDAlMEFfX19fX19fX19fX19fX19fX19fX19fX19fX19fX19fX19fX19fX19fX19fX19fX19fX19fX19fX19fX19fX19fXw==",highlighted:`_________________________________________________________________
Layer (<span class="hljs-built_in">type</span>) Output Shape Param <span class="hljs-comment"># </span>
=================================================================
transformer (TFGPT2MainLayer multiple <span class="hljs-number">124242432</span>
=================================================================
Total params: <span class="hljs-number">124</span>,<span class="hljs-number">242</span>,<span class="hljs-number">432</span>
Trainable params: <span class="hljs-number">124</span>,<span class="hljs-number">242</span>,<span class="hljs-number">432</span>
Non-trainable params: <span class="hljs-number">0</span>
_________________________________________________________________`,wrap:!1}}),{c(){w(n.$$.fragment),i=p(),M=U("p"),M.innerHTML=C,k=p(),w(h.$$.fragment),B=p(),w(Z.$$.fragment)},l(m){u(n.$$.fragment,m),i=y(m),M=o(m,"P",{"data-svelte-h":!0}),T(M)!=="svelte-glw18s"&&(M.innerHTML=C),k=y(m),u(h.$$.fragment,m),B=y(m),u(Z.$$.fragment,m)},m(m,b){j(n,m,b),t(m,i,b),t(m,M,b),t(m,k,b),j(h,m,b),t(m,B,b),j(Z,m,b),G=!0},i(m){G||(r(n.$$.fragment,m),r(h.$$.fragment,m),r(Z.$$.fragment,m),G=!0)},o(m){c(n.$$.fragment,m),c(h.$$.fragment,m),c(Z.$$.fragment,m),G=!1},d(m){m&&(s(i),s(M),s(k),s(B)),d(n,m),d(h,m),d(Z,m)}}}function Ga(_){let n,i,M,C="この構成で、新しいモデルをロードすることができます。これは <code>from_pretrained()</code> 関数を使わない最初の例であることに注意してください。なぜなら、実際には自分自身でモデルを初期化しているからです。",k,h,B,Z,G;return n=new f({props:{code:"ZnJvbSUyMHRyYW5zZm9ybWVycyUyMGltcG9ydCUyMEF1dG9Ub2tlbml6ZXIlMkMlMjBHUFQyTE1IZWFkTW9kZWwlMkMlMjBBdXRvQ29uZmlnJTBBJTBBY29uZmlnJTIwJTNEJTIwQXV0b0NvbmZpZy5mcm9tX3ByZXRyYWluZWQoJTBBJTIwJTIwJTIwJTIwJTIyZ3B0MiUyMiUyQyUwQSUyMCUyMCUyMCUyMHZvY2FiX3NpemUlM0RsZW4odG9rZW5pemVyKSUyQyUwQSUyMCUyMCUyMCUyMG5fY3R4JTNEY29udGV4dF9sZW5ndGglMkMlMEElMjAlMjAlMjAlMjBib3NfdG9rZW5faWQlM0R0b2tlbml6ZXIuYm9zX3Rva2VuX2lkJTJDJTBBJTIwJTIwJTIwJTIwZW9zX3Rva2VuX2lkJTNEdG9rZW5pemVyLmVvc190b2tlbl9pZCUyQyUwQSk=",highlighted:`<span class="hljs-keyword">from</span> transformers <span class="hljs-keyword">import</span> AutoTokenizer, GPT2LMHeadModel, AutoConfig
config = AutoConfig.from_pretrained(
 <span class="hljs-string">&quot;gpt2&quot;</span>,
 vocab_size=<span class="hljs-built_in">len</span>(tokenizer),
 n_ctx=context_length,
 bos_token_id=tokenizer.bos_token_id,
 eos_token_id=tokenizer.eos_token_id,
)`,wrap:!1}}),h=new f({props:{code:"bW9kZWwlMjAlM0QlMjBHUFQyTE1IZWFkTW9kZWwoY29uZmlnKSUwQW1vZGVsX3NpemUlMjAlM0QlMjBzdW0odC5udW1lbCgpJTIwZm9yJTIwdCUyMGluJTIwbW9kZWwucGFyYW1ldGVycygpKSUwQXByaW50KGYlMjJHUFQtMiUyMHNpemUlM0ElMjAlN0Jtb2RlbF9zaXplJTJGMTAwMCoqMiUzQS4xZiU3RE0lMjBwYXJhbWV0ZXJzJTIyKQ==",highlighted:`model = GPT2LMHeadModel(config)
model_size = <span class="hljs-built_in">sum</span>(t.numel() <span class="hljs-keyword">for</span> t <span class="hljs-keyword">in</span> model.parameters())
<span class="hljs-built_in">print</span>(<span class="hljs-string">f&quot;GPT-2 size: <span class="hljs-subst">{model_size/<span class="hljs-number">1000</span>**<span class="hljs-number">2</span>:<span class="hljs-number">.1</span>f}</span>M parameters&quot;</span>)`,wrap:!1}}),Z=new f({props:{code:"R1BULTIlMjBzaXplJTNBJTIwMTI0LjJNJTIwcGFyYW1ldGVycw==",highlighted:'GPT-<span class="hljs-number">2</span> size: <span class="hljs-number">124.2</span>M parameters',wrap:!1}}),{c(){w(n.$$.fragment),i=p(),M=U("p"),M.innerHTML=C,k=p(),w(h.$$.fragment),B=p(),w(Z.$$.fragment)},l(m){u(n.$$.fragment,m),i=y(m),M=o(m,"P",{"data-svelte-h":!0}),T(M)!=="svelte-glw18s"&&(M.innerHTML=C),k=y(m),u(h.$$.fragment,m),B=y(m),u(Z.$$.fragment,m)},m(m,b){j(n,m,b),t(m,i,b),t(m,M,b),t(m,k,b),j(h,m,b),t(m,B,b),j(Z,m,b),G=!0},i(m){G||(r(n.$$.fragment,m),r(h.$$.fragment,m),r(Z.$$.fragment,m),G=!0)},o(m){c(n.$$.fragment,m),c(h.$$.fragment,m),c(Z.$$.fragment,m),G=!1},d(m){m&&(s(i),s(M),s(k),s(B)),d(n,m),d(h,m),d(Z,m)}}}function Ba(_){let n,i;return n=new f({props:{code:"ZnJvbSUyMHRyYW5zZm9ybWVycyUyMGltcG9ydCUyMERhdGFDb2xsYXRvckZvckxhbmd1YWdlTW9kZWxpbmclMEElMEF0b2tlbml6ZXIucGFkX3Rva2VuJTIwJTNEJTIwdG9rZW5pemVyLmVvc190b2tlbiUwQWRhdGFfY29sbGF0b3IlMjAlM0QlMjBEYXRhQ29sbGF0b3JGb3JMYW5ndWFnZU1vZGVsaW5nKHRva2VuaXplciUyQyUyMG1sbSUzREZhbHNlJTJDJTIwcmV0dXJuX3RlbnNvcnMlM0QlMjJ0ZiUyMik=",highlighted:`<span class="hljs-keyword">from</span> transformers <span class="hljs-keyword">import</span> DataCollatorForLanguageModeling
tokenizer.pad_token = tokenizer.eos_token
data_collator = DataCollatorForLanguageModeling(tokenizer, mlm=<span class="hljs-literal">False</span>, return_tensors=<span class="hljs-string">&quot;tf&quot;</span>)`,wrap:!1}}),{c(){w(n.$$.fragment)},l(M){u(n.$$.fragment,M)},m(M,C){j(n,M,C),i=!0},i(M){i||(r(n.$$.fragment,M),i=!0)},o(M){c(n.$$.fragment,M),i=!1},d(M){d(n,M)}}}function Xa(_){let n,i;return n=new f({props:{code:"ZnJvbSUyMHRyYW5zZm9ybWVycyUyMGltcG9ydCUyMERhdGFDb2xsYXRvckZvckxhbmd1YWdlTW9kZWxpbmclMEElMEF0b2tlbml6ZXIucGFkX3Rva2VuJTIwJTNEJTIwdG9rZW5pemVyLmVvc190b2tlbiUwQWRhdGFfY29sbGF0b3IlMjAlM0QlMjBEYXRhQ29sbGF0b3JGb3JMYW5ndWFnZU1vZGVsaW5nKHRva2VuaXplciUyQyUyMG1sbSUzREZhbHNlKQ==",highlighted:`<span class="hljs-keyword">from</span> transformers <span class="hljs-keyword">import</span> DataCollatorForLanguageModeling
tokenizer.pad_token = tokenizer.eos_token
data_collator = DataCollatorForLanguageModeling(tokenizer, mlm=<span class="hljs-literal">False</span>)`,wrap:!1}}),{c(){w(n.$$.fragment)},l(M){u(n.$$.fragment,M)},m(M,C){j(n,M,C),i=!0},i(M){i||(r(n.$$.fragment,M),i=!0)},o(M){c(n.$$.fragment,M),i=!1},d(M){d(n,M)}}}function Ra(_){let n,i;return n=new f({props:{code:"aW5wdXRfaWRzJTIwc2hhcGUlM0ElMjAoNSUyQyUyMDEyOCklMEFhdHRlbnRpb25fbWFzayUyMHNoYXBlJTNBJTIwKDUlMkMlMjAxMjgpJTBBbGFiZWxzJTIwc2hhcGUlM0ElMjAoNSUyQyUyMDEyOCk=",highlighted:`input_ids shape: (<span class="hljs-number">5</span>, <span class="hljs-number">128</span>)
attention_mask shape: (<span class="hljs-number">5</span>, <span class="hljs-number">128</span>)
labels shape: (<span class="hljs-number">5</span>, <span class="hljs-number">128</span>)`,wrap:!1}}),{c(){w(n.$$.fragment)},l(M){u(n.$$.fragment,M)},m(M,C){j(n,M,C),i=!0},i(M){i||(r(n.$$.fragment,M),i=!0)},o(M){c(n.$$.fragment,M),i=!1},d(M){d(n,M)}}}function ga(_){let n,i;return n=new f({props:{code:"aW5wdXRfaWRzJTIwc2hhcGUlM0ElMjB0b3JjaC5TaXplKCU1QjUlMkMlMjAxMjglNUQpJTBBYXR0ZW50aW9uX21hc2slMjBzaGFwZSUzQSUyMHRvcmNoLlNpemUoJTVCNSUyQyUyMDEyOCU1RCklMEFsYWJlbHMlMjBzaGFwZSUzQSUyMHRvcmNoLlNpemUoJTVCNSUyQyUyMDEyOCU1RCk=",highlighted:`input_ids shape: torch.Size([<span class="hljs-number">5</span>, <span class="hljs-number">128</span>])
attention_mask shape: torch.Size([<span class="hljs-number">5</span>, <span class="hljs-number">128</span>])
labels shape: torch.Size([<span class="hljs-number">5</span>, <span class="hljs-number">128</span>])`,wrap:!1}}),{c(){w(n.$$.fragment)},l(M){u(n.$$.fragment,M)},m(M,C){j(n,M,C),i=!0},i(M){i||(r(n.$$.fragment,M),i=!0)},o(M){c(n.$$.fragment,M),i=!1},d(M){d(n,M)}}}function Ua(_){let n,i="あとは <code>to_tf_dataset()</code> メソッドを使って、上で作成したデータコレーターでデータセットをTensorFlowのデータセットに変換すればよいでしょう。",M,C,k;return C=new f({props:{code:"dGZfdHJhaW5fZGF0YXNldCUyMCUzRCUyMHRva2VuaXplZF9kYXRhc2V0JTVCJTIydHJhaW4lMjIlNUQudG9fdGZfZGF0YXNldCglMEElMjAlMjAlMjAlMjBjb2x1bW5zJTNEJTVCJTIyaW5wdXRfaWRzJTIyJTJDJTIwJTIyYXR0ZW50aW9uX21hc2slMjIlMkMlMjAlMjJsYWJlbHMlMjIlNUQlMkMlMEElMjAlMjAlMjAlMjBjb2xsYXRlX2ZuJTNEZGF0YV9jb2xsYXRvciUyQyUwQSUyMCUyMCUyMCUyMHNodWZmbGUlM0RUcnVlJTJDJTBBJTIwJTIwJTIwJTIwYmF0Y2hfc2l6ZSUzRDMyJTJDJTBBKSUwQXRmX2V2YWxfZGF0YXNldCUyMCUzRCUyMHRva2VuaXplZF9kYXRhc2V0JTVCJTIydmFsaWQlMjIlNUQudG9fdGZfZGF0YXNldCglMEElMjAlMjAlMjAlMjBjb2x1bW5zJTNEJTVCJTIyaW5wdXRfaWRzJTIyJTJDJTIwJTIyYXR0ZW50aW9uX21hc2slMjIlMkMlMjAlMjJsYWJlbHMlMjIlNUQlMkMlMEElMjAlMjAlMjAlMjBjb2xsYXRlX2ZuJTNEZGF0YV9jb2xsYXRvciUyQyUwQSUyMCUyMCUyMCUyMHNodWZmbGUlM0RGYWxzZSUyQyUwQSUyMCUyMCUyMCUyMGJhdGNoX3NpemUlM0QzMiUyQyUwQSk=",highlighted:`tf_train_dataset = tokenized_dataset[<span class="hljs-string">&quot;train&quot;</span>].to_tf_dataset(
 columns=[<span class="hljs-string">&quot;input_ids&quot;</span>, <span class="hljs-string">&quot;attention_mask&quot;</span>, <span class="hljs-string">&quot;labels&quot;</span>],
 collate_fn=data_collator,
 shuffle=<span class="hljs-literal">True</span>,
 batch_size=<span class="hljs-number">32</span>,
)
tf_eval_dataset = tokenized_dataset[<span class="hljs-string">&quot;valid&quot;</span>].to_tf_dataset(
 columns=[<span class="hljs-string">&quot;input_ids&quot;</span>, <span class="hljs-string">&quot;attention_mask&quot;</span>, <span class="hljs-string">&quot;labels&quot;</span>],
 collate_fn=data_collator,
 shuffle=<span class="hljs-literal">False</span>,
 batch_size=<span class="hljs-number">32</span>,
)`,wrap:!1}}),{c(){n=U("p"),n.innerHTML=i,M=p(),w(C.$$.fragment)},l(h){n=o(h,"P",{"data-svelte-h":!0}),T(n)!=="svelte-eixxt5"&&(n.innerHTML=i),M=y(h),u(C.$$.fragment,h)},m(h,B){t(h,n,B),t(h,M,B),j(C,h,B),k=!0},i(h){k||(r(C.$$.fragment,h),k=!0)},o(h){c(C.$$.fragment,h),k=!1},d(h){h&&(s(n),s(M)),d(C,h)}}}function $a(_){let n,i="あとは学習用ハイパーパラメータを設定し、<code>compile()</code>と<code>fit()</code>を呼び出すだけです。ここでは、学習の安定性を向上させるために、ウォームアップを伴う学習率スケジュールを使用することにします。",M,C,k,h,B="あとは <code>model.fit()</code> を呼び出して、学習が終了するのを待つだけです。トレーニングセット全体かその一部分だけかにもよりますが、それぞれ20時間、2時間かかりますので、コーヒーでも飲みながらお好きな本を読んでゆっくり待ちましょう。学習が完了したら、モデルとトークナイザーをハブにプッシュします。",Z,G,m;return C=new f({props:{code:"ZnJvbSUyMHRyYW5zZm9ybWVycyUyMGltcG9ydCUyMGNyZWF0ZV9vcHRpbWl6ZXIlMEFpbXBvcnQlMjB0ZW5zb3JmbG93JTIwYXMlMjB0ZiUwQSUwQW51bV90cmFpbl9zdGVwcyUyMCUzRCUyMGxlbih0Zl90cmFpbl9kYXRhc2V0KSUwQW9wdGltaXplciUyQyUyMHNjaGVkdWxlJTIwJTNEJTIwY3JlYXRlX29wdGltaXplciglMEElMjAlMjAlMjAlMjBpbml0X2xyJTNENWUtNSUyQyUwQSUyMCUyMCUyMCUyMG51bV93YXJtdXBfc3RlcHMlM0QxXzAwMCUyQyUwQSUyMCUyMCUyMCUyMG51bV90cmFpbl9zdGVwcyUzRG51bV90cmFpbl9zdGVwcyUyQyUwQSUyMCUyMCUyMCUyMHdlaWdodF9kZWNheV9yYXRlJTNEMC4wMSUyQyUwQSklMEFtb2RlbC5jb21waWxlKG9wdGltaXplciUzRG9wdGltaXplciklMEElMEElMjMlMjBUcmFpbiUyMGluJTIwbWl4ZWQtcHJlY2lzaW9uJTIwZmxvYXQxNiUwQXRmLmtlcmFzLm1peGVkX3ByZWNpc2lvbi5zZXRfZ2xvYmFsX3BvbGljeSglMjJtaXhlZF9mbG9hdDE2JTIyKQ==",highlighted:`<span class="hljs-keyword">from</span> transformers <span class="hljs-keyword">import</span> create_optimizer
<span class="hljs-keyword">import</span> tensorflow <span class="hljs-keyword">as</span> tf
num_train_steps = <span class="hljs-built_in">len</span>(tf_train_dataset)
optimizer, schedule = create_optimizer(
 init_lr=<span class="hljs-number">5e-5</span>,
 num_warmup_steps=<span class="hljs-number">1_000</span>,
 num_train_steps=num_train_steps,
 weight_decay_rate=<span class="hljs-number">0.01</span>,
)
model.<span class="hljs-built_in">compile</span>(optimizer=optimizer)
<span class="hljs-comment"># Train in mixed-precision float16</span>
tf.keras.mixed_precision.set_global_policy(<span class="hljs-string">&quot;mixed_float16&quot;</span>)`,wrap:!1}}),G=new f({props:{code:"ZnJvbSUyMHRyYW5zZm9ybWVycy5rZXJhc19jYWxsYmFja3MlMjBpbXBvcnQlMjBQdXNoVG9IdWJDYWxsYmFjayUwQSUwQWNhbGxiYWNrJTIwJTNEJTIwUHVzaFRvSHViQ2FsbGJhY2sob3V0cHV0X2RpciUzRCUyMmNvZGVwYXJyb3QtZHMlMjIlMkMlMjB0b2tlbml6ZXIlM0R0b2tlbml6ZXIpJTBBJTBBbW9kZWwuZml0KHRmX3RyYWluX2RhdGFzZXQlMkMlMjB2YWxpZGF0aW9uX2RhdGElM0R0Zl9ldmFsX2RhdGFzZXQlMkMlMjBjYWxsYmFja3MlM0QlNUJjYWxsYmFjayU1RCk=",highlighted:`<span class="hljs-keyword">from</span> transformers.keras_callbacks <span class="hljs-keyword">import</span> PushToHubCallback
callback = PushToHubCallback(output_dir=<span class="hljs-string">&quot;codeparrot-ds&quot;</span>, tokenizer=tokenizer)
model.fit(tf_train_dataset, validation_data=tf_eval_dataset, callbacks=[callback])`,wrap:!1}}),{c(){n=U("p"),n.innerHTML=i,M=p(),w(C.$$.fragment),k=p(),h=U("p"),h.innerHTML=B,Z=p(),w(G.$$.fragment)},l(b){n=o(b,"P",{"data-svelte-h":!0}),T(n)!=="svelte-1qjytix"&&(n.innerHTML=i),M=y(b),u(C.$$.fragment,b),k=y(b),h=o(b,"P",{"data-svelte-h":!0}),T(h)!=="svelte-2ge9e9"&&(h.innerHTML=B),Z=y(b),u(G.$$.fragment,b)},m(b,X){t(b,n,X),t(b,M,X),j(C,b,X),t(b,k,X),t(b,h,X),t(b,Z,X),j(G,b,X),m=!0},i(b){m||(r(C.$$.fragment,b),r(G.$$.fragment,b),m=!0)},o(b){c(C.$$.fragment,b),c(G.$$.fragment,b),m=!1},d(b){b&&(s(n),s(M),s(k),s(h),s(Z)),d(C,b),d(G,b)}}}function Qa(_){let n,i="あとは学習用の引数を設定し、<code>Trainer</code> を起動するだけです。ここでは、いくつかのウォームアップを伴う cosine 学習率のスケジュールと、256 の有効バッチサイズ (<code>per_device_train_batch_size</code> * <code>gradient_accumulation_steps</code>) を使用することにします。勾配累積は、単一のバッチがメモリに収まらない場合に使用され、いくつかの前進/後退パスを通して勾配を増分的に構築します。これは、🤗 Accelerateで学習ループを作成するときに実際に見ることができます。",M,C,k,h,B="あとは <code>Trainer</code> を起動し、学習が終了するのを待つだけです。トレーニングセット全体かその一部分だけかにもよりますが、それぞれ20時間、2時間かかりますので、コーヒーでも飲んでお好きな本をゆっくり読んでください。",Z,G,m,b,X="学習が完了したら、モデルとトークナイザーをHubにプッシュすることができます。",$,g,A;return C=new f({props:{code:"ZnJvbSUyMHRyYW5zZm9ybWVycyUyMGltcG9ydCUyMFRyYWluZXIlMkMlMjBUcmFpbmluZ0FyZ3VtZW50cyUwQSUwQWFyZ3MlMjAlM0QlMjBUcmFpbmluZ0FyZ3VtZW50cyglMEElMjAlMjAlMjAlMjBvdXRwdXRfZGlyJTNEJTIyY29kZXBhcnJvdC1kcyUyMiUyQyUwQSUyMCUyMCUyMCUyMHBlcl9kZXZpY2VfdHJhaW5fYmF0Y2hfc2l6ZSUzRDMyJTJDJTBBJTIwJTIwJTIwJTIwcGVyX2RldmljZV9ldmFsX2JhdGNoX3NpemUlM0QzMiUyQyUwQSUyMCUyMCUyMCUyMGV2YWx1YXRpb25fc3RyYXRlZ3klM0QlMjJzdGVwcyUyMiUyQyUwQSUyMCUyMCUyMCUyMGV2YWxfc3RlcHMlM0Q1XzAwMCUyQyUwQSUyMCUyMCUyMCUyMGxvZ2dpbmdfc3RlcHMlM0Q1XzAwMCUyQyUwQSUyMCUyMCUyMCUyMGdyYWRpZW50X2FjY3VtdWxhdGlvbl9zdGVwcyUzRDglMkMlMEElMjAlMjAlMjAlMjBudW1fdHJhaW5fZXBvY2hzJTNEMSUyQyUwQSUyMCUyMCUyMCUyMHdlaWdodF9kZWNheSUzRDAuMSUyQyUwQSUyMCUyMCUyMCUyMHdhcm11cF9zdGVwcyUzRDFfMDAwJTJDJTBBJTIwJTIwJTIwJTIwbHJfc2NoZWR1bGVyX3R5cGUlM0QlMjJjb3NpbmUlMjIlMkMlMEElMjAlMjAlMjAlMjBsZWFybmluZ19yYXRlJTNENWUtNCUyQyUwQSUyMCUyMCUyMCUyMHNhdmVfc3RlcHMlM0Q1XzAwMCUyQyUwQSUyMCUyMCUyMCUyMGZwMTYlM0RUcnVlJTJDJTBBJTIwJTIwJTIwJTIwcHVzaF90b19odWIlM0RUcnVlJTJDJTBBKSUwQSUwQXRyYWluZXIlMjAlM0QlMjBUcmFpbmVyKCUwQSUyMCUyMCUyMCUyMG1vZGVsJTNEbW9kZWwlMkMlMEElMjAlMjAlMjAlMjB0b2tlbml6ZXIlM0R0b2tlbml6ZXIlMkMlMEElMjAlMjAlMjAlMjBhcmdzJTNEYXJncyUyQyUwQSUyMCUyMCUyMCUyMGRhdGFfY29sbGF0b3IlM0RkYXRhX2NvbGxhdG9yJTJDJTBBJTIwJTIwJTIwJTIwdHJhaW5fZGF0YXNldCUzRHRva2VuaXplZF9kYXRhc2V0cyU1QiUyMnRyYWluJTIyJTVEJTJDJTBBJTIwJTIwJTIwJTIwZXZhbF9kYXRhc2V0JTNEdG9rZW5pemVkX2RhdGFzZXRzJTVCJTIydmFsaWQlMjIlNUQlMkMlMEEp",highlighted:`<span class="hljs-keyword">from</span> transformers <span class="hljs-keyword">import</span> Trainer, TrainingArguments
args = TrainingArguments(
 output_dir=<span class="hljs-string">&quot;codeparrot-ds&quot;</span>,
 per_device_train_batch_size=<span class="hljs-number">32</span>,
 per_device_eval_batch_size=<span class="hljs-number">32</span>,
 evaluation_strategy=<span class="hljs-string">&quot;steps&quot;</span>,
 eval_steps=<span class="hljs-number">5_000</span>,
 logging_steps=<span class="hljs-number">5_000</span>,
 gradient_accumulation_steps=<span class="hljs-number">8</span>,
 num_train_epochs=<span class="hljs-number">1</span>,
 weight_decay=<span class="hljs-number">0.1</span>,
 warmup_steps=<span class="hljs-number">1_000</span>,
 lr_scheduler_type=<span class="hljs-string">&quot;cosine&quot;</span>,
 learning_rate=<span class="hljs-number">5e-4</span>,
 save_steps=<span class="hljs-number">5_000</span>,
 fp16=<span class="hljs-literal">True</span>,
 push_to_hub=<span class="hljs-literal">True</span>,
)
trainer = Trainer(
 model=model,
 tokenizer=tokenizer,
 args=args,
 data_collator=data_collator,
 train_dataset=tokenized_datasets[<span class="hljs-string">&quot;train&quot;</span>],
 eval_dataset=tokenized_datasets[<span class="hljs-string">&quot;valid&quot;</span>],
)`,wrap:!1}}),G=new f({props:{code:"dHJhaW5lci50cmFpbigp",highlighted:"trainer.train()",wrap:!1}}),g=new f({props:{code:"dHJhaW5lci5wdXNoX3RvX2h1Yigp",highlighted:"trainer.push_to_hub()",wrap:!1}}),{c(){n=U("p"),n.innerHTML=i,M=p(),w(C.$$.fragment),k=p(),h=U("p"),h.innerHTML=B,Z=p(),w(G.$$.fragment),m=p(),b=U("p"),b.textContent=X,$=p(),w(g.$$.fragment)},l(I){n=o(I,"P",{"data-svelte-h":!0}),T(n)!=="svelte-1338ehg"&&(n.innerHTML=i),M=y(I),u(C.$$.fragment,I),k=y(I),h=o(I,"P",{"data-svelte-h":!0}),T(h)!=="svelte-1pxsf1z"&&(h.innerHTML=B),Z=y(I),u(G.$$.fragment,I),m=y(I),b=o(I,"P",{"data-svelte-h":!0}),T(b)!=="svelte-e5rx2z"&&(b.textContent=X),$=y(I),u(g.$$.fragment,I)},m(I,R){t(I,n,R),t(I,M,R),j(C,I,R),t(I,k,R),t(I,h,R),t(I,Z,R),j(G,I,R),t(I,m,R),t(I,b,R),t(I,$,R),j(g,I,R),A=!0},i(I){A||(r(C.$$.fragment,I),r(G.$$.fragment,I),r(g.$$.fragment,I),A=!0)},o(I){c(C.$$.fragment,I),c(G.$$.fragment,I),c(g.$$.fragment,I),A=!1},d(I){I&&(s(n),s(M),s(k),s(h),s(Z),s(m),s(b),s($)),d(C,I),d(G,I),d(g,I)}}}function Wa(_){let n,i='<p>💡 もし、複数のGPUを搭載したマシンを利用できるのであれば、<code>MirroredStrategy</code>コンテキストを使って、学習を大幅にスピードアップさせることができます。そのためには <code>tf.distribute.MirroredStrategy</code> オブジェクトを作成し、 <code>to_tf_dataset</code> コマンド、モデルの作成、 <code>fit()</code> の呼び出しがすべて <code>scope()</code> コンテキストで実行されることを確認する必要があります。これに関するドキュメントは<a href="https://www.tensorflow.org/guide/distributed_training#use_tfdistributestrategy_with_keras_modelfit" rel="nofollow">こちら</a>で見ることができます。</p>';return{c(){n=U("blockquote"),n.innerHTML=i},l(M){n=o(M,"BLOCKQUOTE",{"data-svelte-h":!0}),T(n)!=="svelte-cebczu"&&(n.innerHTML=i)},m(M,C){t(M,n,C)},d(M){M&&s(n)}}}function za(_){let n,i="<p>💡 もし、複数のGPUを搭載したマシンを利用できるのであれば、そこでコードを実行してみてください。トレーナー`は自動的に複数のマシンを管理するため、学習速度が飛躍的に向上します。</p>";return{c(){n=U("blockquote"),n.innerHTML=i},l(M){n=o(M,"BLOCKQUOTE",{"data-svelte-h":!0}),T(n)!=="svelte-84ghff"&&(n.innerHTML=i)},m(M,C){t(M,n,C)},d(M){M&&s(n)}}}function Va(_){let n,i;return n=new f({props:{code:"ZnJvbSUyMHRyYW5zZm9ybWVycyUyMGltcG9ydCUyMHBpcGVsaW5lJTBBJTBBY291cnNlX21vZGVsJTIwJTNEJTIwVEZHUFQyTE1IZWFkTW9kZWwuZnJvbV9wcmV0cmFpbmVkKCUyMmh1Z2dpbmdmYWNlLWNvdXJzZSUyRmNvZGVwYXJyb3QtZHMlMjIpJTBBY291cnNlX3Rva2VuaXplciUyMCUzRCUyMEF1dG9Ub2tlbml6ZXIuZnJvbV9wcmV0cmFpbmVkKCUyMmh1Z2dpbmdmYWNlLWNvdXJzZSUyRmNvZGVwYXJyb3QtZHMlMjIpJTBBcGlwZSUyMCUzRCUyMHBpcGVsaW5lKCUwQSUyMCUyMCUyMCUyMCUyMnRleHQtZ2VuZXJhdGlvbiUyMiUyQyUyMG1vZGVsJTNEY291cnNlX21vZGVsJTJDJTIwdG9rZW5pemVyJTNEY291cnNlX3Rva2VuaXplciUyQyUyMGRldmljZSUzRDAlMEEp",highlighted:`<span class="hljs-keyword">from</span> transformers <span class="hljs-keyword">import</span> pipeline
course_model = TFGPT2LMHeadModel.from_pretrained(<span class="hljs-string">&quot;huggingface-course/codeparrot-ds&quot;</span>)
course_tokenizer = AutoTokenizer.from_pretrained(<span class="hljs-string">&quot;huggingface-course/codeparrot-ds&quot;</span>)
pipe = pipeline(
 <span class="hljs-string">&quot;text-generation&quot;</span>, model=course_model, tokenizer=course_tokenizer, device=<span class="hljs-number">0</span>
)`,wrap:!1}}),{c(){w(n.$$.fragment)},l(M){u(n.$$.fragment,M)},m(M,C){j(n,M,C),i=!0},i(M){i||(r(n.$$.fragment,M),i=!0)},o(M){c(n.$$.fragment,M),i=!1},d(M){d(n,M)}}}function Ea(_){let n,i;return n=new f({props:{code:"aW1wb3J0JTIwdG9yY2glMEFmcm9tJTIwdHJhbnNmb3JtZXJzJTIwaW1wb3J0JTIwcGlwZWxpbmUlMEElMEFkZXZpY2UlMjAlM0QlMjB0b3JjaC5kZXZpY2UoJTIyY3VkYSUyMiklMjBpZiUyMHRvcmNoLmN1ZGEuaXNfYXZhaWxhYmxlKCklMjBlbHNlJTIwdG9yY2guZGV2aWNlKCUyMmNwdSUyMiklMEFwaXBlJTIwJTNEJTIwcGlwZWxpbmUoJTBBJTIwJTIwJTIwJTIwJTIydGV4dC1nZW5lcmF0aW9uJTIyJTJDJTIwbW9kZWwlM0QlMjJodWdnaW5nZmFjZS1jb3Vyc2UlMkZjb2RlcGFycm90LWRzJTIyJTJDJTIwZGV2aWNlJTNEZGV2aWNlJTBBKQ==",highlighted:`<span class="hljs-keyword">import</span> torch
<span class="hljs-keyword">from</span> transformers <span class="hljs-keyword">import</span> pipeline
device = torch.device(<span class="hljs-string">&quot;cuda&quot;</span>) <span class="hljs-keyword">if</span> torch.cuda.is_available() <span class="hljs-keyword">else</span> torch.device(<span class="hljs-string">&quot;cpu&quot;</span>)
pipe = pipeline(
 <span class="hljs-string">&quot;text-generation&quot;</span>, model=<span class="hljs-string">&quot;huggingface-course/codeparrot-ds&quot;</span>, device=device
)`,wrap:!1}}),{c(){w(n.$$.fragment)},l(M){u(n.$$.fragment,M)},m(M,C){j(n,M,C),i=!0},i(M){i||(r(n.$$.fragment,M),i=!0)},o(M){c(n.$$.fragment,M),i=!1},d(M){d(n,M)}}}function Aa(_){let n,i="これらのいくつかの例を見ると、モデルはPythonデータサイエンス関連の構文の一部を学習したようです（もちろん、実世界にモデルを展開する前にもっと徹底的に評価する必要があるでしょう）。しかし、あるユースケースに必要なパフォーマンスを達成するために、モデルの学習をよりカスタマイズする必要がある場合もあります。例えば、バッチサイズを動的に更新したい場合や、適切でないサンプルをその場でスキップする条件付き学習ループを持ちたい場合はどうすればよいでしょうか。一つの選択肢は <code>Trainer</code> をサブクラス化して必要な変更を加えることですが、時には学習ループを一から書いた方がシンプルな場合もあります。そこで🤗 Accelerateの出番です。";return{c(){n=U("p"),n.innerHTML=i},l(M){n=o(M,"P",{"data-svelte-h":!0}),T(n)!=="svelte-k8o77k"&&(n.innerHTML=i)},m(M,C){t(M,n,C)},d(M){M&&s(n)}}}function va(_){let n,i="これらのいくつかの例を見ると、このモデルはPythonを使ったデータサイエンス関連の構文の一部を学習したようです。もちろん、このモデルを実世界に展開する前に、もっと徹底的に評価する必要がありますが、それでもこれは印象的なプロトタイプです。";return{c(){n=U("p"),n.textContent=i},l(M){n=o(M,"P",{"data-svelte-h":!0}),T(n)!=="svelte-49ysk0"&&(n.textContent=i)},m(M,C){t(M,n,C)},d(M){M&&s(n)}}}function oa(_){let n,i,M,C="これまで <code>Trainer</code> を使ってモデルを学習する方法を見てきました。これはある程度カスタマイズすることができますが、時には学習ループを完全に制御したい場合や、派手な変更を加えたい場合があります。この場合、🤗 Accelerateは素晴らしい選択肢です。このセクションでは、それを使ってモデルを訓練する手順を説明します。さらに面白くするために、学習ループに一工夫してみましょう。",k,h,B,Z,G="私達は主にデータサイエンスライブラリの自動補完に興味があるので、これらのライブラリをより多く使用する学習サンプルに重きを置くことは理にかなっています。これらのサンプルは <code>plt</code>, <code>pd</code>, <code>sk</code>, <code>fit</code>, <code>predict</code> といったキーワードで簡単に識別できます。これらは <code>matplotlib.pyplot</code>, <code>pandas</code>, <code>sklearn</code> で最も頻繁に使用される import 名で、後者の fit/predict のパターンも同様です。これらをそれぞれ1つのトークンとして表現すれば、入力列の中にそれらがあるかどうかを簡単にチェックすることができます。トークンは半角スペースを前に持つことができるので、トークナイザーの語彙の中にそれらのがあるかどうかもチェックすることになります。動作確認のため、複数のトークンに分割されるはずのテストトークンを1つ追加してみます。",m,b,X,$,g,A,I="素晴らしい！うまくいったようですね。",R,Vl,Ts="入力シーケンス、ロジット、そして先ほど選択したキートークンを入力とするカスタム損失関数を書くことができます。まず、ロジットと入力の位置を合わせる必要があります。入力列を右に1つシフトしたものがラベルとなり、次のトークンが現在のトークンのラベルとなります。これは入力シーケンスの2番目のトークンからラベルを開始することで実現できます。なぜなら、モデルは最初のトークンに対していずれにしても予測を行わないからです。そして、最後のロジットを切り捨てます。なぜなら、全入力シーケンスの後には対応するラベルがないからです。これでサンプルごとの損失を計算し、各サンプルにおける全てのキーワードの出現をカウントすることができます。最後に、出現回数を重みとして、全サンプルの加重平均を計算します。キーワードを持たないサンプルを全て捨てたくないので、重みに1を加えます。",q,D,L,El,ws="この素晴らしい新しい損失関数を使った学習を始める前に、いくつかのことを準備する必要があります。",z,Al,us="<li>データをロードしてバッチにするためのデータローダーが必要です。</li> <li>重み減衰のパラメータを設定する必要があります。</li> <li>時折、評価を行いたいので、評価コードを関数でラップするのは理にかなっています。</li>",K,vl,js=`まずはデータローダーから始めましょう。
データセットのフォーマットを <code>&quot;torch&quot;</code> に設定するだけで、あとは適切なバッチサイズで PyTorch の <code>DataLoader</code> に渡せばいいのです。`,P,O,ll,Nl,ds=`次に、パラメータをグループ化し、オプティマイザがどのパラメータが追加の重み減衰を得るかを知ることができるようにします。通常、すべてのバイアスとLayerNormの重み項は、この対象から除外されます。
以下のようになります。`,sl,xl,es,v,bs="トレーニング中に定期的に検証セットでモデルを評価したいので、そのための関数も書いておきましょう。この関数は、評価用データローダを実行し、プロセス間の損失をすべて収集するだけです。",el,Yl,ts,N,Cs='<code>evaluate()</code>関数により、損失と<a href="/course/ja/chapter7/3">パープレキシティ</a>を一定時間ごとに報告することができます。次に、もう一度ゼロから学習するために、モデルを再定義します。',tl,al,nl,Fl,hs="次に、先ほどの関数を使って、重み減衰のパラメータを分割し、オプティマイザを定義します。",Ml,pl,yl,Hl,fs="それでは、モデル、オプティマイザ、データローダを準備し、トレーニングを開始しましょう。",rl,cl,il,F,Sl='<p>🚨 TPUでトレーニングする場合は、上記のセルから始まるコードを全て専用のトレーニング関数に移動する必要があります。詳しくは<a href="/course/ja/chapter3">第3章</a>を参照してください。</p>',Is,Jl,ql="これで <code>train_dataloader</code> を <code>accelerator.prepare()</code> に送ったので、その長さを用いて学習ステップ数を計算することができます。このメソッドはデータローダーの長さを変更するので、常にデータローダーを準備した後に行う必要があることを忘れないでください。ここでは、学習率から0までの古典的な線形スケジュールを使用します。",_s,Ul,ol,ml,Dl="最後に、私たちのモデルをハブにプッシュするために、作業フォルダに <code>Repository</code> オブジェクトを作成する必要があります。まず、ハギング フェイス ハブ にログインしてください（まだログインしていない場合）。モデルに付与したいモデル ID からリポジトリ名を決定します（<code>repo_name</code> を自由に置き換えてください。これはユーザー名を含む必要があり、関数 <code>get_full_repo_name()</code> が行っている事です)。",as,E,ks,Tl,wl,Ll,Zs="そして、そのリポジトリをローカルフォルダーにクローンすることができます。すでに存在するのであれば、このローカルフォルダーは作業中のリポジトリの既存のクローンであるべきです。",ul,jl,dl,bl,Kl="これで <code>repo.push_to_hub()</code> メソッドを呼び出すことで、<code>output_dir</code> に保存したものをアップロードできるようになりました。これにより、各エポック終了時に中間モデルをアップロードすることができます。",Gs,Cl,Pl="学習する前に、評価関数が正しく動作するかどうか、簡単なテストを実行してみましょう。",ns,x,Ms,Y,Bs,hl,Ol="損失とパープレキシティは非常に高い値ですが、まだモデルを訓練していないので驚くことではありません。これで、学習スクリプトの核となる部分、学習ループを書く準備が整いました。学習ループでは、データローダーを繰り返し処理し、そのバッチをモデルに渡します。ロジットを取得することで、独自の損失関数を評価することができます。損失は勾配累積のステップ数でスケーリングし、より多くのステップを集約する際に大きな損失が生じないようにします。また、最適化する前に、収束を良くするために勾配を切り取ります。最後に、数ステップごとに、新しい <code>evaluate()</code> 関数を用いて、評価セットでモデルを評価します。",Xs,fl,H,ls,Rs=`これで完了です。
貴方はGPT-2のような因果言語モデルのためのカスタム学習ループを作成できるようになり、更にニーズに合わせてカスタマイズすることができます。`,Il,kl,gs="<p>✏️ <strong>あなたの番です！</strong> 用途に合わせた独自の損失関数を作成するか、トレーニングループに別のカスタムステップを追加してみましょう。</p>",_l,S,ss="<p>✏️ <strong>あなたの番です！</strong> 長時間に及ぶ学習実験を行う場合、TensorBoardやWeights &amp; Biasesなどのツールを使って重要な指標を記録しておくとよいでしょう。学習ループに適切なログを追加することで、学習がどのように進んでいるかを常に確認することができます。</p>",ps;return n=new Be({props:{title:"🤗 Accelerate を使ったトレーニング",local:"-accelerate-を使ったトレーニング",headingTag:"h2"}}),h=new Zt({props:{id:"Hm8_PgVTFuc"}}),b=new f({props:{code:"a2V5dG9rZW5faWRzJTIwJTNEJTIwJTVCJTVEJTBBZm9yJTIwa2V5d29yZCUyMGluJTIwJTVCJTBBJTIwJTIwJTIwJTIwJTIycGx0JTIyJTJDJTBBJTIwJTIwJTIwJTIwJTIycGQlMjIlMkMlMEElMjAlMjAlMjAlMjAlMjJzayUyMiUyQyUwQSUyMCUyMCUyMCUyMCUyMmZpdCUyMiUyQyUwQSUyMCUyMCUyMCUyMCUyMnByZWRpY3QlMjIlMkMlMEElMjAlMjAlMjAlMjAlMjIlMjBwbHQlMjIlMkMlMEElMjAlMjAlMjAlMjAlMjIlMjBwZCUyMiUyQyUwQSUyMCUyMCUyMCUyMCUyMiUyMHNrJTIyJTJDJTBBJTIwJTIwJTIwJTIwJTIyJTIwZml0JTIyJTJDJTBBJTIwJTIwJTIwJTIwJTIyJTIwcHJlZGljdCUyMiUyQyUwQSUyMCUyMCUyMCUyMCUyMnRlc3R0ZXN0JTIyJTJDJTBBJTVEJTNBJTBBJTIwJTIwJTIwJTIwaWRzJTIwJTNEJTIwdG9rZW5pemVyKCU1QmtleXdvcmQlNUQpLmlucHV0X2lkcyU1QjAlNUQlMEElMjAlMjAlMjAlMjBpZiUyMGxlbihpZHMpJTIwJTNEJTNEJTIwMSUzQSUwQSUyMCUyMCUyMCUyMCUyMCUyMCUyMCUyMGtleXRva2VuX2lkcy5hcHBlbmQoaWRzJTVCMCU1RCklMEElMjAlMjAlMjAlMjBlbHNlJTNBJTBBJTIwJTIwJTIwJTIwJTIwJTIwJTIwJTIwcHJpbnQoZiUyMktleXdvcmQlMjBoYXMlMjBub3QlMjBzaW5nbGUlMjB0b2tlbiUzQSUyMCU3QmtleXdvcmQlN0QlMjIp",highlighted:`keytoken_ids = []
<span class="hljs-keyword">for</span> keyword <span class="hljs-keyword">in</span> [
 <span class="hljs-string">&quot;plt&quot;</span>,
 <span class="hljs-string">&quot;pd&quot;</span>,
 <span class="hljs-string">&quot;sk&quot;</span>,
 <span class="hljs-string">&quot;fit&quot;</span>,
 <span class="hljs-string">&quot;predict&quot;</span>,
 <span class="hljs-string">&quot; plt&quot;</span>,
 <span class="hljs-string">&quot; pd&quot;</span>,
 <span class="hljs-string">&quot; sk&quot;</span>,
 <span class="hljs-string">&quot; fit&quot;</span>,
 <span class="hljs-string">&quot; predict&quot;</span>,
 <span class="hljs-string">&quot;testtest&quot;</span>,
]:
 ids = tokenizer([keyword]).input_ids[<span class="hljs-number">0</span>]
 <span class="hljs-keyword">if</span> <span class="hljs-built_in">len</span>(ids) == <span class="hljs-number">1</span>:
 keytoken_ids.append(ids[<span class="hljs-number">0</span>])
 <span class="hljs-keyword">else</span>:
 <span class="hljs-built_in">print</span>(<span class="hljs-string">f&quot;Keyword has not single token: <span class="hljs-subst">{keyword}</span>&quot;</span>)`,wrap:!1}}),$=new f({props:{code:"J0tleXdvcmQlMjBoYXMlMjBub3QlMjBzaW5nbGUlMjB0b2tlbiUzQSUyMHRlc3R0ZXN0Jw==",highlighted:'<span class="hljs-string">&#x27;Keyword has not single token: testtest&#x27;</span>',wrap:!1}}),D=new f({props:{code:"ZnJvbSUyMHRvcmNoLm5uJTIwaW1wb3J0JTIwQ3Jvc3NFbnRyb3B5TG9zcyUwQWltcG9ydCUyMHRvcmNoJTBBJTBBJTBBZGVmJTIwa2V5dG9rZW5fd2VpZ2h0ZWRfbG9zcyhpbnB1dHMlMkMlMjBsb2dpdHMlMkMlMjBrZXl0b2tlbl9pZHMlMkMlMjBhbHBoYSUzRDEuMCklM0ElMEElMjAlMjAlMjAlMjAlMjMlMjBTaGlmdCUyMHNvJTIwdGhhdCUyMHRva2VucyUyMCUzQyUyMG4lMjBwcmVkaWN0JTIwbiUwQSUyMCUyMCUyMCUyMHNoaWZ0X2xhYmVscyUyMCUzRCUyMGlucHV0cyU1Qi4uLiUyQyUyMDElM0ElNUQuY29udGlndW91cygpJTBBJTIwJTIwJTIwJTIwc2hpZnRfbG9naXRzJTIwJTNEJTIwbG9naXRzJTVCLi4uJTJDJTIwJTNBLTElMkMlMjAlM0ElNUQuY29udGlndW91cygpJTBBJTIwJTIwJTIwJTIwJTIzJTIwQ2FsY3VsYXRlJTIwcGVyLXRva2VuJTIwbG9zcyUwQSUyMCUyMCUyMCUyMGxvc3NfZmN0JTIwJTNEJTIwQ3Jvc3NFbnRyb3B5TG9zcyhyZWR1Y2UlM0RGYWxzZSklMEElMjAlMjAlMjAlMjBsb3NzJTIwJTNEJTIwbG9zc19mY3Qoc2hpZnRfbG9naXRzLnZpZXcoLTElMkMlMjBzaGlmdF9sb2dpdHMuc2l6ZSgtMSkpJTJDJTIwc2hpZnRfbGFiZWxzLnZpZXcoLTEpKSUwQSUyMCUyMCUyMCUyMCUyMyUyMFJlc2l6ZSUyMGFuZCUyMGF2ZXJhZ2UlMjBsb3NzJTIwcGVyJTIwc2FtcGxlJTBBJTIwJTIwJTIwJTIwbG9zc19wZXJfc2FtcGxlJTIwJTNEJTIwbG9zcy52aWV3KHNoaWZ0X2xvZ2l0cy5zaXplKDApJTJDJTIwc2hpZnRfbG9naXRzLnNpemUoMSkpLm1lYW4oYXhpcyUzRDEpJTBBJTIwJTIwJTIwJTIwJTIzJTIwQ2FsY3VsYXRlJTIwYW5kJTIwc2NhbGUlMjB3ZWlnaHRpbmclMEElMjAlMjAlMjAlMjB3ZWlnaHRzJTIwJTNEJTIwdG9yY2guc3RhY2soJTVCKGlucHV0cyUyMCUzRCUzRCUyMGt0KS5mbG9hdCgpJTIwZm9yJTIwa3QlMjBpbiUyMGtleXRva2VuX2lkcyU1RCkuc3VtKCUwQSUyMCUyMCUyMCUyMCUyMCUyMCUyMCUyMGF4aXMlM0QlNUIwJTJDJTIwMiU1RCUwQSUyMCUyMCUyMCUyMCklMEElMjAlMjAlMjAlMjB3ZWlnaHRzJTIwJTNEJTIwYWxwaGElMjAqJTIwKDEuMCUyMCUyQiUyMHdlaWdodHMpJTBBJTIwJTIwJTIwJTIwJTIzJTIwQ2FsY3VsYXRlJTIwd2VpZ2h0ZWQlMjBhdmVyYWdlJTBBJTIwJTIwJTIwJTIwd2VpZ2h0ZWRfbG9zcyUyMCUzRCUyMChsb3NzX3Blcl9zYW1wbGUlMjAqJTIwd2VpZ2h0cykubWVhbigpJTBBJTIwJTIwJTIwJTIwcmV0dXJuJTIwd2VpZ2h0ZWRfbG9zcw==",highlighted:`<span class="hljs-keyword">from</span> torch.nn <span class="hljs-keyword">import</span> CrossEntropyLoss
<span class="hljs-keyword">import</span> torch
<span class="hljs-keyword">def</span> <span class="hljs-title function_">keytoken_weighted_loss</span>(<span class="hljs-params">inputs, logits, keytoken_ids, alpha=<span class="hljs-number">1.0</span></span>):
 <span class="hljs-comment"># Shift so that tokens &lt; n predict n</span>
 shift_labels = inputs[..., <span class="hljs-number">1</span>:].contiguous()
 shift_logits = logits[..., :-<span class="hljs-number">1</span>, :].contiguous()
 <span class="hljs-comment"># Calculate per-token loss</span>
 loss_fct = CrossEntropyLoss(reduce=<span class="hljs-literal">False</span>)
 loss = loss_fct(shift_logits.view(-<span class="hljs-number">1</span>, shift_logits.size(-<span class="hljs-number">1</span>)), shift_labels.view(-<span class="hljs-number">1</span>))
 <span class="hljs-comment"># Resize and average loss per sample</span>
 loss_per_sample = loss.view(shift_logits.size(<span class="hljs-number">0</span>), shift_logits.size(<span class="hljs-number">1</span>)).mean(axis=<span class="hljs-number">1</span>)
 <span class="hljs-comment"># Calculate and scale weighting</span>
 weights = torch.stack([(inputs == kt).<span class="hljs-built_in">float</span>() <span class="hljs-keyword">for</span> kt <span class="hljs-keyword">in</span> keytoken_ids]).<span class="hljs-built_in">sum</span>(
 axis=[<span class="hljs-number">0</span>, <span class="hljs-number">2</span>]
 )
 weights = alpha * (<span class="hljs-number">1.0</span> + weights)
 <span class="hljs-comment"># Calculate weighted average</span>
 weighted_loss = (loss_per_sample * weights).mean()
 <span class="hljs-keyword">return</span> weighted_loss`,wrap:!1}}),O=new f({props:{code:"ZnJvbSUyMHRvcmNoLnV0aWxzLmRhdGEuZGF0YWxvYWRlciUyMGltcG9ydCUyMERhdGFMb2FkZXIlMEElMEF0b2tlbml6ZWRfZGF0YXNldC5zZXRfZm9ybWF0KCUyMnRvcmNoJTIyKSUwQXRyYWluX2RhdGFsb2FkZXIlMjAlM0QlMjBEYXRhTG9hZGVyKHRva2VuaXplZF9kYXRhc2V0JTVCJTIydHJhaW4lMjIlNUQlMkMlMjBiYXRjaF9zaXplJTNEMzIlMkMlMjBzaHVmZmxlJTNEVHJ1ZSklMEFldmFsX2RhdGFsb2FkZXIlMjAlM0QlMjBEYXRhTG9hZGVyKHRva2VuaXplZF9kYXRhc2V0JTVCJTIydmFsaWQlMjIlNUQlMkMlMjBiYXRjaF9zaXplJTNEMzIp",highlighted:`<span class="hljs-keyword">from</span> torch.utils.data.dataloader <span class="hljs-keyword">import</span> DataLoader
tokenized_dataset.set_format(<span class="hljs-string">&quot;torch&quot;</span>)
train_dataloader = DataLoader(tokenized_dataset[<span class="hljs-string">&quot;train&quot;</span>], batch_size=<span class="hljs-number">32</span>, shuffle=<span class="hljs-literal">True</span>)
eval_dataloader = DataLoader(tokenized_dataset[<span class="hljs-string">&quot;valid&quot;</span>], batch_size=<span class="hljs-number">32</span>)`,wrap:!1}}),xl=new f({props:{code:"d2VpZ2h0X2RlY2F5JTIwJTNEJTIwMC4xJTBBJTBBJTBBZGVmJTIwZ2V0X2dyb3VwZWRfcGFyYW1zKG1vZGVsJTJDJTIwbm9fZGVjYXklM0QlNUIlMjJiaWFzJTIyJTJDJTIwJTIyTGF5ZXJOb3JtLndlaWdodCUyMiU1RCklM0ElMEElMjAlMjAlMjAlMjBwYXJhbXNfd2l0aF93ZCUyQyUyMHBhcmFtc193aXRob3V0X3dkJTIwJTNEJTIwJTVCJTVEJTJDJTIwJTVCJTVEJTBBJTIwJTIwJTIwJTIwZm9yJTIwbiUyQyUyMHAlMjBpbiUyMG1vZGVsLm5hbWVkX3BhcmFtZXRlcnMoKSUzQSUwQSUyMCUyMCUyMCUyMCUyMCUyMCUyMCUyMGlmJTIwYW55KG5kJTIwaW4lMjBuJTIwZm9yJTIwbmQlMjBpbiUyMG5vX2RlY2F5KSUzQSUwQSUyMCUyMCUyMCUyMCUyMCUyMCUyMCUyMCUyMCUyMCUyMCUyMHBhcmFtc193aXRob3V0X3dkLmFwcGVuZChwKSUwQSUyMCUyMCUyMCUyMCUyMCUyMCUyMCUyMGVsc2UlM0ElMEElMjAlMjAlMjAlMjAlMjAlMjAlMjAlMjAlMjAlMjAlMjAlMjBwYXJhbXNfd2l0aF93ZC5hcHBlbmQocCklMEElMjAlMjAlMjAlMjByZXR1cm4lMjAlNUIlMEElMjAlMjAlMjAlMjAlMjAlMjAlMjAlMjAlN0IlMjJwYXJhbXMlMjIlM0ElMjBwYXJhbXNfd2l0aF93ZCUyQyUyMCUyMndlaWdodF9kZWNheSUyMiUzQSUyMHdlaWdodF9kZWNheSU3RCUyQyUwQSUyMCUyMCUyMCUyMCUyMCUyMCUyMCUyMCU3QiUyMnBhcmFtcyUyMiUzQSUyMHBhcmFtc193aXRob3V0X3dkJTJDJTIwJTIyd2VpZ2h0X2RlY2F5JTIyJTNBJTIwMC4wJTdEJTJDJTBBJTIwJTIwJTIwJTIwJTVE",highlighted:`weight_decay = <span class="hljs-number">0.1</span>
<span class="hljs-keyword">def</span> <span class="hljs-title function_">get_grouped_params</span>(<span class="hljs-params">model, no_decay=[<span class="hljs-string">&quot;bias&quot;</span>, <span class="hljs-string">&quot;LayerNorm.weight&quot;</span>]</span>):
 params_with_wd, params_without_wd = [], []
 <span class="hljs-keyword">for</span> n, p <span class="hljs-keyword">in</span> model.named_parameters():
 <span class="hljs-keyword">if</span> <span class="hljs-built_in">any</span>(nd <span class="hljs-keyword">in</span> n <span class="hljs-keyword">for</span> nd <span class="hljs-keyword">in</span> no_decay):
 params_without_wd.append(p)
 <span class="hljs-keyword">else</span>:
 params_with_wd.append(p)
 <span class="hljs-keyword">return</span> [
 {<span class="hljs-string">&quot;params&quot;</span>: params_with_wd, <span class="hljs-string">&quot;weight_decay&quot;</span>: weight_decay},
 {<span class="hljs-string">&quot;params&quot;</span>: params_without_wd, <span class="hljs-string">&quot;weight_decay&quot;</span>: <span class="hljs-number">0.0</span>},
 ]`,wrap:!1}}),Yl=new f({props:{code:"ZGVmJTIwZXZhbHVhdGUoKSUzQSUwQSUyMCUyMCUyMCUyMG1vZGVsLmV2YWwoKSUwQSUyMCUyMCUyMCUyMGxvc3NlcyUyMCUzRCUyMCU1QiU1RCUwQSUyMCUyMCUyMCUyMGZvciUyMHN0ZXAlMkMlMjBiYXRjaCUyMGluJTIwZW51bWVyYXRlKGV2YWxfZGF0YWxvYWRlciklM0ElMEElMjAlMjAlMjAlMjAlMjAlMjAlMjAlMjB3aXRoJTIwdG9yY2gubm9fZ3JhZCgpJTNBJTBBJTIwJTIwJTIwJTIwJTIwJTIwJTIwJTIwJTIwJTIwJTIwJTIwb3V0cHV0cyUyMCUzRCUyMG1vZGVsKGJhdGNoJTVCJTIyaW5wdXRfaWRzJTIyJTVEJTJDJTIwbGFiZWxzJTNEYmF0Y2glNUIlMjJpbnB1dF9pZHMlMjIlNUQpJTBBJTBBJTIwJTIwJTIwJTIwJTIwJTIwJTIwJTIwbG9zc2VzLmFwcGVuZChhY2NlbGVyYXRvci5nYXRoZXIob3V0cHV0cy5sb3NzKSklMEElMjAlMjAlMjAlMjBsb3NzJTIwJTNEJTIwdG9yY2gubWVhbih0b3JjaC5jYXQobG9zc2VzKSklMEElMjAlMjAlMjAlMjB0cnklM0ElMEElMjAlMjAlMjAlMjAlMjAlMjAlMjAlMjBwZXJwbGV4aXR5JTIwJTNEJTIwdG9yY2guZXhwKGxvc3MpJTBBJTIwJTIwJTIwJTIwZXhjZXB0JTIwT3ZlcmZsb3dFcnJvciUzQSUwQSUyMCUyMCUyMCUyMCUyMCUyMCUyMCUyMHBlcnBsZXhpdHklMjAlM0QlMjBmbG9hdCglMjJpbmYlMjIpJTBBJTIwJTIwJTIwJTIwcmV0dXJuJTIwbG9zcy5pdGVtKCklMkMlMjBwZXJwbGV4aXR5Lml0ZW0oKQ==",highlighted:`<span class="hljs-keyword">def</span> <span class="hljs-title function_">evaluate</span>():
 model.<span class="hljs-built_in">eval</span>()
 losses = []
 <span class="hljs-keyword">for</span> step, batch <span class="hljs-keyword">in</span> <span class="hljs-built_in">enumerate</span>(eval_dataloader):
 <span class="hljs-keyword">with</span> torch.no_grad():
 outputs = model(batch[<span class="hljs-string">&quot;input_ids&quot;</span>], labels=batch[<span class="hljs-string">&quot;input_ids&quot;</span>])
 losses.append(accelerator.gather(outputs.loss))
 loss = torch.mean(torch.cat(losses))
 <span class="hljs-keyword">try</span>:
 perplexity = torch.exp(loss)
 <span class="hljs-keyword">except</span> OverflowError:
 perplexity = <span class="hljs-built_in">float</span>(<span class="hljs-string">&quot;inf&quot;</span>)
 <span class="hljs-keyword">return</span> loss.item(), perplexity.item()`,wrap:!1}}),al=new f({props:{code:"bW9kZWwlMjAlM0QlMjBHUFQyTE1IZWFkTW9kZWwoY29uZmlnKQ==",highlighted:"model = GPT2LMHeadModel(config)",wrap:!1}}),pl=new f({props:{code:"ZnJvbSUyMHRvcmNoLm9wdGltJTIwaW1wb3J0JTIwQWRhbVclMEElMEFvcHRpbWl6ZXIlMjAlM0QlMjBBZGFtVyhnZXRfZ3JvdXBlZF9wYXJhbXMobW9kZWwpJTJDJTIwbHIlM0Q1ZS00KQ==",highlighted:`<span class="hljs-keyword">from</span> torch.optim <span class="hljs-keyword">import</span> AdamW
optimizer = AdamW(get_grouped_params(model), lr=<span class="hljs-number">5e-4</span>)`,wrap:!1}}),cl=new f({props:{code:"ZnJvbSUyMGFjY2VsZXJhdGUlMjBpbXBvcnQlMjBBY2NlbGVyYXRvciUwQSUwQWFjY2VsZXJhdG9yJTIwJTNEJTIwQWNjZWxlcmF0b3IoZnAxNiUzRFRydWUpJTBBJTBBbW9kZWwlMkMlMjBvcHRpbWl6ZXIlMkMlMjB0cmFpbl9kYXRhbG9hZGVyJTJDJTIwZXZhbF9kYXRhbG9hZGVyJTIwJTNEJTIwYWNjZWxlcmF0b3IucHJlcGFyZSglMEElMjAlMjAlMjAlMjBtb2RlbCUyQyUyMG9wdGltaXplciUyQyUyMHRyYWluX2RhdGFsb2FkZXIlMkMlMjBldmFsX2RhdGFsb2FkZXIlMEEp",highlighted:`<span class="hljs-keyword">from</span> accelerate <span class="hljs-keyword">import</span> Accelerator
accelerator = Accelerator(fp16=<span class="hljs-literal">True</span>)
model, optimizer, train_dataloader, eval_dataloader = accelerator.prepare(
 model, optimizer, train_dataloader, eval_dataloader
)`,wrap:!1}}),Ul=new f({props:{code:"ZnJvbSUyMHRyYW5zZm9ybWVycyUyMGltcG9ydCUyMGdldF9zY2hlZHVsZXIlMEElMEFudW1fdHJhaW5fZXBvY2hzJTIwJTNEJTIwMSUwQW51bV91cGRhdGVfc3RlcHNfcGVyX2Vwb2NoJTIwJTNEJTIwbGVuKHRyYWluX2RhdGFsb2FkZXIpJTBBbnVtX3RyYWluaW5nX3N0ZXBzJTIwJTNEJTIwbnVtX3RyYWluX2Vwb2NocyUyMColMjBudW1fdXBkYXRlX3N0ZXBzX3Blcl9lcG9jaCUwQSUwQWxyX3NjaGVkdWxlciUyMCUzRCUyMGdldF9zY2hlZHVsZXIoJTBBJTIwJTIwJTIwJTIwbmFtZSUzRCUyMmxpbmVhciUyMiUyQyUwQSUyMCUyMCUyMCUyMG9wdGltaXplciUzRG9wdGltaXplciUyQyUwQSUyMCUyMCUyMCUyMG51bV93YXJtdXBfc3RlcHMlM0QxXzAwMCUyQyUwQSUyMCUyMCUyMCUyMG51bV90cmFpbmluZ19zdGVwcyUzRG51bV90cmFpbmluZ19zdGVwcyUyQyUwQSk=",highlighted:`<span class="hljs-keyword">from</span> transformers <span class="hljs-keyword">import</span> get_scheduler
num_train_epochs = <span class="hljs-number">1</span>
num_update_steps_per_epoch = <span class="hljs-built_in">len</span>(train_dataloader)
num_training_steps = num_train_epochs * num_update_steps_per_epoch
lr_scheduler = get_scheduler(
 name=<span class="hljs-string">&quot;linear&quot;</span>,
 optimizer=optimizer,
 num_warmup_steps=<span class="hljs-number">1_000</span>,
 num_training_steps=num_training_steps,
)`,wrap:!1}}),E=new f({props:{code:"ZnJvbSUyMGh1Z2dpbmdmYWNlX2h1YiUyMGltcG9ydCUyMFJlcG9zaXRvcnklMkMlMjBnZXRfZnVsbF9yZXBvX25hbWUlMEElMEFtb2RlbF9uYW1lJTIwJTNEJTIwJTIyY29kZXBhcnJvdC1kcy1hY2NlbGVyYXRlJTIyJTBBcmVwb19uYW1lJTIwJTNEJTIwZ2V0X2Z1bGxfcmVwb19uYW1lKG1vZGVsX25hbWUpJTBBcmVwb19uYW1l",highlighted:`<span class="hljs-keyword">from</span> huggingface_hub <span class="hljs-keyword">import</span> Repository, get_full_repo_name
model_name = <span class="hljs-string">&quot;codeparrot-ds-accelerate&quot;</span>
repo_name = get_full_repo_name(model_name)
repo_name`,wrap:!1}}),Tl=new f({props:{code:"J3NndWdnZXIlMkZjb2RlcGFycm90LWRzLWFjY2VsZXJhdGUn",highlighted:'<span class="hljs-string">&#x27;sgugger/codeparrot-ds-accelerate&#x27;</span>',wrap:!1}}),jl=new f({props:{code:"b3V0cHV0X2RpciUyMCUzRCUyMCUyMmNvZGVwYXJyb3QtZHMtYWNjZWxlcmF0ZSUyMiUwQXJlcG8lMjAlM0QlMjBSZXBvc2l0b3J5KG91dHB1dF9kaXIlMkMlMjBjbG9uZV9mcm9tJTNEcmVwb19uYW1lKQ==",highlighted:`output_dir = <span class="hljs-string">&quot;codeparrot-ds-accelerate&quot;</span>
repo = Repository(output_dir, clone_from=repo_name)`,wrap:!1}}),x=new f({props:{code:"ZXZhbHVhdGUoKQ==",highlighted:"evaluate()",wrap:!1}}),Y=new f({props:{code:"KDEwLjkzNDEyNjg1Mzk0Mjg3MSUyQyUyMDU2MDU3LjE0NDUzMTI1KQ==",highlighted:'(<span class="hljs-number">10.934126853942871</span>, <span class="hljs-number">56057.14453125</span>)',wrap:!1}}),fl=new f({props:{code:"ZnJvbSUyMHRxZG0ubm90ZWJvb2slMjBpbXBvcnQlMjB0cWRtJTBBJTBBZ3JhZGllbnRfYWNjdW11bGF0aW9uX3N0ZXBzJTIwJTNEJTIwOCUwQWV2YWxfc3RlcHMlMjAlM0QlMjA1XzAwMCUwQSUwQW1vZGVsLnRyYWluKCklMEFjb21wbGV0ZWRfc3RlcHMlMjAlM0QlMjAwJTBBZm9yJTIwZXBvY2glMjBpbiUyMHJhbmdlKG51bV90cmFpbl9lcG9jaHMpJTNBJTBBJTIwJTIwJTIwJTIwZm9yJTIwc3RlcCUyQyUyMGJhdGNoJTIwaW4lMjB0cWRtKCUwQSUyMCUyMCUyMCUyMCUyMCUyMCUyMCUyMGVudW1lcmF0ZSh0cmFpbl9kYXRhbG9hZGVyJTJDJTIwc3RhcnQlM0QxKSUyQyUyMHRvdGFsJTNEbnVtX3RyYWluaW5nX3N0ZXBzJTBBJTIwJTIwJTIwJTIwKSUzQSUwQSUyMCUyMCUyMCUyMCUyMCUyMCUyMCUyMGxvZ2l0cyUyMCUzRCUyMG1vZGVsKGJhdGNoJTVCJTIyaW5wdXRfaWRzJTIyJTVEKS5sb2dpdHMlMEElMjAlMjAlMjAlMjAlMjAlMjAlMjAlMjBsb3NzJTIwJTNEJTIwa2V5dG9rZW5fd2VpZ2h0ZWRfbG9zcyhiYXRjaCU1QiUyMmlucHV0X2lkcyUyMiU1RCUyQyUyMGxvZ2l0cyUyQyUyMGtleXRva2VuX2lkcyklMEElMjAlMjAlMjAlMjAlMjAlMjAlMjAlMjBpZiUyMHN0ZXAlMjAlMjUlMjAxMDAlMjAlM0QlM0QlMjAwJTNBJTBBJTIwJTIwJTIwJTIwJTIwJTIwJTIwJTIwJTIwJTIwJTIwJTIwYWNjZWxlcmF0b3IucHJpbnQoJTBBJTIwJTIwJTIwJTIwJTIwJTIwJTIwJTIwJTIwJTIwJTIwJTIwJTIwJTIwJTIwJTIwJTdCJTBBJTIwJTIwJTIwJTIwJTIwJTIwJTIwJTIwJTIwJTIwJTIwJTIwJTIwJTIwJTIwJTIwJTIwJTIwJTIwJTIwJTIybHIlMjIlM0ElMjBnZXRfbHIoKSUyQyUwQSUyMCUyMCUyMCUyMCUyMCUyMCUyMCUyMCUyMCUyMCUyMCUyMCUyMCUyMCUyMCUyMCUyMCUyMCUyMCUyMCUyMnNhbXBsZXMlMjIlM0ElMjBzdGVwJTIwKiUyMHNhbXBsZXNfcGVyX3N0ZXAlMkMlMEElMjAlMjAlMjAlMjAlMjAlMjAlMjAlMjAlMjAlMjAlMjAlMjAlMjAlMjAlMjAlMjAlMjAlMjAlMjAlMjAlMjJzdGVwcyUyMiUzQSUyMGNvbXBsZXRlZF9zdGVwcyUyQyUwQSUyMCUyMCUyMCUyMCUyMCUyMCUyMCUyMCUyMCUyMCUyMCUyMCUyMCUyMCUyMCUyMCUyMCUyMCUyMCUyMCUyMmxvc3MlMkZ0cmFpbiUyMiUzQSUyMGxvc3MuaXRlbSgpJTIwKiUyMGdyYWRpZW50X2FjY3VtdWxhdGlvbl9zdGVwcyUyQyUwQSUyMCUyMCUyMCUyMCUyMCUyMCUyMCUyMCUyMCUyMCUyMCUyMCUyMCUyMCUyMCUyMCU3RCUwQSUyMCUyMCUyMCUyMCUyMCUyMCUyMCUyMCUyMCUyMCUyMCUyMCklMEElMjAlMjAlMjAlMjAlMjAlMjAlMjAlMjBsb3NzJTIwJTNEJTIwbG9zcyUyMCUyRiUyMGdyYWRpZW50X2FjY3VtdWxhdGlvbl9zdGVwcyUwQSUyMCUyMCUyMCUyMCUyMCUyMCUyMCUyMGFjY2VsZXJhdG9yLmJhY2t3YXJkKGxvc3MpJTBBJTIwJTIwJTIwJTIwJTIwJTIwJTIwJTIwaWYlMjBzdGVwJTIwJTI1JTIwZ3JhZGllbnRfYWNjdW11bGF0aW9uX3N0ZXBzJTIwJTNEJTNEJTIwMCUzQSUwQSUyMCUyMCUyMCUyMCUyMCUyMCUyMCUyMCUyMCUyMCUyMCUyMGFjY2VsZXJhdG9yLmNsaXBfZ3JhZF9ub3JtXyhtb2RlbC5wYXJhbWV0ZXJzKCklMkMlMjAxLjApJTBBJTIwJTIwJTIwJTIwJTIwJTIwJTIwJTIwJTIwJTIwJTIwJTIwb3B0aW1pemVyLnN0ZXAoKSUwQSUyMCUyMCUyMCUyMCUyMCUyMCUyMCUyMCUyMCUyMCUyMCUyMGxyX3NjaGVkdWxlci5zdGVwKCklMEElMjAlMjAlMjAlMjAlMjAlMjAlMjAlMjAlMjAlMjAlMjAlMjBvcHRpbWl6ZXIuemVyb19ncmFkKCklMEElMjAlMjAlMjAlMjAlMjAlMjAlMjAlMjAlMjAlMjAlMjAlMjBjb21wbGV0ZWRfc3RlcHMlMjAlMkIlM0QlMjAxJTBBJTIwJTIwJTIwJTIwJTIwJTIwJTIwJTIwaWYlMjAoc3RlcCUyMCUyNSUyMChldmFsX3N0ZXBzJTIwKiUyMGdyYWRpZW50X2FjY3VtdWxhdGlvbl9zdGVwcykpJTIwJTNEJTNEJTIwMCUzQSUwQSUyMCUyMCUyMCUyMCUyMCUyMCUyMCUyMCUyMCUyMCUyMCUyMGV2YWxfbG9zcyUyQyUyMHBlcnBsZXhpdHklMjAlM0QlMjBldmFsdWF0ZSgpJTBBJTIwJTIwJTIwJTIwJTIwJTIwJTIwJTIwJTIwJTIwJTIwJTIwYWNjZWxlcmF0b3IucHJpbnQoJTdCJTIybG9zcyUyRmV2YWwlMjIlM0ElMjBldmFsX2xvc3MlMkMlMjAlMjJwZXJwbGV4aXR5JTIyJTNBJTIwcGVycGxleGl0eSU3RCklMEElMjAlMjAlMjAlMjAlMjAlMjAlMjAlMjAlMjAlMjAlMjAlMjBtb2RlbC50cmFpbigpJTBBJTIwJTIwJTIwJTIwJTIwJTIwJTIwJTIwJTIwJTIwJTIwJTIwYWNjZWxlcmF0b3Iud2FpdF9mb3JfZXZlcnlvbmUoKSUwQSUyMCUyMCUyMCUyMCUyMCUyMCUyMCUyMCUyMCUyMCUyMCUyMHVud3JhcHBlZF9tb2RlbCUyMCUzRCUyMGFjY2VsZXJhdG9yLnVud3JhcF9tb2RlbChtb2RlbCklMEElMjAlMjAlMjAlMjAlMjAlMjAlMjAlMjAlMjAlMjAlMjAlMjB1bndyYXBwZWRfbW9kZWwuc2F2ZV9wcmV0cmFpbmVkKG91dHB1dF9kaXIlMkMlMjBzYXZlX2Z1bmN0aW9uJTNEYWNjZWxlcmF0b3Iuc2F2ZSklMEElMjAlMjAlMjAlMjAlMjAlMjAlMjAlMjAlMjAlMjAlMjAlMjBpZiUyMGFjY2VsZXJhdG9yLmlzX21haW5fcHJvY2VzcyUzQSUwQSUyMCUyMCUyMCUyMCUyMCUyMCUyMCUyMCUyMCUyMCUyMCUyMCUyMCUyMCUyMCUyMHRva2VuaXplci5zYXZlX3ByZXRyYWluZWQob3V0cHV0X2RpciklMEElMjAlMjAlMjAlMjAlMjAlMjAlMjAlMjAlMjAlMjAlMjAlMjAlMjAlMjAlMjAlMjByZXBvLnB1c2hfdG9faHViKCUwQSUyMCUyMCUyMCUyMCUyMCUyMCUyMCUyMCUyMCUyMCUyMCUyMCUyMCUyMCUyMCUyMCUyMCUyMCUyMCUyMGNvbW1pdF9tZXNzYWdlJTNEZiUyMlRyYWluaW5nJTIwaW4lMjBwcm9ncmVzcyUyMHN0ZXAlMjAlN0JzdGVwJTdEJTIyJTJDJTIwYmxvY2tpbmclM0RGYWxzZSUwQSUyMCUyMCUyMCUyMCUyMCUyMCUyMCUyMCUyMCUyMCUyMCUyMCUyMCUyMCUyMCUyMCk=",highlighted:`<span class="hljs-keyword">from</span> tqdm.notebook <span class="hljs-keyword">import</span> tqdm
gradient_accumulation_steps = <span class="hljs-number">8</span>
eval_steps = <span class="hljs-number">5_000</span>
model.train()
completed_steps = <span class="hljs-number">0</span>
<span class="hljs-keyword">for</span> epoch <span class="hljs-keyword">in</span> <span class="hljs-built_in">range</span>(num_train_epochs):
 <span class="hljs-keyword">for</span> step, batch <span class="hljs-keyword">in</span> tqdm(
 <span class="hljs-built_in">enumerate</span>(train_dataloader, start=<span class="hljs-number">1</span>), total=num_training_steps
 ):
 logits = model(batch[<span class="hljs-string">&quot;input_ids&quot;</span>]).logits
 loss = keytoken_weighted_loss(batch[<span class="hljs-string">&quot;input_ids&quot;</span>], logits, keytoken_ids)
 <span class="hljs-keyword">if</span> step % <span class="hljs-number">100</span> == <span class="hljs-number">0</span>:
 accelerator.<span class="hljs-built_in">print</span>(
 {
 <span class="hljs-string">&quot;lr&quot;</span>: get_lr(),
 <span class="hljs-string">&quot;samples&quot;</span>: step * samples_per_step,
 <span class="hljs-string">&quot;steps&quot;</span>: completed_steps,
 <span class="hljs-string">&quot;loss/train&quot;</span>: loss.item() * gradient_accumulation_steps,
 }
 )
 loss = loss / gradient_accumulation_steps
 accelerator.backward(loss)
 <span class="hljs-keyword">if</span> step % gradient_accumulation_steps == <span class="hljs-number">0</span>:
 accelerator.clip_grad_norm_(model.parameters(), <span class="hljs-number">1.0</span>)
 optimizer.step()
 lr_scheduler.step()
 optimizer.zero_grad()
 completed_steps += <span class="hljs-number">1</span>
 <span class="hljs-keyword">if</span> (step % (eval_steps * gradient_accumulation_steps)) == <span class="hljs-number">0</span>:
 eval_loss, perplexity = evaluate()
 accelerator.<span class="hljs-built_in">print</span>({<span class="hljs-string">&quot;loss/eval&quot;</span>: eval_loss, <span class="hljs-string">&quot;perplexity&quot;</span>: perplexity})
 model.train()
 accelerator.wait_for_everyone()
 unwrapped_model = accelerator.unwrap_model(model)
 unwrapped_model.save_pretrained(output_dir, save_function=accelerator.save)
 <span class="hljs-keyword">if</span> accelerator.is_main_process:
 tokenizer.save_pretrained(output_dir)
 repo.push_to_hub(
 commit_message=<span class="hljs-string">f&quot;Training in progress step <span class="hljs-subst">{step}</span>&quot;</span>, blocking=<span class="hljs-literal">False</span>
 )`,wrap:!1}}),{c(){w(n.$$.fragment),i=p(),M=U("p"),M.innerHTML=C,k=p(),w(h.$$.fragment),B=p(),Z=U("p"),Z.innerHTML=G,m=p(),w(b.$$.fragment),X=p(),w($.$$.fragment),g=p(),A=U("p"),A.textContent=I,R=p(),Vl=U("p"),Vl.textContent=Ts,q=p(),w(D.$$.fragment),L=p(),El=U("p"),El.textContent=ws,z=p(),Al=U("ul"),Al.innerHTML=us,K=p(),vl=U("p"),vl.innerHTML=js,P=p(),w(O.$$.fragment),ll=p(),Nl=U("p"),Nl.textContent=ds,sl=p(),w(xl.$$.fragment),es=p(),v=U("p"),v.textContent=bs,el=p(),w(Yl.$$.fragment),ts=p(),N=U("p"),N.innerHTML=Cs,tl=p(),w(al.$$.fragment),nl=p(),Fl=U("p"),Fl.textContent=hs,Ml=p(),w(pl.$$.fragment),yl=p(),Hl=U("p"),Hl.textContent=fs,rl=p(),w(cl.$$.fragment),il=p(),F=U("blockquote"),F.innerHTML=Sl,Is=p(),Jl=U("p"),Jl.innerHTML=ql,_s=p(),w(Ul.$$.fragment),ol=p(),ml=U("p"),ml.innerHTML=Dl,as=p(),w(E.$$.fragment),ks=p(),w(Tl.$$.fragment),wl=p(),Ll=U("p"),Ll.textContent=Zs,ul=p(),w(jl.$$.fragment),dl=p(),bl=U("p"),bl.innerHTML=Kl,Gs=p(),Cl=U("p"),Cl.textContent=Pl,ns=p(),w(x.$$.fragment),Ms=p(),w(Y.$$.fragment),Bs=p(),hl=U("p"),hl.innerHTML=Ol,Xs=p(),w(fl.$$.fragment),H=p(),ls=U("p"),ls.textContent=Rs,Il=p(),kl=U("blockquote"),kl.innerHTML=gs,_l=p(),S=U("blockquote"),S.innerHTML=ss,this.h()},l(e){u(n.$$.fragment,e),i=y(e),M=o(e,"P",{"data-svelte-h":!0}),T(M)!=="svelte-t8bvuc"&&(M.innerHTML=C),k=y(e),u(h.$$.fragment,e),B=y(e),Z=o(e,"P",{"data-svelte-h":!0}),T(Z)!=="svelte-1dlw0qh"&&(Z.innerHTML=G),m=y(e),u(b.$$.fragment,e),X=y(e),u($.$$.fragment,e),g=y(e),A=o(e,"P",{"data-svelte-h":!0}),T(A)!=="svelte-1ktdjpp"&&(A.textContent=I),R=y(e),Vl=o(e,"P",{"data-svelte-h":!0}),T(Vl)!=="svelte-cfnp9l"&&(Vl.textContent=Ts),q=y(e),u(D.$$.fragment,e),L=y(e),El=o(e,"P",{"data-svelte-h":!0}),T(El)!=="svelte-1j28rfc"&&(El.textContent=ws),z=y(e),Al=o(e,"UL",{"data-svelte-h":!0}),T(Al)!=="svelte-x15gzw"&&(Al.innerHTML=us),K=y(e),vl=o(e,"P",{"data-svelte-h":!0}),T(vl)!=="svelte-c3xkg4"&&(vl.innerHTML=js),P=y(e),u(O.$$.fragment,e),ll=y(e),Nl=o(e,"P",{"data-svelte-h":!0}),T(Nl)!=="svelte-1jsw2o8"&&(Nl.textContent=ds),sl=y(e),u(xl.$$.fragment,e),es=y(e),v=o(e,"P",{"data-svelte-h":!0}),T(v)!=="svelte-6jly6"&&(v.textContent=bs),el=y(e),u(Yl.$$.fragment,e),ts=y(e),N=o(e,"P",{"data-svelte-h":!0}),T(N)!=="svelte-1izuzo9"&&(N.innerHTML=Cs),tl=y(e),u(al.$$.fragment,e),nl=y(e),Fl=o(e,"P",{"data-svelte-h":!0}),T(Fl)!=="svelte-1kl1q1o"&&(Fl.textContent=hs),Ml=y(e),u(pl.$$.fragment,e),yl=y(e),Hl=o(e,"P",{"data-svelte-h":!0}),T(Hl)!=="svelte-20ocpd"&&(Hl.textContent=fs),rl=y(e),u(cl.$$.fragment,e),il=y(e),F=o(e,"BLOCKQUOTE",{class:!0,"data-svelte-h":!0}),T(F)!=="svelte-2mglpf"&&(F.innerHTML=Sl),Is=y(e),Jl=o(e,"P",{"data-svelte-h":!0}),T(Jl)!=="svelte-1fmitt1"&&(Jl.innerHTML=ql),_s=y(e),u(Ul.$$.fragment,e),ol=y(e),ml=o(e,"P",{"data-svelte-h":!0}),T(ml)!=="svelte-1pe9imq"&&(ml.innerHTML=Dl),as=y(e),u(E.$$.fragment,e),ks=y(e),u(Tl.$$.fragment,e),wl=y(e),Ll=o(e,"P",{"data-svelte-h":!0}),T(Ll)!=="svelte-18fmna4"&&(Ll.textContent=Zs),ul=y(e),u(jl.$$.fragment,e),dl=y(e),bl=o(e,"P",{"data-svelte-h":!0}),T(bl)!=="svelte-eo772a"&&(bl.innerHTML=Kl),Gs=y(e),Cl=o(e,"P",{"data-svelte-h":!0}),T(Cl)!=="svelte-1pg2ysk"&&(Cl.textContent=Pl),ns=y(e),u(x.$$.fragment,e),Ms=y(e),u(Y.$$.fragment,e),Bs=y(e),hl=o(e,"P",{"data-svelte-h":!0}),T(hl)!=="svelte-188jn46"&&(hl.innerHTML=Ol),Xs=y(e),u(fl.$$.fragment,e),H=y(e),ls=o(e,"P",{"data-svelte-h":!0}),T(ls)!=="svelte-6y2100"&&(ls.textContent=Rs),Il=y(e),kl=o(e,"BLOCKQUOTE",{class:!0,"data-svelte-h":!0}),T(kl)!=="svelte-hyanrj"&&(kl.innerHTML=gs),_l=y(e),S=o(e,"BLOCKQUOTE",{class:!0,"data-svelte-h":!0}),T(S)!=="svelte-y41r4s"&&(S.innerHTML=ss),this.h()},h(){V(F,"class","tip"),V(kl,"class","tip"),V(S,"class","tip")},m(e,J){j(n,e,J),t(e,i,J),t(e,M,J),t(e,k,J),j(h,e,J),t(e,B,J),t(e,Z,J),t(e,m,J),j(b,e,J),t(e,X,J),j($,e,J),t(e,g,J),t(e,A,J),t(e,R,J),t(e,Vl,J),t(e,q,J),j(D,e,J),t(e,L,J),t(e,El,J),t(e,z,J),t(e,Al,J),t(e,K,J),t(e,vl,J),t(e,P,J),j(O,e,J),t(e,ll,J),t(e,Nl,J),t(e,sl,J),j(xl,e,J),t(e,es,J),t(e,v,J),t(e,el,J),j(Yl,e,J),t(e,ts,J),t(e,N,J),t(e,tl,J),j(al,e,J),t(e,nl,J),t(e,Fl,J),t(e,Ml,J),j(pl,e,J),t(e,yl,J),t(e,Hl,J),t(e,rl,J),j(cl,e,J),t(e,il,J),t(e,F,J),t(e,Is,J),t(e,Jl,J),t(e,_s,J),j(Ul,e,J),t(e,ol,J),t(e,ml,J),t(e,as,J),j(E,e,J),t(e,ks,J),j(Tl,e,J),t(e,wl,J),t(e,Ll,J),t(e,ul,J),j(jl,e,J),t(e,dl,J),t(e,bl,J),t(e,Gs,J),t(e,Cl,J),t(e,ns,J),j(x,e,J),t(e,Ms,J),j(Y,e,J),t(e,Bs,J),t(e,hl,J),t(e,Xs,J),j(fl,e,J),t(e,H,J),t(e,ls,J),t(e,Il,J),t(e,kl,J),t(e,_l,J),t(e,S,J),ps=!0},i(e){ps||(r(n.$$.fragment,e),r(h.$$.fragment,e),r(b.$$.fragment,e),r($.$$.fragment,e),r(D.$$.fragment,e),r(O.$$.fragment,e),r(xl.$$.fragment,e),r(Yl.$$.fragment,e),r(al.$$.fragment,e),r(pl.$$.fragment,e),r(cl.$$.fragment,e),r(Ul.$$.fragment,e),r(E.$$.fragment,e),r(Tl.$$.fragment,e),r(jl.$$.fragment,e),r(x.$$.fragment,e),r(Y.$$.fragment,e),r(fl.$$.fragment,e),ps=!0)},o(e){c(n.$$.fragment,e),c(h.$$.fragment,e),c(b.$$.fragment,e),c($.$$.fragment,e),c(D.$$.fragment,e),c(O.$$.fragment,e),c(xl.$$.fragment,e),c(Yl.$$.fragment,e),c(al.$$.fragment,e),c(pl.$$.fragment,e),c(cl.$$.fragment,e),c(Ul.$$.fragment,e),c(E.$$.fragment,e),c(Tl.$$.fragment,e),c(jl.$$.fragment,e),c(x.$$.fragment,e),c(Y.$$.fragment,e),c(fl.$$.fragment,e),ps=!1},d(e){e&&(s(i),s(M),s(k),s(B),s(Z),s(m),s(X),s(g),s(A),s(R),s(Vl),s(q),s(L),s(El),s(z),s(Al),s(K),s(vl),s(P),s(ll),s(Nl),s(sl),s(es),s(v),s(el),s(ts),s(N),s(tl),s(nl),s(Fl),s(Ml),s(yl),s(Hl),s(rl),s(il),s(F),s(Is),s(Jl),s(_s),s(ol),s(ml),s(as),s(ks),s(wl),s(Ll),s(ul),s(dl),s(bl),s(Gs),s(Cl),s(ns),s(Ms),s(Bs),s(hl),s(Xs),s(H),s(ls),s(Il),s(kl),s(_l),s(S)),d(n,e),d(h,e),d(b,e),d($,e),d(D,e),d(O,e),d(xl,e),d(Yl,e),d(al,e),d(pl,e),d(cl,e),d(Ul,e),d(E,e),d(Tl,e),d(jl,e),d(x,e),d(Y,e),d(fl,e)}}}function Na(_){let n,i,M,C,k,h,B,Z,G,m,b,X,$,g,A='今までは、事前学習したモデルを使い、事前学習時の重みを再利用して新しい用途向けに微調整を行うことがほとんどでした。<a href="/course/ja/chapter1">第1章</a>で見たように、これは一般的に <em>転移学習</em> と呼ばれ、ラベル付きデータがあまりない実世界のほとんどの用途でTransformerモデルを適用するための非常に成功した戦略です。この章では、別のアプローチで、全く新しいモデルをゼロから学習します。これは多くのデータを持っている場合に取るべき良いアプローチで、利用可能なモデルに使われる事前学習データとは全く異なります。しかし、言語モデルの事前学習には、既存のモデルを微調整するよりも、かなり多くの計算リソースが必要になります。例えば、音符やDNAなどの分子配列、プログラミング言語などのデータセットに新しいモデルを学習させることが有効な場合があります。後者については、OpenAIのCodexモデルを搭載したTabNineやGitHubのCopilotのような、長いコード列を生成できるツールが最近人気を集めています。このテキスト生成のタスクは、GPT-2のような自己回帰型言語モデルや因果関係言語モデルで対応するのが最適です。',I,R,Vl="このセクションでは、コード生成モデルの縮小版を構築します。Pythonコードのサブセットを使用して、完全な関数やクラスではなく、1行の補完に焦点を当てます。Pythonでデータを扱うとき、<code>matplotlib</code>, <code>seaborn</code>, <code>pandas</code>, <code>scikit-learn</code> ライブラリからなるPythonデータサイエンススタックと頻繁に接触することになります。これらのフレームワークを使うとき、特定のコマンドを調べる必要があるのはよくあることです。そこで、これらの呼び出しを補完するためにモデルを使うことができれば素敵です。",Ts,q,D,L,El='<a href="/course/ja/chapter6">第6章</a>では、Pythonソースコードを処理するための効率的なトークナイザーを作成しましたが、モデルを事前学習するためには、やはり大規模なデータセットが必要です。ここでは、GitHub リポジトリから得た Python コードのコーパスにトークナイザを適用します。そして、<code>Trainer</code> API と 🤗 Accelerate を使ってモデルを学習します。さあ、始めましょう',ws,z,Al,us,K,vl='これは実際に、このセクションで示したコードを使って学習し、ハブにアップロードしたモデルを紹介しているものです。<a href="https://huggingface.co/huggingface-course/codeparrot-ds?text=plt.imshow%28" rel="nofollow">こちら</a>をご覧ください。なお、テキスト生成の際にランダム化が行われているので、おそらく少し異なる結果が得られると思います。',js,P,O,ll,Nl='PythonのコードはGitHubなどのコードリポジトリから豊富に提供されており、これを利用してPythonのリポジトリごとにスクレイピングすることでデータセットを作成することができます。これは<a href="https://learning.oreilly.com/library/view/natural-language-processing/9781098103231/" rel="nofollow">トランスフォーマーの教科書</a>で大規模なGPT-2モデルを事前学習させるために取られたアプローチです。著者らは<code>codeparrot</code>と呼ばれる約2000万のPythonファイルを含む約180GBのGitHubダンプを使ってデータセットを作り、それを<a href="https://huggingface.co/datasets/transformersbook/codeparrot" rel="nofollow">ハギング フェイス ハブ</a>で共有しました。',ds,sl,xl="しかし、コーパス全体に対する学習は時間と計算がかかるので、Pythonを使用したデータサイエンスに関連するデータだけが必要です。そこで、まず<code>codeparrot</code>データセットから、データサイエンスに使われるライブラリのいずれかを含むすべてのファイルをフィルタリングしてみましょう。データセットのサイズが大きいので、ダウンロードは避けたいです。その代わりに、ストリーミング機能を使って、その場でフィルタリングすることにしましょう。先ほど紹介したライブラリを使ったコードサンプルをフィルタリングするために、次の関数を使います。",es,v,bs,el,Yl="2つの例でテストしてみましょう。",ts,N,Cs,tl,al,nl,Fl="これを利用して、データセットをストリーミングし、必要な要素をフィルタリングする関数を作成することができます。",hs,Ml,pl,yl,Hl="そして、この関数をストリーミングデータセットに適用するだけです。",fs,rl,cl,il,F,Sl,Is="この結果、元のデータセットの約3%が残されましたが、それでもかなり大きなサイズです。このデータセットは6GBで、60万のPythonスクリプトから構成されています！",Jl,ql,_s="データセット全体のフィルタリングには、マシンや帯域幅にもよりますが、2〜3時間かかると思われます。もし、この長いプロセスを自分でやりたくない場合、私達は既にフィルタリングされたデータセットをハブで提供し、ダウンロードできるようにしています。",Ul,ol,ml,Dl,as,E,ks="<p>言語モデルのプリトレーニングにはしばらく時間がかかります。まず、上記の2つのデータセットに関する部分を一旦コメント化し、サンプルデータに対して学習ループを実行し、学習が一通り正常に終了してモデルが保存されたことを確認することをお勧めします。フォルダを作り忘れたり、学習ループの最後にタイプミスがあったりして、最後のステップで学習が失敗してしまうことほど悔しいことはありません！</p>",Tl,wl,Ll="データセット内の例を見てみましょう。ここでは、各フィールドの最初の200文字だけを表示することにします。",Zs,ul,jl,dl,bl,Kl,Gs="<code>content</code> フィールドに、モデルに学習させたいコードが含まれていることがわかります。データセットができたので、テキストを準備し、事前学習に適した形式にする必要があります。",Cl,Pl,ns,x,Ms,Y,Bs="まず最初に、データをトークン化し、学習に利用できるようにします。私達の目標は主に短い関数呼び出しを自動補完することなので、コンテキストのサイズを比較的小さく保つことができます。これにより、モデルをより速く学習させることができ、必要なメモリ量も大幅に少なくなるという利点があります。もしあなたのアプリケーションにとってより多くのコンテキストを持つことが重要であれば(例えば、関数定義を含むファイルに基づいてユニットテストを書くようにモデルをしたい場合)、この数を増やした事を確認してください。GPT-2 のコンテキストサイズは 1,024、GPT-3 では 2,048 ですが、現在のところ、私達のコンテキストサイズは 128 トークンに固定しましょう。",hl,Ol,Xs='ほとんどの文書は128トークンより多いので、単純に入力を最大長に切り詰めると、データセットの大部分を除去してしまうことになります。その代わりに、<a href="/course/ja/chapter6/4">第6章</a> で行ったように、 <code>return_overflowing_tokens</code> オプションを使って入力全体をトークン化し、いくつかの断片に分割してみます。また、<code>return_length</code>オプションを使用して、作成された各断片の長さを自動的に返します。多くの場合、最後の断片はコンテキストのサイズよりも小さくなるので、パディングの問題を避けるためにこれらの断片を取り除きます。',fl,H,ls='<img class="block dark:hidden" src="https://huggingface.co/datasets/huggingface-course/documentation-images/resolve/main/en/chapter7/chunking_texts.svg" alt="Chunking a large texts in several pieces."/> <img class="hidden dark:block" src="https://huggingface.co/datasets/huggingface-course/documentation-images/resolve/main/en/chapter7/chunking_texts-dark.svg" alt="Chunking a large texts in several pieces."/>',Rs,Il,kl="最初の2つの例で、この仕組みを具体的に見てみましょう。",gs,_l,S,ss,ps,e,J="これらの 2 つのサンプルから、合計で 34 の断片が得られることがわかります。断片の長さを見ると、両方のドキュメントの末尾にある断片は 128 トークンより短いことがわかります。(それぞれ 117 と 41)これらは全断片のほんの一部なので、安全に捨てることができます。<code>overflow_to_sample_mapping</code> フィールドを使うと、どの断片がどの入力サンプルに属していたかを再構築することもできます。",Re,$s,Gt='この操作では、🤗 Datasetsの <code>Dataset.map()</code> 関数の便利な機能を使っています。それは、一対一の対応を必要としないことです。<a href="/course/ja/chapter7/3">セクション 3</a> で見たように、入力バッチよりも要素が多いバッチや少ないバッチを作成することが可能です。これは、データ拡張やデータフィルタリングなど、要素数を変更するような操作を行う場合に有用です。私達の場合、各要素を指定されたコンテキストサイズの断片にトークン化する際に、各文書から多くのサンプルを作成します。ただ、既存の列はサイズが競合しているので、必ず削除する必要があります。もしそれらを残しておきたい場合は、 <code>Dataset.map()</code> 呼び出しを適切に繰り返して返すことができます。',ge,Qs,$e,Ws,Qe,zs,Bt="現在、各トークンが128個の1670万サンプルがあり、これは合計で約21億トークンに相当します。参考までに、OpenAIのGPT-3とCodexモデルはそれぞれ3000億、1000億のトークンで学習されており、CodexモデルはGPT-3のチェックポイントから初期化されています。このセクションの目的は、長くて一貫性のあるテキストを生成できるこれらのモデルと競合することではなく、データサイエンティストのための迅速な自動補完機能を提供する縮小版を作成することです。",We,Vs,Xt="さて、データセットの準備ができたので、モデルをセットアップしてみましょう!",ze,cs,Rt="<p>✏️ <strong>あなたの番です！</strong></p> <p>コンテキストサイズより小さい断片を全て取り除くことは、今回は小さなコンテキストウィンドウを使っているので大きな問題ではありませんでした。コンテキストサイズを大きくすると（あるいは短いドキュメントのコーパスがある場合）、捨てられる断片の割合も大きくなります。より効率的なデータの準備方法としては、トークン化されたサンプルを <code>eos_token_id</code> トークンを挟んで一括で連結し、連結したデータに対して断片分割を実行することです。練習として、その方法を利用するために <code>tokenize()</code> 関数を修正してください。トークン ID の完全なシーケンスを取得するために、 <code>truncation=False</code> を設定し、トークナイザーの他の引数を削除する必要があることに注意してください。</p>",Ve,Es,Ee,As,gt="最初のステップは GPT-2 モデルを新しく初期化することです。このモデルには小型のGPT-2モデルと同じ設定を使用します。そのため、事前学習済みの設定をロードし、トークナイザーのサイズがモデルの語彙サイズと一致することを確認し、<code>bos</code>と<code>eos</code>（シーケンスの開始と終了を意味します）のトークンIDを渡します。",Ae,Zl,Gl,be,vs,$t="このモデルには1億2400万のパラメータがあり、これを調整する必要があります。トレーニングを開始する前に、バッチを作成するためのデータコレーターをセットアップする必要があります。私達は<code>DataCollatorForLanguageModeling</code>を使う事ができます。",ve,Ns,Qt="これは言語モデリング用に特別に設計されたものです（その名前が示すとおり）。バッチのスタックとパディングの他にまた、言語モデルのラベルを作成することもできます。因果言語モデリングでは、入力もラベルの役割を果たしますが（要素を1つずらすだけです）、このデータコレーターは学習中にラベルを作成するので、 <code>input_ids</code> を重複させる必要がありません。",Ne,xs,Wt="<code>DataCollatorForLanguageModeling</code> はマスク言語モデリング (MLM) と因果言語モデリング (CLM) の両方をサポートすることに注意してください。デフォルトでは MLM 用のデータが用意されていますが、引数 <code>mlm=False</code> を設定することでCLMに切り替えることができます。",xe,Bl,Xl,Ce,Ys,zt="例を見てみましょう。",Ye,Fs,Fe,Rl,gl,he,Hs,Vt="サンプルを重ねてみると、すべてのテンソルが同じ形をしていることがわかります。",He,fe,is,Et="<p>⚠️ 入力とラベルの位置をずらすのはモデル内部で行われるので、データコレーターは入力をコピーしてラベルを作成するだけです。</p>",Se,Ss,At="これで、実際にモデルを訓練するための準備が整いました。",qe,qs,vt="結局のところ、それほど大変な作業ではありませんでしたね。トレーニングを始める前に、ハギング フェイスにログインする必要があります。もしノートブックで作業しているなら、次のユーティリティ関数でログインできます。",De,Ds,Le,Ls,Nt="これにより、ハギング フェイスのログイン情報を入力するウィジェットが表示されます。",Ke,Ks,xt="ノートブックで作業していない場合は、ターミナルで次の行を入力するだけです。",Pe,Ps,Oe,$l,Ql,Ie,Js,Yt="<p>✏️ <strong>あなたの番です！</strong> 生のテキストからGPT-2の学習まで、<code>TrainingArguments</code>に加えて、約30行のコードを作成するだけで済みました。あなた自身のデータセットで試してみて、良い結果が得られるかどうか確認してみてください!</p>",lt,Us,Ft="",st,_e,Os,et,le,Ht="さて、いよいよ本番です！学習したモデルが実際にどの程度機能するのか見てみましょう。ログを見ると損失が着実に減っていることがわかりますが、モデルをテストするために、いくつかのプロンプトに対してどの程度効果があるのか見てみましょう。そのために、テキスト生成の <code>pipeline</code> でモデルをラップし、利用可能であれば高速に生成するために GPU に乗せることにします。",tt,Wl,zl,ke,se,St="まずは散布図を作るという簡単な作業から始めてみましょう。",at,ee,nt,te,Mt,ae,qt=`結果は正しいようです。
これは <code>pandas</code> オペレーションでも動作するのでしょうか？2つの配列から <code>DataFrame</code> を作成できるかどうか見てみましょう。`,pt,ne,yt,Me,rt,pe,Dt="いいねですね！それが正解です。",ct,ye,Lt=`しかし、その後、列 <code>x</code> を再び挿入しています。生成されるトークンの数には限りがあるので、次の <code>for</code> ループは切り捨てられいます。
もう少し複雑なことをして、モデルに <code>groupby</code> 操作を使わせることができるか見てみましょう。`,it,re,Jt,ce,Ut,ie,Kt=`悪くないですね。これは正しいやり方です。
最後に、<code>scikit-learn</code>にも使えるかどうか、Random Forestモデルを設定してみましょう。`,ot,Je,mt,Ue,Tt,Ze,Ge,oe,wt,Xe,ut;k=new Ia({props:{fw:_[0]}}),B=new ha({props:{containerStyle:"float: right; margin-left: 10px; display: inline-flex; position: relative; z-index: 10;"}}),G=new Be({props:{title:"因果言語モデルを一から学習",local:"因果言語モデルを一から学習",headingTag:"h1"}});const Pt=[ka,_a],me=[];function Ot(l,a){return l[0]==="pt"?0:1}b=Ot(_),X=me[b]=Pt[b](_),q=new Zt({props:{id:"Vpjb1lu0MDk"}}),P=new Be({props:{title:"データを収集する",local:"データを収集する",headingTag:"h2"}}),v=new f({props:{code:"ZGVmJTIwYW55X2tleXdvcmRfaW5fc3RyaW5nKHN0cmluZyUyQyUyMGtleXdvcmRzKSUzQSUwQSUyMCUyMCUyMCUyMGZvciUyMGtleXdvcmQlMjBpbiUyMGtleXdvcmRzJTNBJTBBJTIwJTIwJTIwJTIwJTIwJTIwJTIwJTIwaWYlMjBrZXl3b3JkJTIwaW4lMjBzdHJpbmclM0ElMEElMjAlMjAlMjAlMjAlMjAlMjAlMjAlMjAlMjAlMjAlMjAlMjByZXR1cm4lMjBUcnVlJTBBJTIwJTIwJTIwJTIwcmV0dXJuJTIwRmFsc2U=",highlighted:`<span class="hljs-keyword">def</span> <span class="hljs-title function_">any_keyword_in_string</span>(<span class="hljs-params">string, keywords</span>):
 <span class="hljs-keyword">for</span> keyword <span class="hljs-keyword">in</span> keywords:
 <span class="hljs-keyword">if</span> keyword <span class="hljs-keyword">in</span> string:
 <span class="hljs-keyword">return</span> <span class="hljs-literal">True</span>
 <span class="hljs-keyword">return</span> <span class="hljs-literal">False</span>`,wrap:!1}}),N=new f({props:{code:"ZmlsdGVycyUyMCUzRCUyMCU1QiUyMnBhbmRhcyUyMiUyQyUyMCUyMnNrbGVhcm4lMjIlMkMlMjAlMjJtYXRwbG90bGliJTIyJTJDJTIwJTIyc2VhYm9ybiUyMiU1RCUwQWV4YW1wbGVfMSUyMCUzRCUyMCUyMmltcG9ydCUyMG51bXB5JTIwYXMlMjBucCUyMiUwQWV4YW1wbGVfMiUyMCUzRCUyMCUyMmltcG9ydCUyMHBhbmRhcyUyMGFzJTIwcGQlMjIlMEElMEFwcmludCglMEElMjAlMjAlMjAlMjBhbnlfa2V5d29yZF9pbl9zdHJpbmcoZXhhbXBsZV8xJTJDJTIwZmlsdGVycyklMkMlMjBhbnlfa2V5d29yZF9pbl9zdHJpbmcoZXhhbXBsZV8yJTJDJTIwZmlsdGVycyklMEEp",highlighted:`filters = [<span class="hljs-string">&quot;pandas&quot;</span>, <span class="hljs-string">&quot;sklearn&quot;</span>, <span class="hljs-string">&quot;matplotlib&quot;</span>, <span class="hljs-string">&quot;seaborn&quot;</span>]
example_1 = <span class="hljs-string">&quot;import numpy as np&quot;</span>
example_2 = <span class="hljs-string">&quot;import pandas as pd&quot;</span>
<span class="hljs-built_in">print</span>(
 any_keyword_in_string(example_1, filters), any_keyword_in_string(example_2, filters)
)`,wrap:!1}}),tl=new f({props:{code:"RmFsc2UlMjBUcnVl",highlighted:'<span class="hljs-literal">False</span> <span class="hljs-literal">True</span>',wrap:!1}}),Ml=new f({props:{code:"ZnJvbSUyMGNvbGxlY3Rpb25zJTIwaW1wb3J0JTIwZGVmYXVsdGRpY3QlMEFmcm9tJTIwdHFkbSUyMGltcG9ydCUyMHRxZG0lMEFmcm9tJTIwZGF0YXNldHMlMjBpbXBvcnQlMjBEYXRhc2V0JTBBJTBBJTBBZGVmJTIwZmlsdGVyX3N0cmVhbWluZ19kYXRhc2V0KGRhdGFzZXQlMkMlMjBmaWx0ZXJzKSUzQSUwQSUyMCUyMCUyMCUyMGZpbHRlcmVkX2RpY3QlMjAlM0QlMjBkZWZhdWx0ZGljdChsaXN0KSUwQSUyMCUyMCUyMCUyMHRvdGFsJTIwJTNEJTIwMCUwQSUyMCUyMCUyMCUyMGZvciUyMHNhbXBsZSUyMGluJTIwdHFkbShpdGVyKGRhdGFzZXQpKSUzQSUwQSUyMCUyMCUyMCUyMCUyMCUyMCUyMCUyMHRvdGFsJTIwJTJCJTNEJTIwMSUwQSUyMCUyMCUyMCUyMCUyMCUyMCUyMCUyMGlmJTIwYW55X2tleXdvcmRfaW5fc3RyaW5nKHNhbXBsZSU1QiUyMmNvbnRlbnQlMjIlNUQlMkMlMjBmaWx0ZXJzKSUzQSUwQSUyMCUyMCUyMCUyMCUyMCUyMCUyMCUyMCUyMCUyMCUyMCUyMGZvciUyMGslMkMlMjB2JTIwaW4lMjBzYW1wbGUuaXRlbXMoKSUzQSUwQSUyMCUyMCUyMCUyMCUyMCUyMCUyMCUyMCUyMCUyMCUyMCUyMCUyMCUyMCUyMCUyMGZpbHRlcmVkX2RpY3QlNUJrJTVELmFwcGVuZCh2KSUwQSUyMCUyMCUyMCUyMHByaW50KGYlMjIlN0JsZW4oZmlsdGVyZWRfZGljdCU1Qidjb250ZW50JyU1RCklMkZ0b3RhbCUzQS4yJTI1JTdEJTIwb2YlMjBkYXRhJTIwYWZ0ZXIlMjBmaWx0ZXJpbmcuJTIyKSUwQSUyMCUyMCUyMCUyMHJldHVybiUyMERhdGFzZXQuZnJvbV9kaWN0KGZpbHRlcmVkX2RpY3Qp",highlighted:`<span class="hljs-keyword">from</span> collections <span class="hljs-keyword">import</span> defaultdict
<span class="hljs-keyword">from</span> tqdm <span class="hljs-keyword">import</span> tqdm
<span class="hljs-keyword">from</span> datasets <span class="hljs-keyword">import</span> Dataset
<span class="hljs-keyword">def</span> <span class="hljs-title function_">filter_streaming_dataset</span>(<span class="hljs-params">dataset, filters</span>):
 filtered_dict = defaultdict(<span class="hljs-built_in">list</span>)
 total = <span class="hljs-number">0</span>
 <span class="hljs-keyword">for</span> sample <span class="hljs-keyword">in</span> tqdm(<span class="hljs-built_in">iter</span>(dataset)):
 total += <span class="hljs-number">1</span>
 <span class="hljs-keyword">if</span> any_keyword_in_string(sample[<span class="hljs-string">&quot;content&quot;</span>], filters):
 <span class="hljs-keyword">for</span> k, v <span class="hljs-keyword">in</span> sample.items():
 filtered_dict[k].append(v)
 <span class="hljs-built_in">print</span>(<span class="hljs-string">f&quot;<span class="hljs-subst">{<span class="hljs-built_in">len</span>(filtered_dict[<span class="hljs-string">&#x27;content&#x27;</span>])/total:<span class="hljs-number">.2</span>%}</span> of data after filtering.&quot;</span>)
 <span class="hljs-keyword">return</span> Dataset.from_dict(filtered_dict)`,wrap:!1}}),rl=new f({props:{code:"JTIzJTIwVGhpcyUyMGNlbGwlMjB3aWxsJTIwdGFrZSUyMGElMjB2ZXJ5JTIwbG9uZyUyMHRpbWUlMjB0byUyMGV4ZWN1dGUlMkMlMjBzbyUyMHlvdSUyMHNob3VsZCUyMHNraXAlMjBpdCUyMGFuZCUyMGdvJTIwdG8lMEElMjMlMjB0aGUlMjBuZXh0JTIwb25lISUwQWZyb20lMjBkYXRhc2V0cyUyMGltcG9ydCUyMGxvYWRfZGF0YXNldCUwQSUwQXNwbGl0JTIwJTNEJTIwJTIydHJhaW4lMjIlMjAlMjAlMjMlMjAlMjJ2YWxpZCUyMiUwQWZpbHRlcnMlMjAlM0QlMjAlNUIlMjJwYW5kYXMlMjIlMkMlMjAlMjJza2xlYXJuJTIyJTJDJTIwJTIybWF0cGxvdGxpYiUyMiUyQyUyMCUyMnNlYWJvcm4lMjIlNUQlMEElMEFkYXRhJTIwJTNEJTIwbG9hZF9kYXRhc2V0KGYlMjJ0cmFuc2Zvcm1lcnNib29rJTJGY29kZXBhcnJvdC0lN0JzcGxpdCU3RCUyMiUyQyUyMHNwbGl0JTNEc3BsaXQlMkMlMjBzdHJlYW1pbmclM0RUcnVlKSUwQWZpbHRlcmVkX2RhdGElMjAlM0QlMjBmaWx0ZXJfc3RyZWFtaW5nX2RhdGFzZXQoZGF0YSUyQyUyMGZpbHRlcnMp",highlighted:`<span class="hljs-comment"># This cell will take a very long time to execute, so you should skip it and go to</span>
<span class="hljs-comment"># the next one!</span>
<span class="hljs-keyword">from</span> datasets <span class="hljs-keyword">import</span> load_dataset
split = <span class="hljs-string">&quot;train&quot;</span> <span class="hljs-comment"># &quot;valid&quot;</span>
filters = [<span class="hljs-string">&quot;pandas&quot;</span>, <span class="hljs-string">&quot;sklearn&quot;</span>, <span class="hljs-string">&quot;matplotlib&quot;</span>, <span class="hljs-string">&quot;seaborn&quot;</span>]
data = load_dataset(<span class="hljs-string">f&quot;transformersbook/codeparrot-<span class="hljs-subst">{split}</span>&quot;</span>, split=split, streaming=<span class="hljs-literal">True</span>)
filtered_data = filter_streaming_dataset(data, filters)`,wrap:!1}}),il=new f({props:{code:"My4yNiUyNSUyMG9mJTIwZGF0YSUyMGFmdGVyJTIwZmlsdGVyaW5nLg==",highlighted:'<span class="hljs-number">3.26</span>% of data after filtering.',wrap:!1}}),ol=new f({props:{code:"ZnJvbSUyMGRhdGFzZXRzJTIwaW1wb3J0JTIwbG9hZF9kYXRhc2V0JTJDJTIwRGF0YXNldERpY3QlMEElMEFkc190cmFpbiUyMCUzRCUyMGxvYWRfZGF0YXNldCglMjJodWdnaW5nZmFjZS1jb3Vyc2UlMkZjb2RlcGFycm90LWRzLXRyYWluJTIyJTJDJTIwc3BsaXQlM0QlMjJ0cmFpbiUyMiklMEFkc192YWxpZCUyMCUzRCUyMGxvYWRfZGF0YXNldCglMjJodWdnaW5nZmFjZS1jb3Vyc2UlMkZjb2RlcGFycm90LWRzLXZhbGlkJTIyJTJDJTIwc3BsaXQlM0QlMjJ2YWxpZGF0aW9uJTIyKSUwQSUwQXJhd19kYXRhc2V0cyUyMCUzRCUyMERhdGFzZXREaWN0KCUwQSUyMCUyMCUyMCUyMCU3QiUwQSUyMCUyMCUyMCUyMCUyMCUyMCUyMCUyMCUyMnRyYWluJTIyJTNBJTIwZHNfdHJhaW4lMkMlMjAlMjAlMjMlMjAuc2h1ZmZsZSgpLnNlbGVjdChyYW5nZSg1MDAwMCkpJTJDJTBBJTIwJTIwJTIwJTIwJTIwJTIwJTIwJTIwJTIydmFsaWQlMjIlM0ElMjBkc192YWxpZCUyQyUyMCUyMCUyMyUyMC5zaHVmZmxlKCkuc2VsZWN0KHJhbmdlKDUwMCkpJTBBJTIwJTIwJTIwJTIwJTdEJTBBKSUwQSUwQXJhd19kYXRhc2V0cw==",highlighted:`<span class="hljs-keyword">from</span> datasets <span class="hljs-keyword">import</span> load_dataset, DatasetDict
ds_train = load_dataset(<span class="hljs-string">&quot;huggingface-course/codeparrot-ds-train&quot;</span>, split=<span class="hljs-string">&quot;train&quot;</span>)
ds_valid = load_dataset(<span class="hljs-string">&quot;huggingface-course/codeparrot-ds-valid&quot;</span>, split=<span class="hljs-string">&quot;validation&quot;</span>)
raw_datasets = DatasetDict(
 {
 <span class="hljs-string">&quot;train&quot;</span>: ds_train, <span class="hljs-comment"># .shuffle().select(range(50000)),</span>
 <span class="hljs-string">&quot;valid&quot;</span>: ds_valid, <span class="hljs-comment"># .shuffle().select(range(500))</span>
 }
)
raw_datasets`,wrap:!1}}),Dl=new f({props:{code:"RGF0YXNldERpY3QoJTdCJTBBJTIwJTIwJTIwJTIwdHJhaW4lM0ElMjBEYXRhc2V0KCU3QiUwQSUyMCUyMCUyMCUyMCUyMCUyMCUyMCUyMGZlYXR1cmVzJTNBJTIwJTVCJ3JlcG9fbmFtZSclMkMlMjAncGF0aCclMkMlMjAnY29waWVzJyUyQyUyMCdzaXplJyUyQyUyMCdjb250ZW50JyUyQyUyMCdsaWNlbnNlJyU1RCUyQyUwQSUyMCUyMCUyMCUyMCUyMCUyMCUyMCUyMG51bV9yb3dzJTNBJTIwNjA2NzIwJTBBJTIwJTIwJTIwJTIwJTdEKSUwQSUyMCUyMCUyMCUyMHZhbGlkJTNBJTIwRGF0YXNldCglN0IlMEElMjAlMjAlMjAlMjAlMjAlMjAlMjAlMjBmZWF0dXJlcyUzQSUyMCU1QidyZXBvX25hbWUnJTJDJTIwJ3BhdGgnJTJDJTIwJ2NvcGllcyclMkMlMjAnc2l6ZSclMkMlMjAnY29udGVudCclMkMlMjAnbGljZW5zZSclNUQlMkMlMEElMjAlMjAlMjAlMjAlMjAlMjAlMjAlMjBudW1fcm93cyUzQSUyMDMzMjIlMEElMjAlMjAlMjAlMjAlN0QpJTBBJTdEKQ==",highlighted:`DatasetDict({
 train: Dataset({
 features: [<span class="hljs-string">&#x27;repo_name&#x27;</span>, <span class="hljs-string">&#x27;path&#x27;</span>, <span class="hljs-string">&#x27;copies&#x27;</span>, <span class="hljs-string">&#x27;size&#x27;</span>, <span class="hljs-string">&#x27;content&#x27;</span>, <span class="hljs-string">&#x27;license&#x27;</span>],
 num_rows: <span class="hljs-number">606720</span>
 })
 valid: Dataset({
 features: [<span class="hljs-string">&#x27;repo_name&#x27;</span>, <span class="hljs-string">&#x27;path&#x27;</span>, <span class="hljs-string">&#x27;copies&#x27;</span>, <span class="hljs-string">&#x27;size&#x27;</span>, <span class="hljs-string">&#x27;content&#x27;</span>, <span class="hljs-string">&#x27;license&#x27;</span>],
 num_rows: <span class="hljs-number">3322</span>
 })
})`,wrap:!1}}),ul=new f({props:{code:"Zm9yJTIwa2V5JTIwaW4lMjByYXdfZGF0YXNldHMlNUIlMjJ0cmFpbiUyMiU1RCU1QjAlNUQlM0ElMEElMjAlMjAlMjAlMjBwcmludChmJTIyJTdCa2V5LnVwcGVyKCklN0QlM0ElMjAlN0JyYXdfZGF0YXNldHMlNUIndHJhaW4nJTVEJTVCMCU1RCU1QmtleSU1RCU1QiUzQTIwMCU1RCU3RCUyMik=",highlighted:`<span class="hljs-keyword">for</span> key <span class="hljs-keyword">in</span> raw_datasets[<span class="hljs-string">&quot;train&quot;</span>][<span class="hljs-number">0</span>]:
 <span class="hljs-built_in">print</span>(<span class="hljs-string">f&quot;<span class="hljs-subst">{key.upper()}</span>: <span class="hljs-subst">{raw_datasets[<span class="hljs-string">&#x27;train&#x27;</span>][<span class="hljs-number">0</span>][key][:<span class="hljs-number">200</span>]}</span>&quot;</span>)`,wrap:!1}}),dl=new f({props:{code:"J1JFUE9fTkFNRSUzQSUyMGttaWtlJTJGc2Npa2l0LWxlYXJuJyUwQSdQQVRIJTNBJTIwc2tsZWFybiUyRnV0aWxzJTJGX19pbml0X18ucHknJTBBJ0NPUElFUyUzQSUyMDMnJTBBJ1NJWkUlM0ElMjAxMDA5NCclMEEnJydDT05URU5UJTNBJTIwJTIyJTIyJTIyJTBBVGhlJTIwJTNBbW9kJTNBJTYwc2tsZWFybi51dGlscyU2MCUyMG1vZHVsZSUyMGluY2x1ZGVzJTIwdmFyaW91cyUyMHV0aWxpdGVzLiUwQSUyMiUyMiUyMiUwQSUwQWZyb20lMjBjb2xsZWN0aW9ucyUyMGltcG9ydCUyMFNlcXVlbmNlJTBBJTBBaW1wb3J0JTIwbnVtcHklMjBhcyUyMG5wJTBBZnJvbSUyMHNjaXB5LnNwYXJzZSUyMGltcG9ydCUyMGlzc3BhcnNlJTBBaW1wb3J0JTIwd2FybmluZ3MlMEElMEFmcm9tJTIwLm11cm11cmhhc2glMjBpbXBvcnQlMjBtdXJtJTBBTElDRU5TRSUzQSUyMGJzZC0zLWNsYXVzZScnJw==",highlighted:`<span class="hljs-string">&#x27;REPO_NAME: kmike/scikit-learn&#x27;</span>
<span class="hljs-string">&#x27;PATH: sklearn/utils/__init__.py&#x27;</span>
<span class="hljs-string">&#x27;COPIES: 3&#x27;</span>
<span class="hljs-string">&#x27;SIZE: 10094&#x27;</span>
<span class="hljs-string">&#x27;&#x27;&#x27;CONTENT: &quot;&quot;&quot;
The :mod:\`sklearn.utils\` module includes various utilites.
&quot;&quot;&quot;
from collections import Sequence
import numpy as np
from scipy.sparse import issparse
import warnings
from .murmurhash import murm
LICENSE: bsd-3-clause&#x27;&#x27;&#x27;</span>`,wrap:!1}}),Pl=new Be({props:{title:"データセットの準備",local:"データセットの準備",headingTag:"h2"}}),x=new Zt({props:{id:"ma1TrR7gE7I"}}),_l=new f({props:{code:"ZnJvbSUyMHRyYW5zZm9ybWVycyUyMGltcG9ydCUyMEF1dG9Ub2tlbml6ZXIlMEElMEFjb250ZXh0X2xlbmd0aCUyMCUzRCUyMDEyOCUwQXRva2VuaXplciUyMCUzRCUyMEF1dG9Ub2tlbml6ZXIuZnJvbV9wcmV0cmFpbmVkKCUyMmh1Z2dpbmdmYWNlLWNvdXJzZSUyRmNvZGUtc2VhcmNoLW5ldC10b2tlbml6ZXIlMjIpJTBBJTBBb3V0cHV0cyUyMCUzRCUyMHRva2VuaXplciglMEElMjAlMjAlMjAlMjByYXdfZGF0YXNldHMlNUIlMjJ0cmFpbiUyMiU1RCU1QiUzQTIlNUQlNUIlMjJjb250ZW50JTIyJTVEJTJDJTBBJTIwJTIwJTIwJTIwdHJ1bmNhdGlvbiUzRFRydWUlMkMlMEElMjAlMjAlMjAlMjBtYXhfbGVuZ3RoJTNEY29udGV4dF9sZW5ndGglMkMlMEElMjAlMjAlMjAlMjByZXR1cm5fb3ZlcmZsb3dpbmdfdG9rZW5zJTNEVHJ1ZSUyQyUwQSUyMCUyMCUyMCUyMHJldHVybl9sZW5ndGglM0RUcnVlJTJDJTBBKSUwQSUwQXByaW50KGYlMjJJbnB1dCUyMElEcyUyMGxlbmd0aCUzQSUyMCU3QmxlbihvdXRwdXRzJTVCJ2lucHV0X2lkcyclNUQpJTdEJTIyKSUwQXByaW50KGYlMjJJbnB1dCUyMGNodW5rJTIwbGVuZ3RocyUzQSUyMCU3QihvdXRwdXRzJTVCJ2xlbmd0aCclNUQpJTdEJTIyKSUwQXByaW50KGYlMjJDaHVuayUyMG1hcHBpbmclM0ElMjAlN0JvdXRwdXRzJTVCJ292ZXJmbG93X3RvX3NhbXBsZV9tYXBwaW5nJyU1RCU3RCUyMik=",highlighted:`<span class="hljs-keyword">from</span> transformers <span class="hljs-keyword">import</span> AutoTokenizer
context_length = <span class="hljs-number">128</span>
tokenizer = AutoTokenizer.from_pretrained(<span class="hljs-string">&quot;huggingface-course/code-search-net-tokenizer&quot;</span>)
outputs = tokenizer(
 raw_datasets[<span class="hljs-string">&quot;train&quot;</span>][:<span class="hljs-number">2</span>][<span class="hljs-string">&quot;content&quot;</span>],
 truncation=<span class="hljs-literal">True</span>,
 max_length=context_length,
 return_overflowing_tokens=<span class="hljs-literal">True</span>,
 return_length=<span class="hljs-literal">True</span>,
)
<span class="hljs-built_in">print</span>(<span class="hljs-string">f&quot;Input IDs length: <span class="hljs-subst">{<span class="hljs-built_in">len</span>(outputs[<span class="hljs-string">&#x27;input_ids&#x27;</span>])}</span>&quot;</span>)
<span class="hljs-built_in">print</span>(<span class="hljs-string">f&quot;Input chunk lengths: <span class="hljs-subst">{(outputs[<span class="hljs-string">&#x27;length&#x27;</span>])}</span>&quot;</span>)
<span class="hljs-built_in">print</span>(<span class="hljs-string">f&quot;Chunk mapping: <span class="hljs-subst">{outputs[<span class="hljs-string">&#x27;overflow_to_sample_mapping&#x27;</span>]}</span>&quot;</span>)`,wrap:!1}}),ss=new f({props:{code:"SW5wdXQlMjBJRHMlMjBsZW5ndGglM0ElMjAzNCUwQUlucHV0JTIwY2h1bmslMjBsZW5ndGhzJTNBJTIwJTVCMTI4JTJDJTIwMTI4JTJDJTIwMTI4JTJDJTIwMTI4JTJDJTIwMTI4JTJDJTIwMTI4JTJDJTIwMTI4JTJDJTIwMTI4JTJDJTIwMTI4JTJDJTIwMTI4JTJDJTIwMTI4JTJDJTIwMTI4JTJDJTIwMTI4JTJDJTIwMTI4JTJDJTIwMTI4JTJDJTIwMTI4JTJDJTIwMTI4JTJDJTIwMTI4JTJDJTIwMTI4JTJDJTIwMTE3JTJDJTIwMTI4JTJDJTIwMTI4JTJDJTIwMTI4JTJDJTIwMTI4JTJDJTIwMTI4JTJDJTIwMTI4JTJDJTIwMTI4JTJDJTIwMTI4JTJDJTIwMTI4JTJDJTIwMTI4JTJDJTIwMTI4JTJDJTIwMTI4JTJDJTIwMTI4JTJDJTIwNDElNUQlMEFDaHVuayUyMG1hcHBpbmclM0ElMjAlNUIwJTJDJTIwMCUyQyUyMDAlMkMlMjAwJTJDJTIwMCUyQyUyMDAlMkMlMjAwJTJDJTIwMCUyQyUyMDAlMkMlMjAwJTJDJTIwMCUyQyUyMDAlMkMlMjAwJTJDJTIwMCUyQyUyMDAlMkMlMjAwJTJDJTIwMCUyQyUyMDAlMkMlMjAwJTJDJTIwMCUyQyUyMDElMkMlMjAxJTJDJTIwMSUyQyUyMDElMkMlMjAxJTJDJTIwMSUyQyUyMDElMkMlMjAxJTJDJTIwMSUyQyUyMDElMkMlMjAxJTJDJTIwMSUyQyUyMDElMkMlMjAxJTVE",highlighted:`Input IDs length: <span class="hljs-number">34</span>
Input chunk lengths: [<span class="hljs-number">128</span>, <span class="hljs-number">128</span>, <span class="hljs-number">128</span>, <span class="hljs-number">128</span>, <span class="hljs-number">128</span>, <span class="hljs-number">128</span>, <span class="hljs-number">128</span>, <span class="hljs-number">128</span>, <span class="hljs-number">128</span>, <span class="hljs-number">128</span>, <span class="hljs-number">128</span>, <span class="hljs-number">128</span>, <span class="hljs-number">128</span>, <span class="hljs-number">128</span>, <span class="hljs-number">128</span>, <span class="hljs-number">128</span>, <span class="hljs-number">128</span>, <span class="hljs-number">128</span>, <span class="hljs-number">128</span>, <span class="hljs-number">117</span>, <span class="hljs-number">128</span>, <span class="hljs-number">128</span>, <span class="hljs-number">128</span>, <span class="hljs-number">128</span>, <span class="hljs-number">128</span>, <span class="hljs-number">128</span>, <span class="hljs-number">128</span>, <span class="hljs-number">128</span>, <span class="hljs-number">128</span>, <span class="hljs-number">128</span>, <span class="hljs-number">128</span>, <span class="hljs-number">128</span>, <span class="hljs-number">128</span>, <span class="hljs-number">41</span>]
Chunk mapping: [<span class="hljs-number">0</span>, <span class="hljs-number">0</span>, <span class="hljs-number">0</span>, <span class="hljs-number">0</span>, <span class="hljs-number">0</span>, <span class="hljs-number">0</span>, <span class="hljs-number">0</span>, <span class="hljs-number">0</span>, <span class="hljs-number">0</span>, <span class="hljs-number">0</span>, <span class="hljs-number">0</span>, <span class="hljs-number">0</span>, <span class="hljs-number">0</span>, <span class="hljs-number">0</span>, <span class="hljs-number">0</span>, <span class="hljs-number">0</span>, <span class="hljs-number">0</span>, <span class="hljs-number">0</span>, <span class="hljs-number">0</span>, <span class="hljs-number">0</span>, <span class="hljs-number">1</span>, <span class="hljs-number">1</span>, <span class="hljs-number">1</span>, <span class="hljs-number">1</span>, <span class="hljs-number">1</span>, <span class="hljs-number">1</span>, <span class="hljs-number">1</span>, <span class="hljs-number">1</span>, <span class="hljs-number">1</span>, <span class="hljs-number">1</span>, <span class="hljs-number">1</span>, <span class="hljs-number">1</span>, <span class="hljs-number">1</span>, <span class="hljs-number">1</span>]`,wrap:!1}}),Qs=new f({props:{code:"ZGVmJTIwdG9rZW5pemUoZWxlbWVudCklM0ElMEElMjAlMjAlMjAlMjBvdXRwdXRzJTIwJTNEJTIwdG9rZW5pemVyKCUwQSUyMCUyMCUyMCUyMCUyMCUyMCUyMCUyMGVsZW1lbnQlNUIlMjJjb250ZW50JTIyJTVEJTJDJTBBJTIwJTIwJTIwJTIwJTIwJTIwJTIwJTIwdHJ1bmNhdGlvbiUzRFRydWUlMkMlMEElMjAlMjAlMjAlMjAlMjAlMjAlMjAlMjBtYXhfbGVuZ3RoJTNEY29udGV4dF9sZW5ndGglMkMlMEElMjAlMjAlMjAlMjAlMjAlMjAlMjAlMjByZXR1cm5fb3ZlcmZsb3dpbmdfdG9rZW5zJTNEVHJ1ZSUyQyUwQSUyMCUyMCUyMCUyMCUyMCUyMCUyMCUyMHJldHVybl9sZW5ndGglM0RUcnVlJTJDJTBBJTIwJTIwJTIwJTIwKSUwQSUyMCUyMCUyMCUyMGlucHV0X2JhdGNoJTIwJTNEJTIwJTVCJTVEJTBBJTIwJTIwJTIwJTIwZm9yJTIwbGVuZ3RoJTJDJTIwaW5wdXRfaWRzJTIwaW4lMjB6aXAob3V0cHV0cyU1QiUyMmxlbmd0aCUyMiU1RCUyQyUyMG91dHB1dHMlNUIlMjJpbnB1dF9pZHMlMjIlNUQpJTNBJTBBJTIwJTIwJTIwJTIwJTIwJTIwJTIwJTIwaWYlMjBsZW5ndGglMjAlM0QlM0QlMjBjb250ZXh0X2xlbmd0aCUzQSUwQSUyMCUyMCUyMCUyMCUyMCUyMCUyMCUyMCUyMCUyMCUyMCUyMGlucHV0X2JhdGNoLmFwcGVuZChpbnB1dF9pZHMpJTBBJTIwJTIwJTIwJTIwcmV0dXJuJTIwJTdCJTIyaW5wdXRfaWRzJTIyJTNBJTIwaW5wdXRfYmF0Y2glN0QlMEElMEElMEF0b2tlbml6ZWRfZGF0YXNldHMlMjAlM0QlMjByYXdfZGF0YXNldHMubWFwKCUwQSUyMCUyMCUyMCUyMHRva2VuaXplJTJDJTIwYmF0Y2hlZCUzRFRydWUlMkMlMjByZW1vdmVfY29sdW1ucyUzRHJhd19kYXRhc2V0cyU1QiUyMnRyYWluJTIyJTVELmNvbHVtbl9uYW1lcyUwQSklMEF0b2tlbml6ZWRfZGF0YXNldHM=",highlighted:`<span class="hljs-keyword">def</span> <span class="hljs-title function_">tokenize</span>(<span class="hljs-params">element</span>):
 outputs = tokenizer(
 element[<span class="hljs-string">&quot;content&quot;</span>],
 truncation=<span class="hljs-literal">True</span>,
 max_length=context_length,
 return_overflowing_tokens=<span class="hljs-literal">True</span>,
 return_length=<span class="hljs-literal">True</span>,
 )
 input_batch = []
 <span class="hljs-keyword">for</span> length, input_ids <span class="hljs-keyword">in</span> <span class="hljs-built_in">zip</span>(outputs[<span class="hljs-string">&quot;length&quot;</span>], outputs[<span class="hljs-string">&quot;input_ids&quot;</span>]):
 <span class="hljs-keyword">if</span> length == context_length:
 input_batch.append(input_ids)
 <span class="hljs-keyword">return</span> {<span class="hljs-string">&quot;input_ids&quot;</span>: input_batch}
tokenized_datasets = raw_datasets.<span class="hljs-built_in">map</span>(
 tokenize, batched=<span class="hljs-literal">True</span>, remove_columns=raw_datasets[<span class="hljs-string">&quot;train&quot;</span>].column_names
)
tokenized_datasets`,wrap:!1}}),Ws=new f({props:{code:"RGF0YXNldERpY3QoJTdCJTBBJTIwJTIwJTIwJTIwdHJhaW4lM0ElMjBEYXRhc2V0KCU3QiUwQSUyMCUyMCUyMCUyMCUyMCUyMCUyMCUyMGZlYXR1cmVzJTNBJTIwJTVCJ2lucHV0X2lkcyclNUQlMkMlMEElMjAlMjAlMjAlMjAlMjAlMjAlMjAlMjBudW1fcm93cyUzQSUyMDE2NzAyMDYxJTBBJTIwJTIwJTIwJTIwJTdEKSUwQSUyMCUyMCUyMCUyMHZhbGlkJTNBJTIwRGF0YXNldCglN0IlMEElMjAlMjAlMjAlMjAlMjAlMjAlMjAlMjBmZWF0dXJlcyUzQSUyMCU1QidpbnB1dF9pZHMnJTVEJTJDJTBBJTIwJTIwJTIwJTIwJTIwJTIwJTIwJTIwbnVtX3Jvd3MlM0ElMjA5MzE2NCUwQSUyMCUyMCUyMCUyMCU3RCklMEElN0Qp",highlighted:`DatasetDict({
 train: Dataset({
 features: [<span class="hljs-string">&#x27;input_ids&#x27;</span>],
 num_rows: <span class="hljs-number">16702061</span>
 })
 valid: Dataset({
 features: [<span class="hljs-string">&#x27;input_ids&#x27;</span>],
 num_rows: <span class="hljs-number">93164</span>
 })
})`,wrap:!1}}),Es=new Be({props:{title:"新しいモデルを初期化する",local:"新しいモデルを初期化する",headingTag:"h2"}});const la=[Ga,Za],Te=[];function sa(l,a){return l[0]==="pt"?0:1}Zl=sa(_),Gl=Te[Zl]=la[Zl](_);const ea=[Xa,Ba],we=[];function ta(l,a){return l[0]==="pt"?0:1}Bl=ta(_),Xl=we[Bl]=ea[Bl](_),Fs=new f({props:{code:"b3V0JTIwJTNEJTIwZGF0YV9jb2xsYXRvciglNUJ0b2tlbml6ZWRfZGF0YXNldHMlNUIlMjJ0cmFpbiUyMiU1RCU1QmklNUQlMjBmb3IlMjBpJTIwaW4lMjByYW5nZSg1KSU1RCklMEFmb3IlMjBrZXklMjBpbiUyMG91dCUzQSUwQSUyMCUyMCUyMCUyMHByaW50KGYlMjIlN0JrZXklN0QlMjBzaGFwZSUzQSUyMCU3Qm91dCU1QmtleSU1RC5zaGFwZSU3RCUyMik=",highlighted:`out = data_collator([tokenized_datasets[<span class="hljs-string">&quot;train&quot;</span>][i] <span class="hljs-keyword">for</span> i <span class="hljs-keyword">in</span> <span class="hljs-built_in">range</span>(<span class="hljs-number">5</span>)])
<span class="hljs-keyword">for</span> key <span class="hljs-keyword">in</span> out:
 <span class="hljs-built_in">print</span>(<span class="hljs-string">f&quot;<span class="hljs-subst">{key}</span> shape: <span class="hljs-subst">{out[key].shape}</span>&quot;</span>)`,wrap:!1}});const aa=[ga,Ra],ue=[];function na(l,a){return l[0]==="pt"?0:1}Rl=na(_),gl=ue[Rl]=aa[Rl](_);let Q=_[0]==="tf"&&Ua();Ds=new f({props:{code:"ZnJvbSUyMGh1Z2dpbmdmYWNlX2h1YiUyMGltcG9ydCUyMG5vdGVib29rX2xvZ2luJTBBJTBBbm90ZWJvb2tfbG9naW4oKQ==",highlighted:`<span class="hljs-keyword">from</span> huggingface_hub <span class="hljs-keyword">import</span> notebook_login
notebook_login()`,wrap:!1}}),Ps=new f({props:{code:"aHVnZ2luZ2ZhY2UtY2xpJTIwbG9naW4=",highlighted:"huggingface-cli login",wrap:!1}});const Ma=[Qa,$a],je=[];function pa(l,a){return l[0]==="pt"?0:1}$l=pa(_),Ql=je[$l]=Ma[$l](_);function ya(l,a){return l[0]==="pt"?za:Wa}let jt=ya(_),ys=jt(_);Os=new Be({props:{title:"パイプラインによるコード生成",local:"パイプラインによるコード生成",headingTag:"h2"}});const ra=[Ea,Va],de=[];function ca(l,a){return l[0]==="pt"?0:1}Wl=ca(_),zl=de[Wl]=ra[Wl](_),ee=new f({props:{code:"dHh0JTIwJTNEJTIwJTIyJTIyJTIyJTVDJTBBJTIzJTIwY3JlYXRlJTIwc29tZSUyMGRhdGElMEF4JTIwJTNEJTIwbnAucmFuZG9tLnJhbmRuKDEwMCklMEF5JTIwJTNEJTIwbnAucmFuZG9tLnJhbmRuKDEwMCklMEElMEElMjMlMjBjcmVhdGUlMjBzY2F0dGVyJTIwcGxvdCUyMHdpdGglMjB4JTJDJTIweSUwQSUyMiUyMiUyMiUwQXByaW50KHBpcGUodHh0JTJDJTIwbnVtX3JldHVybl9zZXF1ZW5jZXMlM0QxKSU1QjAlNUQlNUIlMjJnZW5lcmF0ZWRfdGV4dCUyMiU1RCk=",highlighted:`txt = <span class="hljs-string">&quot;&quot;&quot;\\
# create some data
x = np.random.randn(100)
y = np.random.randn(100)
# create scatter plot with x, y
&quot;&quot;&quot;</span>
<span class="hljs-built_in">print</span>(pipe(txt, num_return_sequences=<span class="hljs-number">1</span>)[<span class="hljs-number">0</span>][<span class="hljs-string">&quot;generated_text&quot;</span>])`,wrap:!1}}),te=new f({props:{code:"JTIzJTIwY3JlYXRlJTIwc29tZSUyMGRhdGElMEF4JTIwJTNEJTIwbnAucmFuZG9tLnJhbmRuKDEwMCklMEF5JTIwJTNEJTIwbnAucmFuZG9tLnJhbmRuKDEwMCklMEElMEElMjMlMjBjcmVhdGUlMjBzY2F0dGVyJTIwcGxvdCUyMHdpdGglMjB4JTJDJTIweSUwQXBsdC5zY2F0dGVyKHglMkMlMjB5KSUwQSUwQSUyMyUyMGNyZWF0ZSUyMHNjYXR0ZXI=",highlighted:`<span class="hljs-comment"># create some data</span>
x = np.random.randn(<span class="hljs-number">100</span>)
y = np.random.randn(<span class="hljs-number">100</span>)
<span class="hljs-comment"># create scatter plot with x, y</span>
plt.scatter(x, y)
<span class="hljs-comment"># create scatter</span>`,wrap:!1}}),ne=new f({props:{code:"dHh0JTIwJTNEJTIwJTIyJTIyJTIyJTVDJTBBJTIzJTIwY3JlYXRlJTIwc29tZSUyMGRhdGElMEF4JTIwJTNEJTIwbnAucmFuZG9tLnJhbmRuKDEwMCklMEF5JTIwJTNEJTIwbnAucmFuZG9tLnJhbmRuKDEwMCklMEElMEElMjMlMjBjcmVhdGUlMjBkYXRhZnJhbWUlMjBmcm9tJTIweCUyMGFuZCUyMHklMEElMjIlMjIlMjIlMEFwcmludChwaXBlKHR4dCUyQyUyMG51bV9yZXR1cm5fc2VxdWVuY2VzJTNEMSklNUIwJTVEJTVCJTIyZ2VuZXJhdGVkX3RleHQlMjIlNUQp",highlighted:`txt = <span class="hljs-string">&quot;&quot;&quot;\\
# create some data
x = np.random.randn(100)
y = np.random.randn(100)
# create dataframe from x and y
&quot;&quot;&quot;</span>
<span class="hljs-built_in">print</span>(pipe(txt, num_return_sequences=<span class="hljs-number">1</span>)[<span class="hljs-number">0</span>][<span class="hljs-string">&quot;generated_text&quot;</span>])`,wrap:!1}}),Me=new f({props:{code:"JTIzJTIwY3JlYXRlJTIwc29tZSUyMGRhdGElMEF4JTIwJTNEJTIwbnAucmFuZG9tLnJhbmRuKDEwMCklMEF5JTIwJTNEJTIwbnAucmFuZG9tLnJhbmRuKDEwMCklMEElMEElMjMlMjBjcmVhdGUlMjBkYXRhZnJhbWUlMjBmcm9tJTIweCUyMGFuZCUyMHklMEFkZiUyMCUzRCUyMHBkLkRhdGFGcmFtZSglN0IneCclM0ElMjB4JTJDJTIwJ3knJTNBJTIweSU3RCklMEFkZi5pbnNlcnQoMCUyQyd4JyUyQyUyMHgpJTBBZm9y",highlighted:`<span class="hljs-comment"># create some data</span>
x = np.random.randn(<span class="hljs-number">100</span>)
y = np.random.randn(<span class="hljs-number">100</span>)
<span class="hljs-comment"># create dataframe from x and y</span>
df = pd.DataFrame({<span class="hljs-string">&#x27;x&#x27;</span>: x, <span class="hljs-string">&#x27;y&#x27;</span>: y})
df.insert(<span class="hljs-number">0</span>,<span class="hljs-string">&#x27;x&#x27;</span>, x)
<span class="hljs-keyword">for</span>`,wrap:!1}}),re=new f({props:{code:"dHh0JTIwJTNEJTIwJTIyJTIyJTIyJTVDJTBBJTIzJTIwZGF0YWZyYW1lJTIwd2l0aCUyMHByb2Zlc3Npb24lMkMlMjBpbmNvbWUlMjBhbmQlMjBuYW1lJTBBZGYlMjAlM0QlMjBwZC5EYXRhRnJhbWUoJTdCJ3Byb2Zlc3Npb24nJTNBJTIweCUyQyUyMCdpbmNvbWUnJTNBeSUyQyUyMCduYW1lJyUzQSUyMHolN0QpJTBBJTBBJTIzJTIwY2FsY3VsYXRlJTIwdGhlJTIwbWVhbiUyMGluY29tZSUyMHBlciUyMHByb2Zlc3Npb24lMEElMjIlMjIlMjIlMEFwcmludChwaXBlKHR4dCUyQyUyMG51bV9yZXR1cm5fc2VxdWVuY2VzJTNEMSklNUIwJTVEJTVCJTIyZ2VuZXJhdGVkX3RleHQlMjIlNUQp",highlighted:`txt = <span class="hljs-string">&quot;&quot;&quot;\\
# dataframe with profession, income and name
df = pd.DataFrame({&#x27;profession&#x27;: x, &#x27;income&#x27;:y, &#x27;name&#x27;: z})
# calculate the mean income per profession
&quot;&quot;&quot;</span>
<span class="hljs-built_in">print</span>(pipe(txt, num_return_sequences=<span class="hljs-number">1</span>)[<span class="hljs-number">0</span>][<span class="hljs-string">&quot;generated_text&quot;</span>])`,wrap:!1}}),ce=new f({props:{code:"JTIzJTIwZGF0YWZyYW1lJTIwd2l0aCUyMHByb2Zlc3Npb24lMkMlMjBpbmNvbWUlMjBhbmQlMjBuYW1lJTBBZGYlMjAlM0QlMjBwZC5EYXRhRnJhbWUoJTdCJ3Byb2Zlc3Npb24nJTNBJTIweCUyQyUyMCdpbmNvbWUnJTNBeSUyQyUyMCduYW1lJyUzQSUyMHolN0QpJTBBJTBBJTIzJTIwY2FsY3VsYXRlJTIwdGhlJTIwbWVhbiUyMGluY29tZSUyMHBlciUyMHByb2Zlc3Npb24lMEFwcm9mZXNzaW9uJTIwJTNEJTIwZGYuZ3JvdXBieSglNUIncHJvZmVzc2lvbiclNUQpLm1lYW4oKSUwQSUwQSUyMyUyMGNvbXB1dGUlMjB0aGU=",highlighted:`<span class="hljs-comment"># dataframe with profession, income and name</span>
df = pd.DataFrame({<span class="hljs-string">&#x27;profession&#x27;</span>: x, <span class="hljs-string">&#x27;income&#x27;</span>:y, <span class="hljs-string">&#x27;name&#x27;</span>: z})
<span class="hljs-comment"># calculate the mean income per profession</span>
profession = df.groupby([<span class="hljs-string">&#x27;profession&#x27;</span>]).mean()
<span class="hljs-comment"># compute the</span>`,wrap:!1}}),Je=new f({props:{code:"dHh0JTIwJTNEJTIwJTIyJTIyJTIyJTBBJTIzJTIwaW1wb3J0JTIwcmFuZG9tJTIwZm9yZXN0JTIwcmVncmVzc29yJTIwZnJvbSUyMHNjaWtpdC1sZWFybiUwQWZyb20lMjBza2xlYXJuLmVuc2VtYmxlJTIwaW1wb3J0JTIwUmFuZG9tRm9yZXN0UmVncmVzc29yJTBBJTBBJTIzJTIwZml0JTIwcmFuZG9tJTIwZm9yZXN0JTIwbW9kZWwlMjB3aXRoJTIwMzAwJTIwZXN0aW1hdG9ycyUyMG9uJTIwWCUyQyUyMHklM0ElMEElMjIlMjIlMjIlMEFwcmludChwaXBlKHR4dCUyQyUyMG51bV9yZXR1cm5fc2VxdWVuY2VzJTNEMSklNUIwJTVEJTVCJTIyZ2VuZXJhdGVkX3RleHQlMjIlNUQp",highlighted:`txt = <span class="hljs-string">&quot;&quot;&quot;
# import random forest regressor from scikit-learn
from sklearn.ensemble import RandomForestRegressor
# fit random forest model with 300 estimators on X, y:
&quot;&quot;&quot;</span>
<span class="hljs-built_in">print</span>(pipe(txt, num_return_sequences=<span class="hljs-number">1</span>)[<span class="hljs-number">0</span>][<span class="hljs-string">&quot;generated_text&quot;</span>])`,wrap:!1}}),Ue=new f({props:{code:"JTIzJTIwaW1wb3J0JTIwcmFuZG9tJTIwZm9yZXN0JTIwcmVncmVzc29yJTIwZnJvbSUyMHNjaWtpdC1sZWFybiUwQWZyb20lMjBza2xlYXJuLmVuc2VtYmxlJTIwaW1wb3J0JTIwUmFuZG9tRm9yZXN0UmVncmVzc29yJTBBJTBBJTIzJTIwZml0JTIwcmFuZG9tJTIwZm9yZXN0JTIwbW9kZWwlMjB3aXRoJTIwMzAwJTIwZXN0aW1hdG9ycyUyMG9uJTIwWCUyQyUyMHklM0ElMEFyZiUyMCUzRCUyMFJhbmRvbUZvcmVzdFJlZ3Jlc3NvcihuX2VzdGltYXRvcnMlM0QzMDAlMkMlMjByYW5kb21fc3RhdGUlM0RyYW5kb21fc3RhdGUlMkMlMjBtYXhfZGVwdGglM0QzKSUwQXJmLmZpdChYJTJDJTIweSklMEFyZg==",highlighted:`<span class="hljs-comment"># import random forest regressor from scikit-learn</span>
<span class="hljs-keyword">from</span> sklearn.ensemble <span class="hljs-keyword">import</span> RandomForestRegressor
<span class="hljs-comment"># fit random forest model with 300 estimators on X, y:</span>
rf = RandomForestRegressor(n_estimators=<span class="hljs-number">300</span>, random_state=random_state, max_depth=<span class="hljs-number">3</span>)
rf.fit(X, y)
rf`,wrap:!1}});function ia(l,a){return l[0]==="tf"?va:Aa}let dt=ia(_),rs=dt(_),W=_[0]==="pt"&&oa();return oe=new fa({props:{source:"https://github.com/huggingface/course/blob/main/chapters/ja/chapter7/6.mdx"}}),{c(){n=U("meta"),i=p(),M=U("p"),C=p(),w(k.$$.fragment),h=p(),w(B.$$.fragment),Z=p(),w(G.$$.fragment),m=p(),X.c(),$=p(),g=U("p"),g.innerHTML=A,I=p(),R=U("p"),R.innerHTML=Vl,Ts=p(),w(q.$$.fragment),D=p(),L=U("p"),L.innerHTML=El,ws=p(),z=U("iframe"),us=p(),K=U("p"),K.innerHTML=vl,js=p(),w(P.$$.fragment),O=p(),ll=U("p"),ll.innerHTML=Nl,ds=p(),sl=U("p"),sl.innerHTML=xl,es=p(),w(v.$$.fragment),bs=p(),el=U("p"),el.textContent=Yl,ts=p(),w(N.$$.fragment),Cs=p(),w(tl.$$.fragment),al=p(),nl=U("p"),nl.textContent=Fl,hs=p(),w(Ml.$$.fragment),pl=p(),yl=U("p"),yl.textContent=Hl,fs=p(),w(rl.$$.fragment),cl=p(),w(il.$$.fragment),F=p(),Sl=U("p"),Sl.textContent=Is,Jl=p(),ql=U("p"),ql.textContent=_s,Ul=p(),w(ol.$$.fragment),ml=p(),w(Dl.$$.fragment),as=p(),E=U("blockquote"),E.innerHTML=ks,Tl=p(),wl=U("p"),wl.textContent=Ll,Zs=p(),w(ul.$$.fragment),jl=p(),w(dl.$$.fragment),bl=p(),Kl=U("p"),Kl.innerHTML=Gs,Cl=p(),w(Pl.$$.fragment),ns=p(),w(x.$$.fragment),Ms=p(),Y=U("p"),Y.textContent=Bs,hl=p(),Ol=U("p"),Ol.innerHTML=Xs,fl=p(),H=U("div"),H.innerHTML=ls,Rs=p(),Il=U("p"),Il.textContent=kl,gs=p(),w(_l.$$.fragment),S=p(),w(ss.$$.fragment),ps=p(),e=U("p"),e.innerHTML=J,Re=p(),$s=U("p"),$s.innerHTML=Gt,ge=p(),w(Qs.$$.fragment),$e=p(),w(Ws.$$.fragment),Qe=p(),zs=U("p"),zs.textContent=Bt,We=p(),Vs=U("p"),Vs.textContent=Xt,ze=p(),cs=U("blockquote"),cs.innerHTML=Rt,Ve=p(),w(Es.$$.fragment),Ee=p(),As=U("p"),As.innerHTML=gt,Ae=p(),Gl.c(),be=p(),vs=U("p"),vs.innerHTML=$t,ve=p(),Ns=U("p"),Ns.innerHTML=Qt,Ne=p(),xs=U("p"),xs.innerHTML=Wt,xe=p(),Xl.c(),Ce=p(),Ys=U("p"),Ys.textContent=zt,Ye=p(),w(Fs.$$.fragment),Fe=p(),gl.c(),he=p(),Hs=U("p"),Hs.textContent=Vt,He=p(),Q&&Q.c(),fe=p(),is=U("blockquote"),is.innerHTML=Et,Se=p(),Ss=U("p"),Ss.textContent=At,qe=p(),qs=U("p"),qs.textContent=vt,De=p(),w(Ds.$$.fragment),Le=p(),Ls=U("p"),Ls.textContent=Nt,Ke=p(),Ks=U("p"),Ks.textContent=xt,Pe=p(),w(Ps.$$.fragment),Oe=p(),Ql.c(),Ie=p(),Js=U("blockquote"),Js.innerHTML=Yt,lt=p(),Us=U("blockquote"),Us.innerHTML=Ft,st=p(),ys.c(),_e=p(),w(Os.$$.fragment),et=p(),le=U("p"),le.innerHTML=Ht,tt=p(),zl.c(),ke=p(),se=U("p"),se.textContent=St,at=p(),w(ee.$$.fragment),nt=p(),w(te.$$.fragment),Mt=p(),ae=U("p"),ae.innerHTML=qt,pt=p(),w(ne.$$.fragment),yt=p(),w(Me.$$.fragment),rt=p(),pe=U("p"),pe.textContent=Dt,ct=p(),ye=U("p"),ye.innerHTML=Lt,it=p(),w(re.$$.fragment),Jt=p(),w(ce.$$.fragment),Ut=p(),ie=U("p"),ie.innerHTML=Kt,ot=p(),w(Je.$$.fragment),mt=p(),w(Ue.$$.fragment),Tt=p(),rs.c(),Ze=p(),W&&W.c(),Ge=p(),w(oe.$$.fragment),wt=p(),Xe=U("p"),this.h()},l(l){const a=ba("svelte-u9bgzb",document.head);n=o(a,"META",{name:!0,content:!0}),a.forEach(s),i=y(l),M=o(l,"P",{}),kt(M).forEach(s),C=y(l),u(k.$$.fragment,l),h=y(l),u(B.$$.fragment,l),Z=y(l),u(G.$$.fragment,l),m=y(l),X.l(l),$=y(l),g=o(l,"P",{"data-svelte-h":!0}),T(g)!=="svelte-p8bwvw"&&(g.innerHTML=A),I=y(l),R=o(l,"P",{"data-svelte-h":!0}),T(R)!=="svelte-1579h9x"&&(R.innerHTML=Vl),Ts=y(l),u(q.$$.fragment,l),D=y(l),L=o(l,"P",{"data-svelte-h":!0}),T(L)!=="svelte-amowew"&&(L.innerHTML=El),ws=y(l),z=o(l,"IFRAME",{src:!0,frameborder:!0,height:!0,title:!0,class:!0,allow:!0,sandbox:!0}),kt(z).forEach(s),us=y(l),K=o(l,"P",{"data-svelte-h":!0}),T(K)!=="svelte-ws0b7m"&&(K.innerHTML=vl),js=y(l),u(P.$$.fragment,l),O=y(l),ll=o(l,"P",{"data-svelte-h":!0}),T(ll)!=="svelte-1j1z5c1"&&(ll.innerHTML=Nl),ds=y(l),sl=o(l,"P",{"data-svelte-h":!0}),T(sl)!=="svelte-qxu1js"&&(sl.innerHTML=xl),es=y(l),u(v.$$.fragment,l),bs=y(l),el=o(l,"P",{"data-svelte-h":!0}),T(el)!=="svelte-i41c9p"&&(el.textContent=Yl),ts=y(l),u(N.$$.fragment,l),Cs=y(l),u(tl.$$.fragment,l),al=y(l),nl=o(l,"P",{"data-svelte-h":!0}),T(nl)!=="svelte-snrl8d"&&(nl.textContent=Fl),hs=y(l),u(Ml.$$.fragment,l),pl=y(l),yl=o(l,"P",{"data-svelte-h":!0}),T(yl)!=="svelte-9eorpe"&&(yl.textContent=Hl),fs=y(l),u(rl.$$.fragment,l),cl=y(l),u(il.$$.fragment,l),F=y(l),Sl=o(l,"P",{"data-svelte-h":!0}),T(Sl)!=="svelte-h3e8bj"&&(Sl.textContent=Is),Jl=y(l),ql=o(l,"P",{"data-svelte-h":!0}),T(ql)!=="svelte-1hrdlyr"&&(ql.textContent=_s),Ul=y(l),u(ol.$$.fragment,l),ml=y(l),u(Dl.$$.fragment,l),as=y(l),E=o(l,"BLOCKQUOTE",{class:!0,"data-svelte-h":!0}),T(E)!=="svelte-1yjvt3z"&&(E.innerHTML=ks),Tl=y(l),wl=o(l,"P",{"data-svelte-h":!0}),T(wl)!=="svelte-f0xrgb"&&(wl.textContent=Ll),Zs=y(l),u(ul.$$.fragment,l),jl=y(l),u(dl.$$.fragment,l),bl=y(l),Kl=o(l,"P",{"data-svelte-h":!0}),T(Kl)!=="svelte-1lu90tb"&&(Kl.innerHTML=Gs),Cl=y(l),u(Pl.$$.fragment,l),ns=y(l),u(x.$$.fragment,l),Ms=y(l),Y=o(l,"P",{"data-svelte-h":!0}),T(Y)!=="svelte-z8ic2l"&&(Y.textContent=Bs),hl=y(l),Ol=o(l,"P",{"data-svelte-h":!0}),T(Ol)!=="svelte-107an91"&&(Ol.innerHTML=Xs),fl=y(l),H=o(l,"DIV",{class:!0,"data-svelte-h":!0}),T(H)!=="svelte-1mf8pz"&&(H.innerHTML=ls),Rs=y(l),Il=o(l,"P",{"data-svelte-h":!0}),T(Il)!=="svelte-wirlby"&&(Il.textContent=kl),gs=y(l),u(_l.$$.fragment,l),S=y(l),u(ss.$$.fragment,l),ps=y(l),e=o(l,"P",{"data-svelte-h":!0}),T(e)!=="svelte-1depku0"&&(e.innerHTML=J),Re=y(l),$s=o(l,"P",{"data-svelte-h":!0}),T($s)!=="svelte-17cjez6"&&($s.innerHTML=Gt),ge=y(l),u(Qs.$$.fragment,l),$e=y(l),u(Ws.$$.fragment,l),Qe=y(l),zs=o(l,"P",{"data-svelte-h":!0}),T(zs)!=="svelte-1881my"&&(zs.textContent=Bt),We=y(l),Vs=o(l,"P",{"data-svelte-h":!0}),T(Vs)!=="svelte-28n0rz"&&(Vs.textContent=Xt),ze=y(l),cs=o(l,"BLOCKQUOTE",{class:!0,"data-svelte-h":!0}),T(cs)!=="svelte-1rhr6cy"&&(cs.innerHTML=Rt),Ve=y(l),u(Es.$$.fragment,l),Ee=y(l),As=o(l,"P",{"data-svelte-h":!0}),T(As)!=="svelte-6uyp7r"&&(As.innerHTML=gt),Ae=y(l),Gl.l(l),be=y(l),vs=o(l,"P",{"data-svelte-h":!0}),T(vs)!=="svelte-wxjs2h"&&(vs.innerHTML=$t),ve=y(l),Ns=o(l,"P",{"data-svelte-h":!0}),T(Ns)!=="svelte-7zvll1"&&(Ns.innerHTML=Qt),Ne=y(l),xs=o(l,"P",{"data-svelte-h":!0}),T(xs)!=="svelte-n77klb"&&(xs.innerHTML=Wt),xe=y(l),Xl.l(l),Ce=y(l),Ys=o(l,"P",{"data-svelte-h":!0}),T(Ys)!=="svelte-1okkglt"&&(Ys.textContent=zt),Ye=y(l),u(Fs.$$.fragment,l),Fe=y(l),gl.l(l),he=y(l),Hs=o(l,"P",{"data-svelte-h":!0}),T(Hs)!=="svelte-1cfmal4"&&(Hs.textContent=Vt),He=y(l),Q&&Q.l(l),fe=y(l),is=o(l,"BLOCKQUOTE",{class:!0,"data-svelte-h":!0}),T(is)!=="svelte-z13mdz"&&(is.innerHTML=Et),Se=y(l),Ss=o(l,"P",{"data-svelte-h":!0}),T(Ss)!=="svelte-1elug08"&&(Ss.textContent=At),qe=y(l),qs=o(l,"P",{"data-svelte-h":!0}),T(qs)!=="svelte-19psayi"&&(qs.textContent=vt),De=y(l),u(Ds.$$.fragment,l),Le=y(l),Ls=o(l,"P",{"data-svelte-h":!0}),T(Ls)!=="svelte-1n952op"&&(Ls.textContent=Nt),Ke=y(l),Ks=o(l,"P",{"data-svelte-h":!0}),T(Ks)!=="svelte-1ce92wf"&&(Ks.textContent=xt),Pe=y(l),u(Ps.$$.fragment,l),Oe=y(l),Ql.l(l),Ie=y(l),Js=o(l,"BLOCKQUOTE",{class:!0,"data-svelte-h":!0}),T(Js)!=="svelte-sx5grf"&&(Js.innerHTML=Yt),lt=y(l),Us=o(l,"BLOCKQUOTE",{class:!0,"data-svelte-h":!0}),T(Us)!=="svelte-62du9i"&&(Us.innerHTML=Ft),st=y(l),ys.l(l),_e=y(l),u(Os.$$.fragment,l),et=y(l),le=o(l,"P",{"data-svelte-h":!0}),T(le)!=="svelte-1ik4ky5"&&(le.innerHTML=Ht),tt=y(l),zl.l(l),ke=y(l),se=o(l,"P",{"data-svelte-h":!0}),T(se)!=="svelte-1kua91s"&&(se.textContent=St),at=y(l),u(ee.$$.fragment,l),nt=y(l),u(te.$$.fragment,l),Mt=y(l),ae=o(l,"P",{"data-svelte-h":!0}),T(ae)!=="svelte-v1pzfz"&&(ae.innerHTML=qt),pt=y(l),u(ne.$$.fragment,l),yt=y(l),u(Me.$$.fragment,l),rt=y(l),pe=o(l,"P",{"data-svelte-h":!0}),T(pe)!=="svelte-a4ba9c"&&(pe.textContent=Dt),ct=y(l),ye=o(l,"P",{"data-svelte-h":!0}),T(ye)!=="svelte-1hxnmhu"&&(ye.innerHTML=Lt),it=y(l),u(re.$$.fragment,l),Jt=y(l),u(ce.$$.fragment,l),Ut=y(l),ie=o(l,"P",{"data-svelte-h":!0}),T(ie)!=="svelte-15bf420"&&(ie.innerHTML=Kt),ot=y(l),u(Je.$$.fragment,l),mt=y(l),u(Ue.$$.fragment,l),Tt=y(l),rs.l(l),Ze=y(l),W&&W.l(l),Ge=y(l),u(oe.$$.fragment,l),wt=y(l),Xe=o(l,"P",{}),kt(Xe).forEach(s),this.h()},h(){V(n,"name","hf:doc:metadata"),V(n,"content",xa),wa(z.src,Al="https://course-demos-codeparrot-ds.hf.space")||V(z,"src",Al),V(z,"frameborder","0"),V(z,"height","300"),V(z,"title","Gradio app"),V(z,"class","block dark:hidden container p-0 flex-grow space-iframe"),V(z,"allow","accelerometer; ambient-light-sensor; autoplay; battery; camera; document-domain; encrypted-media; fullscreen; geolocation; gyroscope; layout-animations; legacy-image-formats; magnetometer; microphone; midi; oversized-images; payment; picture-in-picture; publickey-credentials-get; sync-xhr; usb; vr ; wake-lock; xr-spatial-tracking"),V(z,"sandbox","allow-forms allow-modals allow-popups allow-popups-to-escape-sandbox allow-same-origin allow-scripts allow-downloads"),V(E,"class","tip"),V(H,"class","flex justify-center"),V(cs,"class","tip"),V(is,"class","warning"),V(Js,"class","tip"),V(Us,"class","tip")},m(l,a){Ca(document.head,n),t(l,i,a),t(l,M,a),t(l,C,a),j(k,l,a),t(l,h,a),j(B,l,a),t(l,Z,a),j(G,l,a),t(l,m,a),me[b].m(l,a),t(l,$,a),t(l,g,a),t(l,I,a),t(l,R,a),t(l,Ts,a),j(q,l,a),t(l,D,a),t(l,L,a),t(l,ws,a),t(l,z,a),t(l,us,a),t(l,K,a),t(l,js,a),j(P,l,a),t(l,O,a),t(l,ll,a),t(l,ds,a),t(l,sl,a),t(l,es,a),j(v,l,a),t(l,bs,a),t(l,el,a),t(l,ts,a),j(N,l,a),t(l,Cs,a),j(tl,l,a),t(l,al,a),t(l,nl,a),t(l,hs,a),j(Ml,l,a),t(l,pl,a),t(l,yl,a),t(l,fs,a),j(rl,l,a),t(l,cl,a),j(il,l,a),t(l,F,a),t(l,Sl,a),t(l,Jl,a),t(l,ql,a),t(l,Ul,a),j(ol,l,a),t(l,ml,a),j(Dl,l,a),t(l,as,a),t(l,E,a),t(l,Tl,a),t(l,wl,a),t(l,Zs,a),j(ul,l,a),t(l,jl,a),j(dl,l,a),t(l,bl,a),t(l,Kl,a),t(l,Cl,a),j(Pl,l,a),t(l,ns,a),j(x,l,a),t(l,Ms,a),t(l,Y,a),t(l,hl,a),t(l,Ol,a),t(l,fl,a),t(l,H,a),t(l,Rs,a),t(l,Il,a),t(l,gs,a),j(_l,l,a),t(l,S,a),j(ss,l,a),t(l,ps,a),t(l,e,a),t(l,Re,a),t(l,$s,a),t(l,ge,a),j(Qs,l,a),t(l,$e,a),j(Ws,l,a),t(l,Qe,a),t(l,zs,a),t(l,We,a),t(l,Vs,a),t(l,ze,a),t(l,cs,a),t(l,Ve,a),j(Es,l,a),t(l,Ee,a),t(l,As,a),t(l,Ae,a),Te[Zl].m(l,a),t(l,be,a),t(l,vs,a),t(l,ve,a),t(l,Ns,a),t(l,Ne,a),t(l,xs,a),t(l,xe,a),we[Bl].m(l,a),t(l,Ce,a),t(l,Ys,a),t(l,Ye,a),j(Fs,l,a),t(l,Fe,a),ue[Rl].m(l,a),t(l,he,a),t(l,Hs,a),t(l,He,a),Q&&Q.m(l,a),t(l,fe,a),t(l,is,a),t(l,Se,a),t(l,Ss,a),t(l,qe,a),t(l,qs,a),t(l,De,a),j(Ds,l,a),t(l,Le,a),t(l,Ls,a),t(l,Ke,a),t(l,Ks,a),t(l,Pe,a),j(Ps,l,a),t(l,Oe,a),je[$l].m(l,a),t(l,Ie,a),t(l,Js,a),t(l,lt,a),t(l,Us,a),t(l,st,a),ys.m(l,a),t(l,_e,a),j(Os,l,a),t(l,et,a),t(l,le,a),t(l,tt,a),de[Wl].m(l,a),t(l,ke,a),t(l,se,a),t(l,at,a),j(ee,l,a),t(l,nt,a),j(te,l,a),t(l,Mt,a),t(l,ae,a),t(l,pt,a),j(ne,l,a),t(l,yt,a),j(Me,l,a),t(l,rt,a),t(l,pe,a),t(l,ct,a),t(l,ye,a),t(l,it,a),j(re,l,a),t(l,Jt,a),j(ce,l,a),t(l,Ut,a),t(l,ie,a),t(l,ot,a),j(Je,l,a),t(l,mt,a),j(Ue,l,a),t(l,Tt,a),rs.m(l,a),t(l,Ze,a),W&&W.m(l,a),t(l,Ge,a),j(oe,l,a),t(l,wt,a),t(l,Xe,a),ut=!0},p(l,[a]){const Ja={};a&1&&(Ja.fw=l[0]),k.$set(Ja);let bt=b;b=Ot(l),b!==bt&&(ms(),c(me[bt],1,1,()=>{me[bt]=null}),os(),X=me[b],X||(X=me[b]=Pt[b](l),X.c()),r(X,1),X.m($.parentNode,$));let Ct=Zl;Zl=sa(l),Zl!==Ct&&(ms(),c(Te[Ct],1,1,()=>{Te[Ct]=null}),os(),Gl=Te[Zl],Gl||(Gl=Te[Zl]=la[Zl](l),Gl.c()),r(Gl,1),Gl.m(be.parentNode,be));let ht=Bl;Bl=ta(l),Bl!==ht&&(ms(),c(we[ht],1,1,()=>{we[ht]=null}),os(),Xl=we[Bl],Xl||(Xl=we[Bl]=ea[Bl](l),Xl.c()),r(Xl,1),Xl.m(Ce.parentNode,Ce));let ft=Rl;Rl=na(l),Rl!==ft&&(ms(),c(ue[ft],1,1,()=>{ue[ft]=null}),os(),gl=ue[Rl],gl||(gl=ue[Rl]=aa[Rl](l),gl.c()),r(gl,1),gl.m(he.parentNode,he)),l[0]==="tf"?Q?a&1&&r(Q,1):(Q=Ua(),Q.c(),r(Q,1),Q.m(fe.parentNode,fe)):Q&&(ms(),c(Q,1,1,()=>{Q=null}),os());let It=$l;$l=pa(l),$l!==It&&(ms(),c(je[It],1,1,()=>{je[It]=null}),os(),Ql=je[$l],Ql||(Ql=je[$l]=Ma[$l](l),Ql.c()),r(Ql,1),Ql.m(Ie.parentNode,Ie)),jt!==(jt=ya(l))&&(ys.d(1),ys=jt(l),ys&&(ys.c(),ys.m(_e.parentNode,_e)));let _t=Wl;Wl=ca(l),Wl!==_t&&(ms(),c(de[_t],1,1,()=>{de[_t]=null}),os(),zl=de[Wl],zl||(zl=de[Wl]=ra[Wl](l),zl.c()),r(zl,1),zl.m(ke.parentNode,ke)),dt!==(dt=ia(l))&&(rs.d(1),rs=dt(l),rs&&(rs.c(),rs.m(Ze.parentNode,Ze))),l[0]==="pt"?W?a&1&&r(W,1):(W=oa(),W.c(),r(W,1),W.m(Ge.parentNode,Ge)):W&&(ms(),c(W,1,1,()=>{W=null}),os())},i(l){ut||(r(k.$$.fragment,l),r(B.$$.fragment,l),r(G.$$.fragment,l),r(X),r(q.$$.fragment,l),r(P.$$.fragment,l),r(v.$$.fragment,l),r(N.$$.fragment,l),r(tl.$$.fragment,l),r(Ml.$$.fragment,l),r(rl.$$.fragment,l),r(il.$$.fragment,l),r(ol.$$.fragment,l),r(Dl.$$.fragment,l),r(ul.$$.fragment,l),r(dl.$$.fragment,l),r(Pl.$$.fragment,l),r(x.$$.fragment,l),r(_l.$$.fragment,l),r(ss.$$.fragment,l),r(Qs.$$.fragment,l),r(Ws.$$.fragment,l),r(Es.$$.fragment,l),r(Gl),r(Xl),r(Fs.$$.fragment,l),r(gl),r(Q),r(Ds.$$.fragment,l),r(Ps.$$.fragment,l),r(Ql),r(Os.$$.fragment,l),r(zl),r(ee.$$.fragment,l),r(te.$$.fragment,l),r(ne.$$.fragment,l),r(Me.$$.fragment,l),r(re.$$.fragment,l),r(ce.$$.fragment,l),r(Je.$$.fragment,l),r(Ue.$$.fragment,l),r(W),r(oe.$$.fragment,l),ut=!0)},o(l){c(k.$$.fragment,l),c(B.$$.fragment,l),c(G.$$.fragment,l),c(X),c(q.$$.fragment,l),c(P.$$.fragment,l),c(v.$$.fragment,l),c(N.$$.fragment,l),c(tl.$$.fragment,l),c(Ml.$$.fragment,l),c(rl.$$.fragment,l),c(il.$$.fragment,l),c(ol.$$.fragment,l),c(Dl.$$.fragment,l),c(ul.$$.fragment,l),c(dl.$$.fragment,l),c(Pl.$$.fragment,l),c(x.$$.fragment,l),c(_l.$$.fragment,l),c(ss.$$.fragment,l),c(Qs.$$.fragment,l),c(Ws.$$.fragment,l),c(Es.$$.fragment,l),c(Gl),c(Xl),c(Fs.$$.fragment,l),c(gl),c(Q),c(Ds.$$.fragment,l),c(Ps.$$.fragment,l),c(Ql),c(Os.$$.fragment,l),c(zl),c(ee.$$.fragment,l),c(te.$$.fragment,l),c(ne.$$.fragment,l),c(Me.$$.fragment,l),c(re.$$.fragment,l),c(ce.$$.fragment,l),c(Je.$$.fragment,l),c(Ue.$$.fragment,l),c(W),c(oe.$$.fragment,l),ut=!1},d(l){l&&(s(i),s(M),s(C),s(h),s(Z),s(m),s($),s(g),s(I),s(R),s(Ts),s(D),s(L),s(ws),s(z),s(us),s(K),s(js),s(O),s(ll),s(ds),s(sl),s(es),s(bs),s(el),s(ts),s(Cs),s(al),s(nl),s(hs),s(pl),s(yl),s(fs),s(cl),s(F),s(Sl),s(Jl),s(ql),s(Ul),s(ml),s(as),s(E),s(Tl),s(wl),s(Zs),s(jl),s(bl),s(Kl),s(Cl),s(ns),s(Ms),s(Y),s(hl),s(Ol),s(fl),s(H),s(Rs),s(Il),s(gs),s(S),s(ps),s(e),s(Re),s($s),s(ge),s($e),s(Qe),s(zs),s(We),s(Vs),s(ze),s(cs),s(Ve),s(Ee),s(As),s(Ae),s(be),s(vs),s(ve),s(Ns),s(Ne),s(xs),s(xe),s(Ce),s(Ys),s(Ye),s(Fe),s(he),s(Hs),s(He),s(fe),s(is),s(Se),s(Ss),s(qe),s(qs),s(De),s(Le),s(Ls),s(Ke),s(Ks),s(Pe),s(Oe),s(Ie),s(Js),s(lt),s(Us),s(st),s(_e),s(et),s(le),s(tt),s(ke),s(se),s(at),s(nt),s(Mt),s(ae),s(pt),s(yt),s(rt),s(pe),s(ct),s(ye),s(it),s(Jt),s(Ut),s(ie),s(ot),s(mt),s(Tt),s(Ze),s(Ge),s(wt),s(Xe)),s(n),d(k,l),d(B,l),d(G,l),me[b].d(l),d(q,l),d(P,l),d(v,l),d(N,l),d(tl,l),d(Ml,l),d(rl,l),d(il,l),d(ol,l),d(Dl,l),d(ul,l),d(dl,l),d(Pl,l),d(x,l),d(_l,l),d(ss,l),d(Qs,l),d(Ws,l),d(Es,l),Te[Zl].d(l),we[Bl].d(l),d(Fs,l),ue[Rl].d(l),Q&&Q.d(l),d(Ds,l),d(Ps,l),je[$l].d(l),ys.d(l),d(Os,l),de[Wl].d(l),d(ee,l),d(te,l),d(ne,l),d(Me,l),d(re,l),d(ce,l),d(Je,l),d(Ue,l),rs.d(l),W&&W.d(l),d(oe,l)}}}const xa='{"title":"因果言語モデルを一から学習","local":"因果言語モデルを一から学習","sections":[{"title":"データを収集する","local":"データを収集する","sections":[],"depth":2},{"title":"データセットの準備","local":"データセットの準備","sections":[],"depth":2},{"title":"新しいモデルを初期化する","local":"新しいモデルを初期化する","sections":[],"depth":2},{"title":"パイプラインによるコード生成","local":"パイプラインによるコード生成","sections":[],"depth":2},{"title":"🤗 Accelerate を使ったトレーニング","local":"-accelerate-を使ったトレーニング","sections":[],"depth":2}],"depth":1}';function Ya(_,n,i){let M="pt";return ua(()=>{const C=new URLSearchParams(window.location.search);i(0,M=C.get("fw")||"pt")}),[M]}class Pa extends ja{constructor(n){super(),da(this,n,Ya,Na,Ta,{})}}export{Pa as component};

Xet Storage Details

Size:
127 kB
·
Xet hash:
1277077268ce6b3631730e5c30b6c9dec7f8820306be26431297be96e0320e6b

Xet efficiently stores files, intelligently splitting them into unique chunks and accelerating uploads and downloads. More info.