course/pr_1069/ja/_app/immutable/nodes/15.cf536c4e.js

import{s as Ml,o as $l}from"../chunks/scheduler.37c15a92.js";import{S as yl,i as Tl,g as b,s as p,r as M,A as kl,h as _,f as r,c as f,j as ul,u as $,x as d,k as bl,y as wl,a as o,v as y,t as c,b as je,d as m,w as T,p as Ce}from"../chunks/index.7cb9c9b8.js";import{Y as _l}from"../chunks/Youtube.8666c400.js";import{C as g}from"../chunks/CodeBlock.abae2786.js";import{C as dl}from"../chunks/CourseFloatingBanner.df82c153.js";import{F as gl}from"../chunks/FrameworkSwitchCourse.97630871.js";import{H as He,E as Jl}from"../chunks/getInferenceSnippets.f9350a3f.js";function hl(u){let l,s;return l=new dl({props:{chapter:2,classNames:"absolute z-10 right-0 top-0",notebooks:[{label:"Google Colab",value:"https://colab.research.google.com/github/huggingface/notebooks/blob/master/course/en/chapter2/section3_tf.ipynb"},{label:"Aws Studio",value:"https://studiolab.sagemaker.aws/import/github/huggingface/notebooks/blob/master/course/en/chapter2/section3_tf.ipynb"}]}}),{c(){M(l.$$.fragment)},l(t){$(l.$$.fragment,t)},m(t,i){y(l,t,i),s=!0},i(t){s||(m(l.$$.fragment,t),s=!0)},o(t){c(l.$$.fragment,t),s=!1},d(t){T(l,t)}}}function jl(u){let l,s;return l=new dl({props:{chapter:2,classNames:"absolute z-10 right-0 top-0",notebooks:[{label:"Google Colab",value:"https://colab.research.google.com/github/huggingface/notebooks/blob/master/course/en/chapter2/section3_pt.ipynb"},{label:"Aws Studio",value:"https://studiolab.sagemaker.aws/import/github/huggingface/notebooks/blob/master/course/en/chapter2/section3_pt.ipynb"}]}}),{c(){M(l.$$.fragment)},l(t){$(l.$$.fragment,t)},m(t,i){y(l,t,i),s=!0},i(t){s||(m(l.$$.fragment,t),s=!0)},o(t){c(l.$$.fragment,t),s=!1},d(t){T(l,t)}}}function Cl(u){let l,s;return l=new _l({props:{id:"d3JVgghSOew"}}),{c(){M(l.$$.fragment)},l(t){$(l.$$.fragment,t)},m(t,i){y(l,t,i),s=!0},i(t){s||(m(l.$$.fragment,t),s=!0)},o(t){c(l.$$.fragment,t),s=!1},d(t){T(l,t)}}}function vl(u){let l,s;return l=new _l({props:{id:"AhChOFRegn4"}}),{c(){M(l.$$.fragment)},l(t){$(l.$$.fragment,t)},m(t,i){y(l,t,i),s=!0},i(t){s||(m(l.$$.fragment,t),s=!0)},o(t){c(l.$$.fragment,t),s=!1},d(t){T(l,t)}}}function Zl(u){let l,s="このセクションでは、モデルの作成と使用について詳しく見ていきます。ここでは、チェックポイントから任意のモデルをインスタンス化する際に便利な <code>TFAutoModel</code> クラスを使用します。",t,i,k="<code>TFAutoModel</code> クラスとその関連クラスは、実際にはライブラリで利用可能な様々なモデルに対する単純なラッパーです。このクラスは、チェックポイントに適したモデルのアーキテクチャを自動的に推測し、そのアーキテクチャを持つモデルをインスタンス化することができる賢いラッパーです。";return{c(){l=b("p"),l.innerHTML=s,t=p(),i=b("p"),i.innerHTML=k},l(a){l=_(a,"P",{"data-svelte-h":!0}),d(l)!=="svelte-rp3hpa"&&(l.innerHTML=s),t=f(a),i=_(a,"P",{"data-svelte-h":!0}),d(i)!=="svelte-qwczry"&&(i.innerHTML=k)},m(a,w){o(a,l,w),o(a,t,w),o(a,i,w)},d(a){a&&(r(l),r(t),r(i))}}}function Bl(u){let l,s="このセクションでは、モデルの作成と使用について詳しく見ていきます。ここでは、チェックポイントから任意のモデルをインスタンス化する際に便利な <code>AutoModel</code> クラスを使用します。",t,i,k="<code>AutoModel</code> クラスとその関連クラスは、実際にはライブラリで利用可能な様々なモデルを覆うシンプルなラッパーです。このクラスは、チェックポイントに適したモデルのアーキテクチャを自動的に推測し、そのアーキテクチャを持つモデルをインスタンス化することができる賢いラッパーです。";return{c(){l=b("p"),l.innerHTML=s,t=p(),i=b("p"),i.innerHTML=k},l(a){l=_(a,"P",{"data-svelte-h":!0}),d(l)!=="svelte-1lh35hk"&&(l.innerHTML=s),t=f(a),i=_(a,"P",{"data-svelte-h":!0}),d(i)!=="svelte-af36ph"&&(i.innerHTML=k)},m(a,w){o(a,l,w),o(a,t,w),o(a,i,w)},d(a){a&&(r(l),r(t),r(i))}}}function Ul(u){let l,s;return l=new g({props:{code:"ZnJvbSUyMHRyYW5zZm9ybWVycyUyMGltcG9ydCUyMEJlcnRDb25maWclMkMlMjBURkJlcnRNb2RlbCUwQSUwQSUyMyUyMEJ1aWxkaW5nJTIwdGhlJTIwY29uZmlnJTBBY29uZmlnJTIwJTNEJTIwQmVydENvbmZpZygpJTBBJTBBJTIzJTIwQnVpbGRpbmclMjB0aGUlMjBtb2RlbCUyMGZyb20lMjB0aGUlMjBjb25maWclMEFtb2RlbCUyMCUzRCUyMFRGQmVydE1vZGVsKGNvbmZpZyk=",highlighted:`<span class="hljs-keyword">from</span> transformers <span class="hljs-keyword">import</span> BertConfig, TFBertModel

<span class="hljs-comment"># Building the config</span>
config = BertConfig()

<span class="hljs-comment"># Building the model from the config</span>
model = TFBertModel(config)`,wrap:!1}}),{c(){M(l.$$.fragment)},l(t){$(l.$$.fragment,t)},m(t,i){y(l,t,i),s=!0},i(t){s||(m(l.$$.fragment,t),s=!0)},o(t){c(l.$$.fragment,t),s=!1},d(t){T(l,t)}}}function Wl(u){let l,s;return l=new g({props:{code:"ZnJvbSUyMHRyYW5zZm9ybWVycyUyMGltcG9ydCUyMEJlcnRDb25maWclMkMlMjBCZXJ0TW9kZWwlMEElMEElMjMlMjBCdWlsZGluZyUyMHRoZSUyMGNvbmZpZyUwQWNvbmZpZyUyMCUzRCUyMEJlcnRDb25maWcoKSUwQSUwQSUyMyUyMEJ1aWxkaW5nJTIwdGhlJTIwbW9kZWwlMjBmcm9tJTIwdGhlJTIwY29uZmlnJTBBbW9kZWwlMjAlM0QlMjBCZXJ0TW9kZWwoY29uZmlnKQ==",highlighted:`<span class="hljs-keyword">from</span> transformers <span class="hljs-keyword">import</span> BertConfig, BertModel

<span class="hljs-comment"># Building the config</span>
config = BertConfig()

<span class="hljs-comment"># Building the model from the config</span>
model = BertModel(config)`,wrap:!1}}),{c(){M(l.$$.fragment)},l(t){$(l.$$.fragment,t)},m(t,i){y(l,t,i),s=!0},i(t){s||(m(l.$$.fragment,t),s=!0)},o(t){c(l.$$.fragment,t),s=!1},d(t){T(l,t)}}}function El(u){let l,s;return l=new g({props:{code:"ZnJvbSUyMHRyYW5zZm9ybWVycyUyMGltcG9ydCUyMEJlcnRDb25maWclMkMlMjBURkJlcnRNb2RlbCUwQSUwQWNvbmZpZyUyMCUzRCUyMEJlcnRDb25maWcoKSUwQW1vZGVsJTIwJTNEJTIwVEZCZXJ0TW9kZWwoY29uZmlnKSUwQSUwQSUyMyUyME1vZGVsJTIwaXMlMjByYW5kb21seSUyMGluaXRpYWxpemVkIQ==",highlighted:`<span class="hljs-keyword">from</span> transformers <span class="hljs-keyword">import</span> BertConfig, TFBertModel

config = BertConfig()
model = TFBertModel(config)

<span class="hljs-comment"># Model is randomly initialized!</span>`,wrap:!1}}),{c(){M(l.$$.fragment)},l(t){$(l.$$.fragment,t)},m(t,i){y(l,t,i),s=!0},i(t){s||(m(l.$$.fragment,t),s=!0)},o(t){c(l.$$.fragment,t),s=!1},d(t){T(l,t)}}}function Il(u){let l,s;return l=new g({props:{code:"ZnJvbSUyMHRyYW5zZm9ybWVycyUyMGltcG9ydCUyMEJlcnRDb25maWclMkMlMjBCZXJ0TW9kZWwlMEElMEFjb25maWclMjAlM0QlMjBCZXJ0Q29uZmlnKCklMEFtb2RlbCUyMCUzRCUyMEJlcnRNb2RlbChjb25maWcpJTBBJTBBJTIzJTIwTW9kZWwlMjBpcyUyMHJhbmRvbWx5JTIwaW5pdGlhbGl6ZWQh",highlighted:`<span class="hljs-keyword">from</span> transformers <span class="hljs-keyword">import</span> BertConfig, BertModel

config = BertConfig()
model = BertModel(config)

<span class="hljs-comment"># Model is randomly initialized!</span>`,wrap:!1}}),{c(){M(l.$$.fragment)},l(t){$(l.$$.fragment,t)},m(t,i){y(l,t,i),s=!0},i(t){s||(m(l.$$.fragment,t),s=!0)},o(t){c(l.$$.fragment,t),s=!1},d(t){T(l,t)}}}function xl(u){let l,s,t,i="先ほど見たように、 <code>TFBertModel</code> を同等のクラスである <code>TFAutoModel</code> に置き換えることができます。チェックポイントに依存しないコードを生成するため、今後はこの方法をとります。あるチェックポイントで動作するコードは、別のチェックポイントでもシームレスに動作するはずです。これはアーキテクチャが異なっていても、チェックポイントが同様のタスク (例えばセンチメント分析タスク) に対して学習されたものである限り、当てはまります。",k;return l=new g({props:{code:"ZnJvbSUyMHRyYW5zZm9ybWVycyUyMGltcG9ydCUyMFRGQmVydE1vZGVsJTBBJTBBbW9kZWwlMjAlM0QlMjBURkJlcnRNb2RlbC5mcm9tX3ByZXRyYWluZWQoJTIyYmVydC1iYXNlLWNhc2VkJTIyKQ==",highlighted:`<span class="hljs-keyword">from</span> transformers <span class="hljs-keyword">import</span> TFBertModel

model = TFBertModel.from_pretrained(<span class="hljs-string">&quot;bert-base-cased&quot;</span>)`,wrap:!1}}),{c(){M(l.$$.fragment),s=p(),t=b("p"),t.innerHTML=i},l(a){$(l.$$.fragment,a),s=f(a),t=_(a,"P",{"data-svelte-h":!0}),d(t)!=="svelte-jkzvh7"&&(t.innerHTML=i)},m(a,w){y(l,a,w),o(a,s,w),o(a,t,w),k=!0},i(a){k||(m(l.$$.fragment,a),k=!0)},o(a){c(l.$$.fragment,a),k=!1},d(a){a&&(r(s),r(t)),T(l,a)}}}function Rl(u){let l,s,t,i="先ほど見たように、 <code>BertModel</code> を同等のクラスである <code>AutoModel</code> に置き換えることができます。チェックポイントに依存しないコードを生成するため、今後はこの方法をとります。あるチェックポイントで動作するコードは、別のチェックポイントでもシームレスに動作するはずです。これはアーキテクチャが異なっていても、チェックポイントが同様のタスク (例えばセンチメント分析タスク) に対して学習されたものである限り、当てはまります。",k;return l=new g({props:{code:"ZnJvbSUyMHRyYW5zZm9ybWVycyUyMGltcG9ydCUyMEJlcnRNb2RlbCUwQSUwQW1vZGVsJTIwJTNEJTIwQmVydE1vZGVsLmZyb21fcHJldHJhaW5lZCglMjJiZXJ0LWJhc2UtY2FzZWQlMjIp",highlighted:`<span class="hljs-keyword">from</span> transformers <span class="hljs-keyword">import</span> BertModel

model = BertModel.from_pretrained(<span class="hljs-string">&quot;bert-base-cased&quot;</span>)`,wrap:!1}}),{c(){M(l.$$.fragment),s=p(),t=b("p"),t.innerHTML=i},l(a){$(l.$$.fragment,a),s=f(a),t=_(a,"P",{"data-svelte-h":!0}),d(t)!=="svelte-oj1k5z"&&(t.innerHTML=i)},m(a,w){y(l,a,w),o(a,s,w),o(a,t,w),k=!0},i(a){k||(m(l.$$.fragment,a),k=!0)},o(a){c(l.$$.fragment,a),k=!1},d(a){a&&(r(s),r(t)),T(l,a)}}}function Hl(u){let l,s;return l=new g({props:{code:"bHMlMjBkaXJlY3Rvcnlfb25fbXlfY29tcHV0ZXIlMEElMEFjb25maWcuanNvbiUyMHRmX21vZGVsLmg1",highlighted:`ls <span class="hljs-keyword">directory_on_my_computer
</span>
<span class="hljs-built_in">config</span>.<span class="hljs-keyword">json </span>tf_model.h5`,wrap:!1}}),{c(){M(l.$$.fragment)},l(t){$(l.$$.fragment,t)},m(t,i){y(l,t,i),s=!0},i(t){s||(m(l.$$.fragment,t),s=!0)},o(t){c(l.$$.fragment,t),s=!1},d(t){T(l,t)}}}function Vl(u){let l,s;return l=new g({props:{code:"bHMlMjBkaXJlY3Rvcnlfb25fbXlfY29tcHV0ZXIlMEElMEFjb25maWcuanNvbiUyMG1vZGVsLnNhZmV0ZW5zb3Jz",highlighted:`ls <span class="hljs-keyword">directory_on_my_computer
</span>
<span class="hljs-built_in">config</span>.<span class="hljs-keyword">json </span>model.safetensors`,wrap:!1}}),{c(){M(l.$$.fragment)},l(t){$(l.$$.fragment,t)},m(t,i){y(l,t,i),s=!0},i(t){s||(m(l.$$.fragment,t),s=!0)},o(t){c(l.$$.fragment,t),s=!1},d(t){T(l,t)}}}function Gl(u){let l,s="<em>tf_model.h5</em>ファイルは<em>state dictionary</em>として知られており、すべてのモデルの重みが含まれています。この2つのファイルは密接に関係しています。設定はモデルのアーキテクチャを知るために必要であり、モデルの重みはモデルのパラメータです。";return{c(){l=b("p"),l.innerHTML=s},l(t){l=_(t,"P",{"data-svelte-h":!0}),d(l)!=="svelte-peffor"&&(l.innerHTML=s)},m(t,i){o(t,l,i)},d(t){t&&r(l)}}}function Nl(u){let l,s="<em>model.safetensors</em> ファイルは <em>state dictionary</em> として知られており、モデルのすべての重みが含まれています。この2つのファイルは密接に関係しています。コンフィギュレーションはモデルのアーキテクチャを知るために必要であり、モデルの重みはモデルのパラメータです。";return{c(){l=b("p"),l.innerHTML=s},l(t){l=_(t,"P",{"data-svelte-h":!0}),d(l)!=="svelte-m7hoyd"&&(l.innerHTML=s)},m(t,i){o(t,l,i)},d(t){t&&r(l)}}}function zl(u){let l,s;return l=new g({props:{code:"aW1wb3J0JTIwdGVuc29yZmxvdyUyMGFzJTIwdGYlMEElMEFtb2RlbF9pbnB1dHMlMjAlM0QlMjB0Zi5jb25zdGFudChlbmNvZGVkX3NlcXVlbmNlcyk=",highlighted:`<span class="hljs-keyword">import</span> tensorflow <span class="hljs-keyword">as</span> tf

model_inputs = tf.constant(encoded_sequences)`,wrap:!1}}),{c(){M(l.$$.fragment)},l(t){$(l.$$.fragment,t)},m(t,i){y(l,t,i),s=!0},i(t){s||(m(l.$$.fragment,t),s=!0)},o(t){c(l.$$.fragment,t),s=!1},d(t){T(l,t)}}}function Ll(u){let l,s;return l=new g({props:{code:"aW1wb3J0JTIwdG9yY2glMEElMEFtb2RlbF9pbnB1dHMlMjAlM0QlMjB0b3JjaC50ZW5zb3IoZW5jb2RlZF9zZXF1ZW5jZXMp",highlighted:`<span class="hljs-keyword">import</span> torch

model_inputs = torch.tensor(encoded_sequences)`,wrap:!1}}),{c(){M(l.$$.fragment)},l(t){$(l.$$.fragment,t)},m(t,i){y(l,t,i),s=!0},i(t){s||(m(l.$$.fragment,t),s=!0)},o(t){c(l.$$.fragment,t),s=!1},d(t){T(l,t)}}}function Ql(u){let l,s,t,i,k,a,w,Ge,J,h,ve,j,C,Ze,Be,N,Zt="しかし、使用したいモデルの種類がわかっている場合は、そのアーキテクチャを定義するクラスを直接使用することができます。BERTモデルでこれがどのように機能するかを見てみましょう。",Ne,z,ze,L,Bt="BERTモデルを初期化するために最初にしなければならないことは、コンフィギュレーションオブジェクトをロードすることです。",Le,v,Z,Ue,Q,Ut="コンフィギュレーションには、モデルを構築するために使用される多くの属性が含まれています。",Qe,A,Ae,F,Fe,X,Wt="我々は、これらの属性のすべてが何をするかまだ見ていませんが、そのうちのいくつかを認識する必要があります: <code>hidden_​​size</code> 属性は <code>hidden_​​states</code> ベクトルのサイズを定義し、<code>num_hidden_​​layers</code> は Transformer モデルが持つレイヤーの数を定義します。",Xe,P,Pe,Y,Et="デフォルトのコンフィギュレーション(設定)からモデルを作成すると、ランダムな値で初期化されます。",Ye,B,U,We,S,It='この状態でもモデルは使えますが、意味不明な出力になってしまうので、まず学習させる必要があります。手元のタスクに対して一からモデルを学習させることもできますが、<a href="/course/chapter1">第1章</a>で見たように、長い時間と多くのデータを必要とし、環境負荷も無視できないものになるでしょう。無駄な努力や重複を避けるためには、既に学習済みのモデルを共有・再利用できることが必須です。',Se,q,xt="既に学習済みのTransformerモデルをロードするのは簡単です。<code>from_pretrained()</code> メソッドを使ってこれを行うことができます。",qe,W,E,Ee,D,Rt='上記のコードサンプルでは <code>BertConfig</code> を使用せず、代わりに <code>bert-base-cased</code> を介して事前に学習されたモデルをロードしています。これはBERTの作者自身によって学習されたモデルのチェックポイントです。これについての詳細はその<a href="https://huggingface.co/bert-base-cased" rel="nofollow">モデルカード</a>に記載されています。',De,K,Ht="このモデルは現在、チェックポイントのすべての重みで初期化されています。これは訓練されたタスクの推論に直接使用することができ、また、新しいタスクでファインチューニングすることができます。ゼロからではなく、事前に学習させた重みを用いて学習させることで、迅速に良い結果を得ることができます。",Ke,O,Vt="重みはダウンロードされ、キャッシュフォルダ（デフォルトは <em>~/.cache/huggingface/transformers</em> ）に保存されます（将来 <code>from_pretrained()</code> メソッドを呼び出したときに再ダウンロードされないようにするため）。環境変数 <code>HF_HOME</code> を設定することで、キャッシュフォルダをカスタマイズすることができます。",Oe,ee,Gt='モデルをロードするために使用される識別子は、BERTアーキテクチャと互換性がある限り、モデルハブ上の任意のモデルの識別子を使用することができます。利用可能なBERTチェックポイントの全リストは、<a href="https://huggingface.co/models?filter=bert" rel="nofollow">ここ</a>で確認できます。',et,te,tt,le,Nt="モデルの保存はロードするのと同じくらい簡単で、<code>from_pretrained()</code> メソッドに類似した <code>save_pretrained()</code> メソッドを使用します。",lt,ne,nt,se,zt="これにより、2つのファイルがディスクに保存されます。",st,I,x,Ie,re,Lt="<em>config.json</em> ファイルを見てみると、モデルアーキテクチャを構築するために必要な属性がわかると思います。このファイルには、チェックポイントがどこで発生したのか、最後にチェックポイントを保存したときに使用していた🤗 Transformersのバージョンなどのメタデータも含まれています。",rt,xe,oe,ot,ie,Qt="さて、モデルをロードして保存する方法がわかったので、それを使って予測をしてみましょう。トランスフォーマーモデルは数値、つまりトークナイザが生成する数値だけを処理することができます。しかし、トークナイザについて説明する前に、モデルがどのような入力を受け入れるかを探ってみましょう。",it,ae,At="トークナイザは入力を適切なフレームワークのテンソルにキャストすることを引き受けてくれますが、何が起こっているかを理解するために、入力をモデルに送る前に行わなければならないことを簡単に見てみましょう。",at,pe,Ft="例えば、いくつかの文があるとします。",pt,fe,ft,ce,Xt="トークナイザはこれらを一般に<em>入力ID</em>と呼ばれる語彙のインデックスに変換します。各文は今は数字の羅列です。その結果、出力は次のようになります。",ct,me,mt,ue,Pt="これはエンコードされた文のリストであり、リストのリストです。テンソルは長方形の形しか受け付けません（行列を考えてみましょう）。この「配列」はすでに矩形であるので、テンソルに変換するのは簡単です。",ut,R,H,Re,be,bt,_e,Yt="モデルでテンソルを使うのは非常に簡単で、モデルの呼び出し時に入力として渡すだけです。",_t,de,dt,Me,St=`このモデルは多くの異なる引数を受け付けますが、必要なのは入力IDだけです。他の引数が何をするのか、いつ必要なのかは後で説明します。
しかし、まずはTransformerモデルが理解できる入力を構築するトークナイザを詳しく見る必要があります。`,Mt,$e,$t,Ve,yt;k=new gl({props:{fw:u[0]}}),w=new He({props:{title:"モデル",local:"モデル",headingTag:"h1"}});const qt=[jl,hl],ye=[];function Dt(e,n){return e[0]==="pt"?0:1}J=Dt(u),h=ye[J]=qt[J](u);const Kt=[vl,Cl],Te=[];function Ot(e,n){return e[0]==="pt"?0:1}j=Ot(u),C=Te[j]=Kt[j](u);function el(e,n){return e[0]==="pt"?Bl:Zl}let Tt=el(u),V=Tt(u);z=new He({props:{title:"トランスフォーマーモデルを作成する",local:"トランスフォーマーモデルを作成する",headingTag:"h2"}});const tl=[Wl,Ul],ke=[];function ll(e,n){return e[0]==="pt"?0:1}v=ll(u),Z=ke[v]=tl[v](u),A=new g({props:{code:"cHJpbnQoY29uZmlnKQ==",highlighted:'<span class="hljs-built_in">print</span>(config)',wrap:!1}}),F=new g({props:{code:"QmVydENvbmZpZyUyMCU3QiUwQSUyMCUyMCU1Qi4uLiU1RCUwQSUyMCUyMCUyMmhpZGRlbl9zaXplJTIyJTNBJTIwNzY4JTJDJTBBJTIwJTIwJTIyaW50ZXJtZWRpYXRlX3NpemUlMjIlM0ElMjAzMDcyJTJDJTBBJTIwJTIwJTIybWF4X3Bvc2l0aW9uX2VtYmVkZGluZ3MlMjIlM0ElMjA1MTIlMkMlMEElMjAlMjAlMjJudW1fYXR0ZW50aW9uX2hlYWRzJTIyJTNBJTIwMTIlMkMlMEElMjAlMjAlMjJudW1faGlkZGVuX2xheWVycyUyMiUzQSUyMDEyJTJDJTBBJTIwJTIwJTVCLi4uJTVEJTBBJTdE",highlighted:`BertConfig {
  [...]
  <span class="hljs-string">&quot;hidden_size&quot;</span>: <span class="hljs-number">768</span>,
  <span class="hljs-string">&quot;intermediate_size&quot;</span>: <span class="hljs-number">3072</span>,
  <span class="hljs-string">&quot;max_position_embeddings&quot;</span>: <span class="hljs-number">512</span>,
  <span class="hljs-string">&quot;num_attention_heads&quot;</span>: <span class="hljs-number">12</span>,
  <span class="hljs-string">&quot;num_hidden_layers&quot;</span>: <span class="hljs-number">12</span>,
  [...]
}`,wrap:!1}}),P=new He({props:{title:"さまざまなローディング方法",local:"さまざまなローディング方法",headingTag:"h3"}});const nl=[Il,El],we=[];function sl(e,n){return e[0]==="pt"?0:1}B=sl(u),U=we[B]=nl[B](u);const rl=[Rl,xl],ge=[];function ol(e,n){return e[0]==="pt"?0:1}W=ol(u),E=ge[W]=rl[W](u),te=new He({props:{title:"保存方法",local:"保存方法",headingTag:"h3"}}),ne=new g({props:{code:"bW9kZWwuc2F2ZV9wcmV0cmFpbmVkKCUyMmRpcmVjdG9yeV9vbl9teV9jb21wdXRlciUyMik=",highlighted:'model.save_pretrained(<span class="hljs-string">&quot;directory_on_my_computer&quot;</span>)',wrap:!1}});const il=[Vl,Hl],Je=[];function al(e,n){return e[0]==="pt"?0:1}I=al(u),x=Je[I]=il[I](u);function pl(e,n){return e[0]==="pt"?Nl:Gl}let kt=pl(u),G=kt(u);oe=new He({props:{title:"推論のためのトランスフォーマーモデルの使用",local:"推論のためのトランスフォーマーモデルの使用",headingTag:"h2"}}),fe=new g({props:{code:"c2VxdWVuY2VzJTIwJTNEJTIwJTVCJTIySGVsbG8hJTIyJTJDJTIwJTIyQ29vbC4lMjIlMkMlMjAlMjJOaWNlISUyMiU1RA==",highlighted:'sequences = [<span class="hljs-string">&quot;Hello!&quot;</span>, <span class="hljs-string">&quot;Cool.&quot;</span>, <span class="hljs-string">&quot;Nice!&quot;</span>]',wrap:!1}}),me=new g({props:{code:"ZW5jb2RlZF9zZXF1ZW5jZXMlMjAlM0QlMjAlNUIlMEElMjAlMjAlMjAlMjAlNUIxMDElMkMlMjA3NTkyJTJDJTIwOTk5JTJDJTIwMTAyJTVEJTJDJTBBJTIwJTIwJTIwJTIwJTVCMTAxJTJDJTIwNDY1OCUyQyUyMDEwMTIlMkMlMjAxMDIlNUQlMkMlMEElMjAlMjAlMjAlMjAlNUIxMDElMkMlMjAzODM1JTJDJTIwOTk5JTJDJTIwMTAyJTVEJTJDJTBBJTVE",highlighted:`encoded_sequences = [
    [<span class="hljs-number">101</span>, <span class="hljs-number">7592</span>, <span class="hljs-number">999</span>, <span class="hljs-number">102</span>],
    [<span class="hljs-number">101</span>, <span class="hljs-number">4658</span>, <span class="hljs-number">1012</span>, <span class="hljs-number">102</span>],
    [<span class="hljs-number">101</span>, <span class="hljs-number">3835</span>, <span class="hljs-number">999</span>, <span class="hljs-number">102</span>],
]`,wrap:!1}});const fl=[Ll,zl],he=[];function cl(e,n){return e[0]==="pt"?0:1}return R=cl(u),H=he[R]=fl[R](u),be=new He({props:{title:"モデルの入力としてのテンソルの使用",local:"モデルの入力としてのテンソルの使用",headingTag:"h3"}}),de=new g({props:{code:"b3V0cHV0JTIwJTNEJTIwbW9kZWwobW9kZWxfaW5wdXRzKQ==",highlighted:"output = model(model_inputs)",wrap:!1}}),$e=new Jl({props:{source:"https://github.com/huggingface/course/blob/main/chapters/ja/chapter2/3.mdx"}}),{c(){l=b("meta"),s=p(),t=b("p"),i=p(),M(k.$$.fragment),a=p(),M(w.$$.fragment),Ge=p(),h.c(),ve=p(),C.c(),Ze=p(),V.c(),Be=p(),N=b("p"),N.textContent=Zt,Ne=p(),M(z.$$.fragment),ze=p(),L=b("p"),L.textContent=Bt,Le=p(),Z.c(),Ue=p(),Q=b("p"),Q.textContent=Ut,Qe=p(),M(A.$$.fragment),Ae=p(),M(F.$$.fragment),Fe=p(),X=b("p"),X.innerHTML=Wt,Xe=p(),M(P.$$.fragment),Pe=p(),Y=b("p"),Y.textContent=Et,Ye=p(),U.c(),We=p(),S=b("p"),S.innerHTML=It,Se=p(),q=b("p"),q.innerHTML=xt,qe=p(),E.c(),Ee=p(),D=b("p"),D.innerHTML=Rt,De=p(),K=b("p"),K.textContent=Ht,Ke=p(),O=b("p"),O.innerHTML=Vt,Oe=p(),ee=b("p"),ee.innerHTML=Gt,et=p(),M(te.$$.fragment),tt=p(),le=b("p"),le.innerHTML=Nt,lt=p(),M(ne.$$.fragment),nt=p(),se=b("p"),se.textContent=zt,st=p(),x.c(),Ie=p(),re=b("p"),re.innerHTML=Lt,rt=p(),G.c(),xe=p(),M(oe.$$.fragment),ot=p(),ie=b("p"),ie.textContent=Qt,it=p(),ae=b("p"),ae.textContent=At,at=p(),pe=b("p"),pe.textContent=Ft,pt=p(),M(fe.$$.fragment),ft=p(),ce=b("p"),ce.innerHTML=Xt,ct=p(),M(me.$$.fragment),mt=p(),ue=b("p"),ue.textContent=Pt,ut=p(),H.c(),Re=p(),M(be.$$.fragment),bt=p(),_e=b("p"),_e.textContent=Yt,_t=p(),M(de.$$.fragment),dt=p(),Me=b("p"),Me.textContent=St,Mt=p(),M($e.$$.fragment),$t=p(),Ve=b("p"),this.h()},l(e){const n=kl("svelte-u9bgzb",document.head);l=_(n,"META",{name:!0,content:!0}),n.forEach(r),s=f(e),t=_(e,"P",{}),ul(t).forEach(r),i=f(e),$(k.$$.fragment,e),a=f(e),$(w.$$.fragment,e),Ge=f(e),h.l(e),ve=f(e),C.l(e),Ze=f(e),V.l(e),Be=f(e),N=_(e,"P",{"data-svelte-h":!0}),d(N)!=="svelte-1b2b4r0"&&(N.textContent=Zt),Ne=f(e),$(z.$$.fragment,e),ze=f(e),L=_(e,"P",{"data-svelte-h":!0}),d(L)!=="svelte-bt4ex9"&&(L.textContent=Bt),Le=f(e),Z.l(e),Ue=f(e),Q=_(e,"P",{"data-svelte-h":!0}),d(Q)!=="svelte-iqsxll"&&(Q.textContent=Ut),Qe=f(e),$(A.$$.fragment,e),Ae=f(e),$(F.$$.fragment,e),Fe=f(e),X=_(e,"P",{"data-svelte-h":!0}),d(X)!=="svelte-1idjgja"&&(X.innerHTML=Wt),Xe=f(e),$(P.$$.fragment,e),Pe=f(e),Y=_(e,"P",{"data-svelte-h":!0}),d(Y)!=="svelte-19zulca"&&(Y.textContent=Et),Ye=f(e),U.l(e),We=f(e),S=_(e,"P",{"data-svelte-h":!0}),d(S)!=="svelte-8ey5b2"&&(S.innerHTML=It),Se=f(e),q=_(e,"P",{"data-svelte-h":!0}),d(q)!=="svelte-ezbjkd"&&(q.innerHTML=xt),qe=f(e),E.l(e),Ee=f(e),D=_(e,"P",{"data-svelte-h":!0}),d(D)!=="svelte-1tgzrgv"&&(D.innerHTML=Rt),De=f(e),K=_(e,"P",{"data-svelte-h":!0}),d(K)!=="svelte-6iw1by"&&(K.textContent=Ht),Ke=f(e),O=_(e,"P",{"data-svelte-h":!0}),d(O)!=="svelte-jo3vr8"&&(O.innerHTML=Vt),Oe=f(e),ee=_(e,"P",{"data-svelte-h":!0}),d(ee)!=="svelte-1pdt9z"&&(ee.innerHTML=Gt),et=f(e),$(te.$$.fragment,e),tt=f(e),le=_(e,"P",{"data-svelte-h":!0}),d(le)!=="svelte-1wpooyu"&&(le.innerHTML=Nt),lt=f(e),$(ne.$$.fragment,e),nt=f(e),se=_(e,"P",{"data-svelte-h":!0}),d(se)!=="svelte-1pb3vmo"&&(se.textContent=zt),st=f(e),x.l(e),Ie=f(e),re=_(e,"P",{"data-svelte-h":!0}),d(re)!=="svelte-1njuu5t"&&(re.innerHTML=Lt),rt=f(e),G.l(e),xe=f(e),$(oe.$$.fragment,e),ot=f(e),ie=_(e,"P",{"data-svelte-h":!0}),d(ie)!=="svelte-w3hy8e"&&(ie.textContent=Qt),it=f(e),ae=_(e,"P",{"data-svelte-h":!0}),d(ae)!=="svelte-2g8gjm"&&(ae.textContent=At),at=f(e),pe=_(e,"P",{"data-svelte-h":!0}),d(pe)!=="svelte-8t1nuk"&&(pe.textContent=Ft),pt=f(e),$(fe.$$.fragment,e),ft=f(e),ce=_(e,"P",{"data-svelte-h":!0}),d(ce)!=="svelte-1azh592"&&(ce.innerHTML=Xt),ct=f(e),$(me.$$.fragment,e),mt=f(e),ue=_(e,"P",{"data-svelte-h":!0}),d(ue)!=="svelte-ghuus7"&&(ue.textContent=Pt),ut=f(e),H.l(e),Re=f(e),$(be.$$.fragment,e),bt=f(e),_e=_(e,"P",{"data-svelte-h":!0}),d(_e)!=="svelte-8czuu3"&&(_e.textContent=Yt),_t=f(e),$(de.$$.fragment,e),dt=f(e),Me=_(e,"P",{"data-svelte-h":!0}),d(Me)!=="svelte-bcnn37"&&(Me.textContent=St),Mt=f(e),$($e.$$.fragment,e),$t=f(e),Ve=_(e,"P",{}),ul(Ve).forEach(r),this.h()},h(){bl(l,"name","hf:doc:metadata"),bl(l,"content",Al)},m(e,n){wl(document.head,l),o(e,s,n),o(e,t,n),o(e,i,n),y(k,e,n),o(e,a,n),y(w,e,n),o(e,Ge,n),ye[J].m(e,n),o(e,ve,n),Te[j].m(e,n),o(e,Ze,n),V.m(e,n),o(e,Be,n),o(e,N,n),o(e,Ne,n),y(z,e,n),o(e,ze,n),o(e,L,n),o(e,Le,n),ke[v].m(e,n),o(e,Ue,n),o(e,Q,n),o(e,Qe,n),y(A,e,n),o(e,Ae,n),y(F,e,n),o(e,Fe,n),o(e,X,n),o(e,Xe,n),y(P,e,n),o(e,Pe,n),o(e,Y,n),o(e,Ye,n),we[B].m(e,n),o(e,We,n),o(e,S,n),o(e,Se,n),o(e,q,n),o(e,qe,n),ge[W].m(e,n),o(e,Ee,n),o(e,D,n),o(e,De,n),o(e,K,n),o(e,Ke,n),o(e,O,n),o(e,Oe,n),o(e,ee,n),o(e,et,n),y(te,e,n),o(e,tt,n),o(e,le,n),o(e,lt,n),y(ne,e,n),o(e,nt,n),o(e,se,n),o(e,st,n),Je[I].m(e,n),o(e,Ie,n),o(e,re,n),o(e,rt,n),G.m(e,n),o(e,xe,n),y(oe,e,n),o(e,ot,n),o(e,ie,n),o(e,it,n),o(e,ae,n),o(e,at,n),o(e,pe,n),o(e,pt,n),y(fe,e,n),o(e,ft,n),o(e,ce,n),o(e,ct,n),y(me,e,n),o(e,mt,n),o(e,ue,n),o(e,ut,n),he[R].m(e,n),o(e,Re,n),y(be,e,n),o(e,bt,n),o(e,_e,n),o(e,_t,n),y(de,e,n),o(e,dt,n),o(e,Me,n),o(e,Mt,n),y($e,e,n),o(e,$t,n),o(e,Ve,n),yt=!0},p(e,[n]){const ml={};n&1&&(ml.fw=e[0]),k.$set(ml);let wt=J;J=Dt(e),J!==wt&&(Ce(),c(ye[wt],1,1,()=>{ye[wt]=null}),je(),h=ye[J],h||(h=ye[J]=qt[J](e),h.c()),m(h,1),h.m(ve.parentNode,ve));let gt=j;j=Ot(e),j!==gt&&(Ce(),c(Te[gt],1,1,()=>{Te[gt]=null}),je(),C=Te[j],C||(C=Te[j]=Kt[j](e),C.c()),m(C,1),C.m(Ze.parentNode,Ze)),Tt!==(Tt=el(e))&&(V.d(1),V=Tt(e),V&&(V.c(),V.m(Be.parentNode,Be)));let Jt=v;v=ll(e),v!==Jt&&(Ce(),c(ke[Jt],1,1,()=>{ke[Jt]=null}),je(),Z=ke[v],Z||(Z=ke[v]=tl[v](e),Z.c()),m(Z,1),Z.m(Ue.parentNode,Ue));let ht=B;B=sl(e),B!==ht&&(Ce(),c(we[ht],1,1,()=>{we[ht]=null}),je(),U=we[B],U||(U=we[B]=nl[B](e),U.c()),m(U,1),U.m(We.parentNode,We));let jt=W;W=ol(e),W!==jt&&(Ce(),c(ge[jt],1,1,()=>{ge[jt]=null}),je(),E=ge[W],E||(E=ge[W]=rl[W](e),E.c()),m(E,1),E.m(Ee.parentNode,Ee));let Ct=I;I=al(e),I!==Ct&&(Ce(),c(Je[Ct],1,1,()=>{Je[Ct]=null}),je(),x=Je[I],x||(x=Je[I]=il[I](e),x.c()),m(x,1),x.m(Ie.parentNode,Ie)),kt!==(kt=pl(e))&&(G.d(1),G=kt(e),G&&(G.c(),G.m(xe.parentNode,xe)));let vt=R;R=cl(e),R!==vt&&(Ce(),c(he[vt],1,1,()=>{he[vt]=null}),je(),H=he[R],H||(H=he[R]=fl[R](e),H.c()),m(H,1),H.m(Re.parentNode,Re))},i(e){yt||(m(k.$$.fragment,e),m(w.$$.fragment,e),m(h),m(C),m(z.$$.fragment,e),m(Z),m(A.$$.fragment,e),m(F.$$.fragment,e),m(P.$$.fragment,e),m(U),m(E),m(te.$$.fragment,e),m(ne.$$.fragment,e),m(x),m(oe.$$.fragment,e),m(fe.$$.fragment,e),m(me.$$.fragment,e),m(H),m(be.$$.fragment,e),m(de.$$.fragment,e),m($e.$$.fragment,e),yt=!0)},o(e){c(k.$$.fragment,e),c(w.$$.fragment,e),c(h),c(C),c(z.$$.fragment,e),c(Z),c(A.$$.fragment,e),c(F.$$.fragment,e),c(P.$$.fragment,e),c(U),c(E),c(te.$$.fragment,e),c(ne.$$.fragment,e),c(x),c(oe.$$.fragment,e),c(fe.$$.fragment,e),c(me.$$.fragment,e),c(H),c(be.$$.fragment,e),c(de.$$.fragment,e),c($e.$$.fragment,e),yt=!1},d(e){e&&(r(s),r(t),r(i),r(a),r(Ge),r(ve),r(Ze),r(Be),r(N),r(Ne),r(ze),r(L),r(Le),r(Ue),r(Q),r(Qe),r(Ae),r(Fe),r(X),r(Xe),r(Pe),r(Y),r(Ye),r(We),r(S),r(Se),r(q),r(qe),r(Ee),r(D),r(De),r(K),r(Ke),r(O),r(Oe),r(ee),r(et),r(tt),r(le),r(lt),r(nt),r(se),r(st),r(Ie),r(re),r(rt),r(xe),r(ot),r(ie),r(it),r(ae),r(at),r(pe),r(pt),r(ft),r(ce),r(ct),r(mt),r(ue),r(ut),r(Re),r(bt),r(_e),r(_t),r(dt),r(Me),r(Mt),r($t),r(Ve)),r(l),T(k,e),T(w,e),ye[J].d(e),Te[j].d(e),V.d(e),T(z,e),ke[v].d(e),T(A,e),T(F,e),T(P,e),we[B].d(e),ge[W].d(e),T(te,e),T(ne,e),Je[I].d(e),G.d(e),T(oe,e),T(fe,e),T(me,e),he[R].d(e),T(be,e),T(de,e),T($e,e)}}}const Al='{"title":"モデル","local":"モデル","sections":[{"title":"トランスフォーマーモデルを作成する","local":"トランスフォーマーモデルを作成する","sections":[{"title":"さまざまなローディング方法","local":"さまざまなローディング方法","sections":[],"depth":3},{"title":"保存方法","local":"保存方法","sections":[],"depth":3}],"depth":2},{"title":"推論のためのトランスフォーマーモデルの使用","local":"推論のためのトランスフォーマーモデルの使用","sections":[{"title":"モデルの入力としてのテンソルの使用","local":"モデルの入力としてのテンソルの使用","sections":[],"depth":3}],"depth":2}],"depth":1}';function Fl(u,l,s){let t="pt";return $l(()=>{const i=new URLSearchParams(window.location.search);s(0,t=i.get("fw")||"pt")}),[t]}class Ol extends yl{constructor(l){super(),Tl(this,l,Fl,Ql,Ml,{})}}export{Ol as component};