transformers/main/ja/_app/immutable/nodes/133.0b2ee7b5.js

import{s as Fe,o as ze,n as Qe}from"../chunks/scheduler.9bc65507.js";import{S as Le,i as Ee,g as o,s as n,r as m,A as Oe,h as i,f as l,c as a,j as Ie,u as r,x as p,k as He,y as Ye,a as s,v as u,d as c,t as d,w as f}from"../chunks/index.707bf1b6.js";import{T as qe}from"../chunks/Tip.c2ecdbf4.js";import{C as M}from"../chunks/CodeBlock.54a9f38d.js";import{H as ft,E as Se}from"../chunks/EditOnGithub.922df6ba.js";function Pe(Mt){let b,y="<code>transformers.onnx</code>はもはやメンテナンスされていないため、モデルを上記で説明したように🤗 Optimumでエクスポートしてください。このセクションは将来のバージョンで削除されます。";return{c(){b=o("p"),b.innerHTML=y},l(g){b=i(g,"P",{"data-svelte-h":!0}),p(b)!=="svelte-haasss"&&(b.innerHTML=y)},m(g,dt){s(g,b,dt)},p:Qe,d(g){g&&l(b)}}}function Ae(Mt){let b,y,g,dt,h,gt,w,ce="🤗 Transformersモデルを本番環境に展開する際には、モデルを特殊なランタイムおよびハードウェアで読み込み、実行できるように、モデルをシリアライズされた形式にエクスポートすることが必要であるか、その恩恵を受けることができることがあります。",Tt,x,de="🤗 Optimumは、Transformersの拡張機能であり、PyTorchまたはTensorFlowからモデルをONNXやTFLiteなどのシリアライズされた形式にエクスポートすることを可能にする「exporters」モジュールを提供しています。また、🤗 Optimumは、最大の効率でターゲットハードウェアでモデルをトレーニングおよび実行するためのパフォーマンス最適化ツールも提供しています。",yt,J,fe='このガイドでは、🤗 Transformersモデルを🤗 Optimumを使用してONNXにエクスポートする方法を示しており、モデルをTFLiteにエクスポートする方法については<a href="tflite">Export to TFLiteページ</a>を参照してください。',ht,$,wt,j,be='<a href="http://onnx.ai" rel="nofollow">ONNX（Open Neural Network eXchange）</a>は、PyTorchおよびTensorFlowを含むさまざまなフレームワークで深層学習モデルを表現するための共通の一連の演算子とファイル形式を定義するオープンスタンダードです。モデルがONNX形式にエクスポートされると、これらの演算子はニューラルネットワークを介するデータの流れを表す計算グラフ（一般的には「中間表現」と呼ばれる）を構築するために使用されます。',xt,N,Me="標準化された演算子とデータ型を備えたグラフを公開することで、ONNXはフレームワーク間の切り替えを容易にします。たとえば、PyTorchでトレーニングされたモデルはONNX形式にエクスポートし、それをTensorFlowでインポートすることができます（逆も同様です）。",Jt,X,ge="ONNX形式にエクスポートされたモデルは、以下のように使用できます：",$t,U,Te='<li><a href="https://huggingface.co/docs/optimum/onnxruntime/usage_guides/optimization" rel="nofollow">グラフ最適化</a>や<a href="https://huggingface.co/docs/optimum/onnxruntime/usage_guides/quantization" rel="nofollow">量子化</a>などのテクニックを使用して推論のために最適化。</li> <li><a href="https://huggingface.co/docs/optimum/onnxruntime/package_reference/modeling_ort" rel="nofollow"><code>ORTModelForXXX</code>クラス</a>を介してONNX Runtimeで実行し、🤗 Transformersでおなじみの<code>AutoModel</code> APIに従います。</li> <li><a href="https://huggingface.co/docs/optimum/main/en/onnxruntime/usage_guides/pipelines" rel="nofollow">最適化された推論パイプライン</a>を介して実行し、🤗 Transformersの<a href="/docs/transformers/main/ja/main_classes/pipelines#transformers.pipeline">pipeline()</a>関数と同じAPIを持っています。</li>',jt,C,ye="🤗 Optimumは、設定オブジェクトを活用してONNXエクスポートをサポートしており、これらの設定オブジェクトは多くのモデルアーキテクチャ用に事前に作成されており、他のアーキテクチャにも簡単に拡張できるように設計されています。",Nt,Z,he='事前に作成された設定のリストについては、<a href="https://huggingface.co/docs/optimum/exporters/onnx/overview" rel="nofollow">🤗 Optimumドキュメント</a>を参照してください。',Xt,_,we="🤗 TransformersモデルをONNXにエクスポートする方法は2つあります。以下では両方の方法を示します：",Ut,v,xe="<li>export with 🤗 Optimum via CLI.</li> <li>export with 🤗 Optimum with <code>optimum.onnxruntime</code>.</li>",Ct,W,Zt,R,Je="🤗 TransformersモデルをONNXにエクスポートするには、まず追加の依存関係をインストールしてください：",_t,k,vt,B,$e='すべての利用可能な引数を確認するには、<a href="https://huggingface.co/docs/optimum/exporters/onnx/usage_guides/export_a_model#exporting-a-model-to-onnx-using-the-cli" rel="nofollow">🤗 Optimumドキュメント</a>を参照してください。または、コマンドラインでヘルプを表示することもできます：',Wt,G,Rt,V,je="🤗 Hubからモデルのチェックポイントをエクスポートするには、例えば <code>distilbert/distilbert-base-uncased-distilled-squad</code> を使いたい場合、以下のコマンドを実行してください：",kt,I,Bt,H,Ne="進行状況を示し、結果の <code>model.onnx</code> が保存される場所を表示するログは、以下のように表示されるはずです：",Gt,F,Vt,z,Xe='上記の例は🤗 Hubからのチェックポイントのエクスポートを示しています。ローカルモデルをエクスポートする場合、まずモデルの重みとトークナイザのファイルを同じディレクトリ（<code>local_path</code>）に保存してください。CLIを使用する場合、🤗 Hubのチェックポイント名の代わりに<code>model</code>引数に<code>local_path</code>を渡し、<code>--task</code>引数を指定してください。<a href="https://huggingface.co/docs/optimum/exporters/task_manager" rel="nofollow">🤗 Optimumドキュメント</a>でサポートされているタスクのリストを確認できます。<code>task</code>引数が指定されていない場合、タスク固有のヘッドを持たないモデルアーキテクチャがデフォルトで選択されます。',It,Q,Ht,L,Ue='エクスポートされた <code>model.onnx</code> ファイルは、ONNX標準をサポートする<a href="https://onnx.ai/supported-tools.html#deployModel" rel="nofollow">多くのアクセラレータ</a>の1つで実行できます。たとえば、<a href="https://onnxruntime.ai/" rel="nofollow">ONNX Runtime</a>を使用してモデルを読み込み、実行する方法は以下の通りです：',Ft,E,zt,O,Ce='🤗 HubからTensorFlowのチェックポイントをエクスポートするプロセスは、同様です。例えば、<a href="https://huggingface.co/keras-io" rel="nofollow">Keras organization</a>から純粋なTensorFlowのチェックポイントをエクスポートする方法は以下の通りです：',Qt,Y,Lt,q,Et,S,Ze="CLIの代わりに、🤗 TransformersモデルをONNXにプログラム的にエクスポートすることもできます。以下のように行います：",Ot,P,Yt,A,qt,K,_e='現在エクスポートできないモデルをサポートするために貢献したい場合、まず<a href="https://huggingface.co/docs/optimum/exporters/onnx/overview" rel="nofollow"><code>optimum.exporters.onnx</code></a>でサポートされているかどうかを確認し、サポートされていない場合は<a href="https://huggingface.co/docs/optimum/exporters/onnx/usage_guides/contribute" rel="nofollow">🤗 Optimumに貢献</a>してください。',St,D,Pt,T,At,tt,ve="🤗 TransformersモデルをONNXにエクスポートするには、追加の依存関係をインストールしてください：",Kt,et,Dt,lt,We="<code>transformers.onnx</code>パッケージをPythonモジュールとして使用して、事前に用意された設定を使用してチェックポイントをエクスポートする方法は以下の通りです：",te,st,ee,nt,Re="この方法は、<code>--model</code>引数で定義されたチェックポイントのONNXグラフをエクスポートします。🤗 Hubのいずれかのチェックポイントまたはローカルに保存されたチェックポイントを渡すことができます。エクスポートされた<code>model.onnx</code>ファイルは、ONNX標準をサポートする多くのアクセラレータで実行できます。例えば、ONNX Runtimeを使用してモデルを読み込んで実行する方法は以下の通りです：",le,at,se,ot,ke="必要な出力名（例: <code>[&quot;last_hidden_state&quot;]</code>）は、各モデルのONNX構成を確認することで取得できます。例えば、DistilBERTの場合、次のようになります：",ne,it,ae,pt,Be="ハブから純粋なTensorFlowのチェックポイントをプログラム的にエクスポートするプロセスは、以下のように同様です：",oe,mt,ie,rt,Ge="ローカルに保存されたモデルをエクスポートする場合、モデルの重みとトークナイザのファイルを同じディレクトリに保存してください（例： <code>local-pt-checkpoint</code>）。その後、<code>transformers.onnx</code>パッケージの <code>--model</code>引数を希望するディレクトリに向けて設定して、ONNXにエクスポートします：",pe,ut,me,ct,re,bt,ue;return h=new ft({props:{title:"Export to ONNX",local:"export-to-onnx",headingTag:"h1"}}),$=new ft({props:{title:"Export to ONNX",local:"export-to-onnx",headingTag:"h2"}}),W=new ft({props:{title:"Exporting a 🤗 Transformers model to ONNX with CLI",local:"exporting-a--transformers-model-to-onnx-with-cli",headingTag:"h3"}}),k=new M({props:{code:"cGlwJTIwaW5zdGFsbCUyMG9wdGltdW0lNUJleHBvcnRlcnMlNUQ=",highlighted:"pip install optimum[exporters]",wrap:!1}}),G=new M({props:{code:"b3B0aW11bS1jbGklMjBleHBvcnQlMjBvbm54JTIwLS1oZWxw",highlighted:'optimum-cli <span class="hljs-built_in">export</span> onnx --<span class="hljs-built_in">help</span>',wrap:!1}}),I=new M({props:{code:"b3B0aW11bS1jbGklMjBleHBvcnQlMjBvbm54JTIwLS1tb2RlbCUyMGRpc3RpbGJlcnQlMkZkaXN0aWxiZXJ0LWJhc2UtdW5jYXNlZC1kaXN0aWxsZWQtc3F1YWQlMjBkaXN0aWxiZXJ0X2Jhc2VfdW5jYXNlZF9zcXVhZF9vbm54JTJG",highlighted:'optimum-cli <span class="hljs-built_in">export</span> onnx --model distilbert/distilbert-base-uncased-distilled-squad distilbert_base_uncased_squad_onnx/',wrap:!1}}),F=new M({props:{code:"VmFsaWRhdGluZyUyME9OTlglMjBtb2RlbCUyMGRpc3RpbGJlcnRfYmFzZV91bmNhc2VkX3NxdWFkX29ubnglMkZtb2RlbC5vbm54Li4uJTBBJTA5LSU1QiVFMiU5QyU5MyU1RCUyME9OTlglMjBtb2RlbCUyMG91dHB1dCUyMG5hbWVzJTIwbWF0Y2glMjByZWZlcmVuY2UlMjBtb2RlbCUyMChzdGFydF9sb2dpdHMlMkMlMjBlbmRfbG9naXRzKSUwQSUwOS0lMjBWYWxpZGF0aW5nJTIwT05OWCUyME1vZGVsJTIwb3V0cHV0JTIwJTIyc3RhcnRfbG9naXRzJTIyJTNBJTBBJTA5JTA5LSU1QiVFMiU5QyU5MyU1RCUyMCgyJTJDJTIwMTYpJTIwbWF0Y2hlcyUyMCgyJTJDJTIwMTYpJTBBJTA5JTA5LSU1QiVFMiU5QyU5MyU1RCUyMGFsbCUyMHZhbHVlcyUyMGNsb3NlJTIwKGF0b2wlM0ElMjAwLjAwMDEpJTBBJTA5LSUyMFZhbGlkYXRpbmclMjBPTk5YJTIwTW9kZWwlMjBvdXRwdXQlMjAlMjJlbmRfbG9naXRzJTIyJTNBJTBBJTA5JTA5LSU1QiVFMiU5QyU5MyU1RCUyMCgyJTJDJTIwMTYpJTIwbWF0Y2hlcyUyMCgyJTJDJTIwMTYpJTBBJTA5JTA5LSU1QiVFMiU5QyU5MyU1RCUyMGFsbCUyMHZhbHVlcyUyMGNsb3NlJTIwKGF0b2wlM0ElMjAwLjAwMDEpJTBBVGhlJTIwT05OWCUyMGV4cG9ydCUyMHN1Y2NlZWRlZCUyMGFuZCUyMHRoZSUyMGV4cG9ydGVkJTIwbW9kZWwlMjB3YXMlMjBzYXZlZCUyMGF0JTNBJTIwZGlzdGlsYmVydF9iYXNlX3VuY2FzZWRfc3F1YWRfb25ueA==",highlighted:`Validating ONNX model distilbert_base_uncased_squad_onnx/model.onnx...
	-[✓] ONNX model output names match reference model (start_logits, end_logits)
	- Validating ONNX Model output <span class="hljs-string">&quot;start_logits&quot;</span>:
		-[✓] (2, 16) matches (2, 16)
		-[✓] all values close (atol: 0.0001)
	- Validating ONNX Model output <span class="hljs-string">&quot;end_logits&quot;</span>:
		-[✓] (2, 16) matches (2, 16)
		-[✓] all values close (atol: 0.0001)
The ONNX <span class="hljs-built_in">export</span> succeeded and the exported model was saved at: distilbert_base_uncased_squad_onnx`,wrap:!1}}),Q=new M({props:{code:"b3B0aW11bS1jbGklMjBleHBvcnQlMjBvbm54JTIwLS1tb2RlbCUyMGxvY2FsX3BhdGglMjAtLXRhc2slMjBxdWVzdGlvbi1hbnN3ZXJpbmclMjBkaXN0aWxiZXJ0X2Jhc2VfdW5jYXNlZF9zcXVhZF9vbm54JTJG",highlighted:'optimum-cli <span class="hljs-built_in">export</span> onnx --model local_path --task question-answering distilbert_base_uncased_squad_onnx/',wrap:!1}}),E=new M({props:{code:"ZnJvbSUyMHRyYW5zZm9ybWVycyUyMGltcG9ydCUyMEF1dG9Ub2tlbml6ZXIlMEFmcm9tJTIwb3B0aW11bS5vbm54cnVudGltZSUyMGltcG9ydCUyME9SVE1vZGVsRm9yUXVlc3Rpb25BbnN3ZXJpbmclMEElMEF0b2tlbml6ZXIlMjAlM0QlMjBBdXRvVG9rZW5pemVyLmZyb21fcHJldHJhaW5lZCglMjJkaXN0aWxiZXJ0X2Jhc2VfdW5jYXNlZF9zcXVhZF9vbm54JTIyKSUwQW1vZGVsJTIwJTNEJTIwT1JUTW9kZWxGb3JRdWVzdGlvbkFuc3dlcmluZy5mcm9tX3ByZXRyYWluZWQoJTIyZGlzdGlsYmVydF9iYXNlX3VuY2FzZWRfc3F1YWRfb25ueCUyMiklMEFpbnB1dHMlMjAlM0QlMjB0b2tlbml6ZXIoJTIyV2hhdCUyMGFtJTIwSSUyMHVzaW5nJTNGJTIyJTJDJTIwJTIyVXNpbmclMjBEaXN0aWxCRVJUJTIwd2l0aCUyME9OTlglMjBSdW50aW1lISUyMiUyQyUyMHJldHVybl90ZW5zb3JzJTNEJTIycHQlMjIpJTBBb3V0cHV0cyUyMCUzRCUyMG1vZGVsKCoqaW5wdXRzKQ==",highlighted:`<span class="hljs-meta">&gt;&gt;&gt; </span><span class="hljs-keyword">from</span> transformers <span class="hljs-keyword">import</span> AutoTokenizer
<span class="hljs-meta">&gt;&gt;&gt; </span><span class="hljs-keyword">from</span> optimum.onnxruntime <span class="hljs-keyword">import</span> ORTModelForQuestionAnswering

<span class="hljs-meta">&gt;&gt;&gt; </span>tokenizer = AutoTokenizer.from_pretrained(<span class="hljs-string">&quot;distilbert_base_uncased_squad_onnx&quot;</span>)
<span class="hljs-meta">&gt;&gt;&gt; </span>model = ORTModelForQuestionAnswering.from_pretrained(<span class="hljs-string">&quot;distilbert_base_uncased_squad_onnx&quot;</span>)
<span class="hljs-meta">&gt;&gt;&gt; </span>inputs = tokenizer(<span class="hljs-string">&quot;What am I using?&quot;</span>, <span class="hljs-string">&quot;Using DistilBERT with ONNX Runtime!&quot;</span>, return_tensors=<span class="hljs-string">&quot;pt&quot;</span>)
<span class="hljs-meta">&gt;&gt;&gt; </span>outputs = model(**inputs)`,wrap:!1}}),Y=new M({props:{code:"b3B0aW11bS1jbGklMjBleHBvcnQlMjBvbm54JTIwLS1tb2RlbCUyMGtlcmFzLWlvJTJGdHJhbnNmb3JtZXJzLXFhJTIwZGlzdGlsYmVydF9iYXNlX2Nhc2VkX3NxdWFkX29ubnglMkY=",highlighted:'optimum-cli <span class="hljs-built_in">export</span> onnx --model keras-io/transformers-qa distilbert_base_cased_squad_onnx/',wrap:!1}}),q=new ft({props:{title:"Exporting a 🤗 Transformers model to ONNX with optimum.onnxruntime",local:"exporting-a--transformers-model-to-onnx-with-optimumonnxruntime",headingTag:"h3"}}),P=new M({props:{code:"ZnJvbSUyMG9wdGltdW0ub25ueHJ1bnRpbWUlMjBpbXBvcnQlMjBPUlRNb2RlbEZvclNlcXVlbmNlQ2xhc3NpZmljYXRpb24lMEFmcm9tJTIwdHJhbnNmb3JtZXJzJTIwaW1wb3J0JTIwQXV0b1Rva2VuaXplciUwQSUwQW1vZGVsX2NoZWNrcG9pbnQlMjAlM0QlMjAlMjJkaXN0aWxiZXJ0X2Jhc2VfdW5jYXNlZF9zcXVhZCUyMiUwQXNhdmVfZGlyZWN0b3J5JTIwJTNEJTIwJTIyb25ueCUyRiUyMiUwQSUwQSUyMyUyMExvYWQlMjBhJTIwbW9kZWwlMjBmcm9tJTIwdHJhbnNmb3JtZXJzJTIwYW5kJTIwZXhwb3J0JTIwaXQlMjB0byUyME9OTlglMEFvcnRfbW9kZWwlMjAlM0QlMjBPUlRNb2RlbEZvclNlcXVlbmNlQ2xhc3NpZmljYXRpb24uZnJvbV9wcmV0cmFpbmVkKG1vZGVsX2NoZWNrcG9pbnQlMkMlMjBleHBvcnQlM0RUcnVlKSUwQXRva2VuaXplciUyMCUzRCUyMEF1dG9Ub2tlbml6ZXIuZnJvbV9wcmV0cmFpbmVkKG1vZGVsX2NoZWNrcG9pbnQpJTBBJTBBJTIzJTIwU2F2ZSUyMHRoZSUyMG9ubnglMjBtb2RlbCUyMGFuZCUyMHRva2VuaXplciUwQW9ydF9tb2RlbC5zYXZlX3ByZXRyYWluZWQoc2F2ZV9kaXJlY3RvcnkpJTBBdG9rZW5pemVyLnNhdmVfcHJldHJhaW5lZChzYXZlX2RpcmVjdG9yeSk=",highlighted:`<span class="hljs-meta">&gt;&gt;&gt; </span><span class="hljs-keyword">from</span> optimum.onnxruntime <span class="hljs-keyword">import</span> ORTModelForSequenceClassification
<span class="hljs-meta">&gt;&gt;&gt; </span><span class="hljs-keyword">from</span> transformers <span class="hljs-keyword">import</span> AutoTokenizer

<span class="hljs-meta">&gt;&gt;&gt; </span>model_checkpoint = <span class="hljs-string">&quot;distilbert_base_uncased_squad&quot;</span>
<span class="hljs-meta">&gt;&gt;&gt; </span>save_directory = <span class="hljs-string">&quot;onnx/&quot;</span>

<span class="hljs-meta">&gt;&gt;&gt; </span><span class="hljs-comment"># Load a model from transformers and export it to ONNX</span>
<span class="hljs-meta">&gt;&gt;&gt; </span>ort_model = ORTModelForSequenceClassification.from_pretrained(model_checkpoint, export=<span class="hljs-literal">True</span>)
<span class="hljs-meta">&gt;&gt;&gt; </span>tokenizer = AutoTokenizer.from_pretrained(model_checkpoint)

<span class="hljs-meta">&gt;&gt;&gt; </span><span class="hljs-comment"># Save the onnx model and tokenizer</span>
<span class="hljs-meta">&gt;&gt;&gt; </span>ort_model.save_pretrained(save_directory)
<span class="hljs-meta">&gt;&gt;&gt; </span>tokenizer.save_pretrained(save_directory)`,wrap:!1}}),A=new ft({props:{title:"Exporting a model for an unsupported architecture",local:"exporting-a-model-for-an-unsupported-architecture",headingTag:"h3"}}),D=new ft({props:{title:"Exporting a model with transformers.onnx",local:"exporting-a-model-with-transformersonnx",headingTag:"h3"}}),T=new qe({props:{warning:!0,$$slots:{default:[Pe]},$$scope:{ctx:Mt}}}),et=new M({props:{code:"cGlwJTIwaW5zdGFsbCUyMHRyYW5zZm9ybWVycyU1Qm9ubnglNUQ=",highlighted:"pip install transformers[onnx]",wrap:!1}}),st=new M({props:{code:"cHl0aG9uJTIwLW0lMjB0cmFuc2Zvcm1lcnMub25ueCUyMC0tbW9kZWwlM0RkaXN0aWxiZXJ0JTJGZGlzdGlsYmVydC1iYXNlLXVuY2FzZWQlMjBvbm54JTJG",highlighted:"python -m transformers.onnx --model=distilbert/distilbert-base-uncased onnx/",wrap:!1}}),at=new M({props:{code:"ZnJvbSUyMHRyYW5zZm9ybWVycyUyMGltcG9ydCUyMEF1dG9Ub2tlbml6ZXIlMEFmcm9tJTIwb25ueHJ1bnRpbWUlMjBpbXBvcnQlMjBJbmZlcmVuY2VTZXNzaW9uJTBBJTBBdG9rZW5pemVyJTIwJTNEJTIwQXV0b1Rva2VuaXplci5mcm9tX3ByZXRyYWluZWQoJTIyZGlzdGlsYmVydCUyRmRpc3RpbGJlcnQtYmFzZS11bmNhc2VkJTIyKSUwQXNlc3Npb24lMjAlM0QlMjBJbmZlcmVuY2VTZXNzaW9uKCUyMm9ubnglMkZtb2RlbC5vbm54JTIyKSUwQSUyMyUyME9OTlglMjBSdW50aW1lJTIwZXhwZWN0cyUyME51bVB5JTIwYXJyYXlzJTIwYXMlMjBpbnB1dCUwQWlucHV0cyUyMCUzRCUyMHRva2VuaXplciglMjJVc2luZyUyMERpc3RpbEJFUlQlMjB3aXRoJTIwT05OWCUyMFJ1bnRpbWUhJTIyJTJDJTIwcmV0dXJuX3RlbnNvcnMlM0QlMjJucCUyMiklMEFvdXRwdXRzJTIwJTNEJTIwc2Vzc2lvbi5ydW4ob3V0cHV0X25hbWVzJTNEJTVCJTIybGFzdF9oaWRkZW5fc3RhdGUlMjIlNUQlMkMlMjBpbnB1dF9mZWVkJTNEZGljdChpbnB1dHMpKQ==",highlighted:`<span class="hljs-meta">&gt;&gt;&gt; </span><span class="hljs-keyword">from</span> transformers <span class="hljs-keyword">import</span> AutoTokenizer
<span class="hljs-meta">&gt;&gt;&gt; </span><span class="hljs-keyword">from</span> onnxruntime <span class="hljs-keyword">import</span> InferenceSession

<span class="hljs-meta">&gt;&gt;&gt; </span>tokenizer = AutoTokenizer.from_pretrained(<span class="hljs-string">&quot;distilbert/distilbert-base-uncased&quot;</span>)
<span class="hljs-meta">&gt;&gt;&gt; </span>session = InferenceSession(<span class="hljs-string">&quot;onnx/model.onnx&quot;</span>)
<span class="hljs-meta">&gt;&gt;&gt; </span><span class="hljs-comment"># ONNX Runtime expects NumPy arrays as input</span>
<span class="hljs-meta">&gt;&gt;&gt; </span>inputs = tokenizer(<span class="hljs-string">&quot;Using DistilBERT with ONNX Runtime!&quot;</span>, return_tensors=<span class="hljs-string">&quot;np&quot;</span>)
<span class="hljs-meta">&gt;&gt;&gt; </span>outputs = session.run(output_names=[<span class="hljs-string">&quot;last_hidden_state&quot;</span>], input_feed=<span class="hljs-built_in">dict</span>(inputs))`,wrap:!1}}),it=new M({props:{code:"ZnJvbSUyMHRyYW5zZm9ybWVycy5tb2RlbHMuZGlzdGlsYmVydCUyMGltcG9ydCUyMERpc3RpbEJlcnRDb25maWclMkMlMjBEaXN0aWxCZXJ0T25ueENvbmZpZyUwQSUwQWNvbmZpZyUyMCUzRCUyMERpc3RpbEJlcnRDb25maWcoKSUwQW9ubnhfY29uZmlnJTIwJTNEJTIwRGlzdGlsQmVydE9ubnhDb25maWcoY29uZmlnKSUwQXByaW50KGxpc3Qob25ueF9jb25maWcub3V0cHV0cy5rZXlzKCkpKQ==",highlighted:`<span class="hljs-meta">&gt;&gt;&gt; </span><span class="hljs-keyword">from</span> transformers.models.distilbert <span class="hljs-keyword">import</span> DistilBertConfig, DistilBertOnnxConfig

<span class="hljs-meta">&gt;&gt;&gt; </span>config = DistilBertConfig()
<span class="hljs-meta">&gt;&gt;&gt; </span>onnx_config = DistilBertOnnxConfig(config)
<span class="hljs-meta">&gt;&gt;&gt; </span><span class="hljs-built_in">print</span>(<span class="hljs-built_in">list</span>(onnx_config.outputs.keys()))
[<span class="hljs-string">&quot;last_hidden_state&quot;</span>]`,wrap:!1}}),mt=new M({props:{code:"cHl0aG9uJTIwLW0lMjB0cmFuc2Zvcm1lcnMub25ueCUyMC0tbW9kZWwlM0RrZXJhcy1pbyUyRnRyYW5zZm9ybWVycy1xYSUyMG9ubnglMkY=",highlighted:"python -m transformers.onnx --model=keras-io/transformers-qa onnx/",wrap:!1}}),ut=new M({props:{code:"cHl0aG9uJTIwLW0lMjB0cmFuc2Zvcm1lcnMub25ueCUyMC0tbW9kZWwlM0Rsb2NhbC1wdC1jaGVja3BvaW50JTIwb25ueCUyRg==",highlighted:"python -m transformers.onnx --model=local-pt-checkpoint onnx/",wrap:!1}}),ct=new Se({props:{source:"https://github.com/huggingface/transformers/blob/main/docs/source/ja/serialization.md"}}),{c(){b=o("meta"),y=n(),g=o("p"),dt=n(),m(h.$$.fragment),gt=n(),w=o("p"),w.textContent=ce,Tt=n(),x=o("p"),x.textContent=de,yt=n(),J=o("p"),J.innerHTML=fe,ht=n(),m($.$$.fragment),wt=n(),j=o("p"),j.innerHTML=be,xt=n(),N=o("p"),N.textContent=Me,Jt=n(),X=o("p"),X.textContent=ge,$t=n(),U=o("ul"),U.innerHTML=Te,jt=n(),C=o("p"),C.textContent=ye,Nt=n(),Z=o("p"),Z.innerHTML=he,Xt=n(),_=o("p"),_.textContent=we,Ut=n(),v=o("ul"),v.innerHTML=xe,Ct=n(),m(W.$$.fragment),Zt=n(),R=o("p"),R.textContent=Je,_t=n(),m(k.$$.fragment),vt=n(),B=o("p"),B.innerHTML=$e,Wt=n(),m(G.$$.fragment),Rt=n(),V=o("p"),V.innerHTML=je,kt=n(),m(I.$$.fragment),Bt=n(),H=o("p"),H.innerHTML=Ne,Gt=n(),m(F.$$.fragment),Vt=n(),z=o("p"),z.innerHTML=Xe,It=n(),m(Q.$$.fragment),Ht=n(),L=o("p"),L.innerHTML=Ue,Ft=n(),m(E.$$.fragment),zt=n(),O=o("p"),O.innerHTML=Ce,Qt=n(),m(Y.$$.fragment),Lt=n(),m(q.$$.fragment),Et=n(),S=o("p"),S.textContent=Ze,Ot=n(),m(P.$$.fragment),Yt=n(),m(A.$$.fragment),qt=n(),K=o("p"),K.innerHTML=_e,St=n(),m(D.$$.fragment),Pt=n(),m(T.$$.fragment),At=n(),tt=o("p"),tt.textContent=ve,Kt=n(),m(et.$$.fragment),Dt=n(),lt=o("p"),lt.innerHTML=We,te=n(),m(st.$$.fragment),ee=n(),nt=o("p"),nt.innerHTML=Re,le=n(),m(at.$$.fragment),se=n(),ot=o("p"),ot.innerHTML=ke,ne=n(),m(it.$$.fragment),ae=n(),pt=o("p"),pt.textContent=Be,oe=n(),m(mt.$$.fragment),ie=n(),rt=o("p"),rt.innerHTML=Ge,pe=n(),m(ut.$$.fragment),me=n(),m(ct.$$.fragment),re=n(),bt=o("p"),this.h()},l(t){const e=Oe("svelte-u9bgzb",document.head);b=i(e,"META",{name:!0,content:!0}),e.forEach(l),y=a(t),g=i(t,"P",{}),Ie(g).forEach(l),dt=a(t),r(h.$$.fragment,t),gt=a(t),w=i(t,"P",{"data-svelte-h":!0}),p(w)!=="svelte-qc94t0"&&(w.textContent=ce),Tt=a(t),x=i(t,"P",{"data-svelte-h":!0}),p(x)!=="svelte-1557kk1"&&(x.textContent=de),yt=a(t),J=i(t,"P",{"data-svelte-h":!0}),p(J)!=="svelte-ht5c1x"&&(J.innerHTML=fe),ht=a(t),r($.$$.fragment,t),wt=a(t),j=i(t,"P",{"data-svelte-h":!0}),p(j)!=="svelte-1jftxm"&&(j.innerHTML=be),xt=a(t),N=i(t,"P",{"data-svelte-h":!0}),p(N)!=="svelte-r6157j"&&(N.textContent=Me),Jt=a(t),X=i(t,"P",{"data-svelte-h":!0}),p(X)!=="svelte-7mahc9"&&(X.textContent=ge),$t=a(t),U=i(t,"UL",{"data-svelte-h":!0}),p(U)!=="svelte-1j8xn51"&&(U.innerHTML=Te),jt=a(t),C=i(t,"P",{"data-svelte-h":!0}),p(C)!=="svelte-1c7xacs"&&(C.textContent=ye),Nt=a(t),Z=i(t,"P",{"data-svelte-h":!0}),p(Z)!=="svelte-td5fmw"&&(Z.innerHTML=he),Xt=a(t),_=i(t,"P",{"data-svelte-h":!0}),p(_)!=="svelte-hejyb2"&&(_.textContent=we),Ut=a(t),v=i(t,"UL",{"data-svelte-h":!0}),p(v)!=="svelte-18tahix"&&(v.innerHTML=xe),Ct=a(t),r(W.$$.fragment,t),Zt=a(t),R=i(t,"P",{"data-svelte-h":!0}),p(R)!=="svelte-ql60kh"&&(R.textContent=Je),_t=a(t),r(k.$$.fragment,t),vt=a(t),B=i(t,"P",{"data-svelte-h":!0}),p(B)!=="svelte-g5msyl"&&(B.innerHTML=$e),Wt=a(t),r(G.$$.fragment,t),Rt=a(t),V=i(t,"P",{"data-svelte-h":!0}),p(V)!=="svelte-1xswql7"&&(V.innerHTML=je),kt=a(t),r(I.$$.fragment,t),Bt=a(t),H=i(t,"P",{"data-svelte-h":!0}),p(H)!=="svelte-e4t3p2"&&(H.innerHTML=Ne),Gt=a(t),r(F.$$.fragment,t),Vt=a(t),z=i(t,"P",{"data-svelte-h":!0}),p(z)!=="svelte-1de804l"&&(z.innerHTML=Xe),It=a(t),r(Q.$$.fragment,t),Ht=a(t),L=i(t,"P",{"data-svelte-h":!0}),p(L)!=="svelte-1rwgg53"&&(L.innerHTML=Ue),Ft=a(t),r(E.$$.fragment,t),zt=a(t),O=i(t,"P",{"data-svelte-h":!0}),p(O)!=="svelte-1e2boax"&&(O.innerHTML=Ce),Qt=a(t),r(Y.$$.fragment,t),Lt=a(t),r(q.$$.fragment,t),Et=a(t),S=i(t,"P",{"data-svelte-h":!0}),p(S)!=="svelte-15ogace"&&(S.textContent=Ze),Ot=a(t),r(P.$$.fragment,t),Yt=a(t),r(A.$$.fragment,t),qt=a(t),K=i(t,"P",{"data-svelte-h":!0}),p(K)!=="svelte-6051gd"&&(K.innerHTML=_e),St=a(t),r(D.$$.fragment,t),Pt=a(t),r(T.$$.fragment,t),At=a(t),tt=i(t,"P",{"data-svelte-h":!0}),p(tt)!=="svelte-f5cz41"&&(tt.textContent=ve),Kt=a(t),r(et.$$.fragment,t),Dt=a(t),lt=i(t,"P",{"data-svelte-h":!0}),p(lt)!=="svelte-foxlz0"&&(lt.innerHTML=We),te=a(t),r(st.$$.fragment,t),ee=a(t),nt=i(t,"P",{"data-svelte-h":!0}),p(nt)!=="svelte-kw829a"&&(nt.innerHTML=Re),le=a(t),r(at.$$.fragment,t),se=a(t),ot=i(t,"P",{"data-svelte-h":!0}),p(ot)!=="svelte-xs9tjx"&&(ot.innerHTML=ke),ne=a(t),r(it.$$.fragment,t),ae=a(t),pt=i(t,"P",{"data-svelte-h":!0}),p(pt)!=="svelte-1qs89on"&&(pt.textContent=Be),oe=a(t),r(mt.$$.fragment,t),ie=a(t),rt=i(t,"P",{"data-svelte-h":!0}),p(rt)!=="svelte-1c2zce8"&&(rt.innerHTML=Ge),pe=a(t),r(ut.$$.fragment,t),me=a(t),r(ct.$$.fragment,t),re=a(t),bt=i(t,"P",{}),Ie(bt).forEach(l),this.h()},h(){He(b,"name","hf:doc:metadata"),He(b,"content",Ke)},m(t,e){Ye(document.head,b),s(t,y,e),s(t,g,e),s(t,dt,e),u(h,t,e),s(t,gt,e),s(t,w,e),s(t,Tt,e),s(t,x,e),s(t,yt,e),s(t,J,e),s(t,ht,e),u($,t,e),s(t,wt,e),s(t,j,e),s(t,xt,e),s(t,N,e),s(t,Jt,e),s(t,X,e),s(t,$t,e),s(t,U,e),s(t,jt,e),s(t,C,e),s(t,Nt,e),s(t,Z,e),s(t,Xt,e),s(t,_,e),s(t,Ut,e),s(t,v,e),s(t,Ct,e),u(W,t,e),s(t,Zt,e),s(t,R,e),s(t,_t,e),u(k,t,e),s(t,vt,e),s(t,B,e),s(t,Wt,e),u(G,t,e),s(t,Rt,e),s(t,V,e),s(t,kt,e),u(I,t,e),s(t,Bt,e),s(t,H,e),s(t,Gt,e),u(F,t,e),s(t,Vt,e),s(t,z,e),s(t,It,e),u(Q,t,e),s(t,Ht,e),s(t,L,e),s(t,Ft,e),u(E,t,e),s(t,zt,e),s(t,O,e),s(t,Qt,e),u(Y,t,e),s(t,Lt,e),u(q,t,e),s(t,Et,e),s(t,S,e),s(t,Ot,e),u(P,t,e),s(t,Yt,e),u(A,t,e),s(t,qt,e),s(t,K,e),s(t,St,e),u(D,t,e),s(t,Pt,e),u(T,t,e),s(t,At,e),s(t,tt,e),s(t,Kt,e),u(et,t,e),s(t,Dt,e),s(t,lt,e),s(t,te,e),u(st,t,e),s(t,ee,e),s(t,nt,e),s(t,le,e),u(at,t,e),s(t,se,e),s(t,ot,e),s(t,ne,e),u(it,t,e),s(t,ae,e),s(t,pt,e),s(t,oe,e),u(mt,t,e),s(t,ie,e),s(t,rt,e),s(t,pe,e),u(ut,t,e),s(t,me,e),u(ct,t,e),s(t,re,e),s(t,bt,e),ue=!0},p(t,[e]){const Ve={};e&2&&(Ve.$$scope={dirty:e,ctx:t}),T.$set(Ve)},i(t){ue||(c(h.$$.fragment,t),c($.$$.fragment,t),c(W.$$.fragment,t),c(k.$$.fragment,t),c(G.$$.fragment,t),c(I.$$.fragment,t),c(F.$$.fragment,t),c(Q.$$.fragment,t),c(E.$$.fragment,t),c(Y.$$.fragment,t),c(q.$$.fragment,t),c(P.$$.fragment,t),c(A.$$.fragment,t),c(D.$$.fragment,t),c(T.$$.fragment,t),c(et.$$.fragment,t),c(st.$$.fragment,t),c(at.$$.fragment,t),c(it.$$.fragment,t),c(mt.$$.fragment,t),c(ut.$$.fragment,t),c(ct.$$.fragment,t),ue=!0)},o(t){d(h.$$.fragment,t),d($.$$.fragment,t),d(W.$$.fragment,t),d(k.$$.fragment,t),d(G.$$.fragment,t),d(I.$$.fragment,t),d(F.$$.fragment,t),d(Q.$$.fragment,t),d(E.$$.fragment,t),d(Y.$$.fragment,t),d(q.$$.fragment,t),d(P.$$.fragment,t),d(A.$$.fragment,t),d(D.$$.fragment,t),d(T.$$.fragment,t),d(et.$$.fragment,t),d(st.$$.fragment,t),d(at.$$.fragment,t),d(it.$$.fragment,t),d(mt.$$.fragment,t),d(ut.$$.fragment,t),d(ct.$$.fragment,t),ue=!1},d(t){t&&(l(y),l(g),l(dt),l(gt),l(w),l(Tt),l(x),l(yt),l(J),l(ht),l(wt),l(j),l(xt),l(N),l(Jt),l(X),l($t),l(U),l(jt),l(C),l(Nt),l(Z),l(Xt),l(_),l(Ut),l(v),l(Ct),l(Zt),l(R),l(_t),l(vt),l(B),l(Wt),l(Rt),l(V),l(kt),l(Bt),l(H),l(Gt),l(Vt),l(z),l(It),l(Ht),l(L),l(Ft),l(zt),l(O),l(Qt),l(Lt),l(Et),l(S),l(Ot),l(Yt),l(qt),l(K),l(St),l(Pt),l(At),l(tt),l(Kt),l(Dt),l(lt),l(te),l(ee),l(nt),l(le),l(se),l(ot),l(ne),l(ae),l(pt),l(oe),l(ie),l(rt),l(pe),l(me),l(re),l(bt)),l(b),f(h,t),f($,t),f(W,t),f(k,t),f(G,t),f(I,t),f(F,t),f(Q,t),f(E,t),f(Y,t),f(q,t),f(P,t),f(A,t),f(D,t),f(T,t),f(et,t),f(st,t),f(at,t),f(it,t),f(mt,t),f(ut,t),f(ct,t)}}}const Ke='{"title":"Export to ONNX","local":"export-to-onnx","sections":[{"title":"Export to ONNX","local":"export-to-onnx","sections":[{"title":"Exporting a 🤗 Transformers model to ONNX with CLI","local":"exporting-a--transformers-model-to-onnx-with-cli","sections":[],"depth":3},{"title":"Exporting a 🤗 Transformers model to ONNX with optimum.onnxruntime","local":"exporting-a--transformers-model-to-onnx-with-optimumonnxruntime","sections":[],"depth":3},{"title":"Exporting a model for an unsupported architecture","local":"exporting-a-model-for-an-unsupported-architecture","sections":[],"depth":3},{"title":"Exporting a model with transformers.onnx","local":"exporting-a-model-with-transformersonnx","sections":[],"depth":3}],"depth":2}],"depth":1}';function De(Mt){return ze(()=>{new URLSearchParams(window.location.search).get("fw")}),[]}class al extends Le{constructor(b){super(),Ee(this,b,De,Ae,Fe,{})}}export{al as component};