Buckets:

hf-doc-build
/

doc-dev

hf-doc-build/doc-dev / transformers /pr_37082 /ja /_app /immutable /nodes /14.dfd5cfce.js

rtrm's picture

3 months ago

60 kB

	import{s as ks,o as Ws,n as Gs}from"../chunks/scheduler.bdbef820.js";import{S as Bs,i as Vs,g as p,s as a,r,A as Xs,h as o,f as s,c as n,j as Zs,u as c,x as i,k as xe,y as vs,a as l,v as m,d as M,t as y,w as d}from"../chunks/index.33f81d56.js";import{T as Cs}from"../chunks/Tip.34194030.js";import{C as g}from"../chunks/CodeBlock.362b34a4.js";import{H as h,E as Rs}from"../chunks/EditOnGithub.a9246e21.js";function Is(Xt){let u,J="ストリーマークラスのAPIはまだ開発中であり、将来変更される可能性があります。";return{c(){u=p("p"),u.textContent=J},l(b){u=o(b,"P",{"data-svelte-h":!0}),i(u)!=="svelte-1i2hxl9"&&(u.textContent=J)},m(b,Bt){l(b,u,Bt)},p:Gs,d(b){b&&s(u)}}}function _s(Xt){let u,J,b,Bt,U,vt,w,Fe="テキスト生成は、オープンエンドのテキスト生成、要約、翻訳など、多くの自然言語処理タスクに不可欠です。また、テキストを出力とするさまざまな混在モダリティアプリケーションにも影響を与えており、例えば音声からテキストへの変換や画像からテキストへの変換などがあります。テキストを生成できるいくつかのモデルには、GPT2、XLNet、OpenAI GPT、CTRL、TransformerXL、XLM、Bart、T5、GIT、Whisperが含まれます。",Ct,f,Ye='<a href="/docs/transformers/pr_37082/ja/main_classes/text_generation#transformers.GenerationMixin.generate">generate()</a> メソッドを使用して、異なるタスクのテキスト出力を生成するいくつかの例をご紹介します：',Rt,Z,Ee='<li><a href="./tasks/summarization#inference">テキスト要約</a></li> <li><a href="./model_doc/git#transformers.GitForCausalLM.forward.example">画像のキャプション</a></li> <li><a href="./model_doc/whisper#transformers.WhisperForConditionalGeneration.forward.example">音声の転記</a></li>',It,k,Se="generateメソッドへの入力は、モデルのモダリティに依存します。これらの入力は、AutoTokenizerやAutoProcessorなどのモデルのプリプロセッサクラスによって返されます。モデルのプリプロセッサが複数の種類の入力を生成する場合は、すべての入力をgenerate()に渡します。各モデルのプリプロセッサについての詳細は、対応するモデルのドキュメンテーションで確認できます。",_t,W,qe="テキストを生成するためのトークンの選択プロセスはデコーディングとして知られ、<code>generate()</code>メソッドが使用するデコーディング戦略をカスタマイズできます。デコーディング戦略を変更することは、訓練可能なパラメータの値を変更しませんが、生成されるテキストの品質に顕著な影響を与えることがあります。これにより、テキスト内の繰り返しを減少させ、より一貫性のあるテキストを生成するのに役立ちます。",Ht,G,Ae="このガイドでは以下の内容が説明されています：",$t,B,Le="<li>デフォルトのテキスト生成設定</li> <li>一般的なデコーディング戦略とその主要なパラメータ</li> <li>🤗 Hubのあなたのファインチューンモデルとカスタム生成設定の保存と共有</li>",Nt,V,zt,X,De='モデルのデコーディング戦略は、その生成設定で定義されています。<a href="/docs/transformers/pr_37082/ja/main_classes/pipelines#transformers.pipeline">pipeline()</a> 内で推論に事前訓練モデルを使用する際には、モデルはデフォルトの生成設定を内部で適用する <code>PreTrainedModel.generate()</code> メソッドを呼び出します。デフォルトの設定は、モデルにカスタム設定が保存されていない場合にも使用されます。',Qt,v,Ke="モデルを明示的に読み込む場合、それに付属する生成設定を <code>model.generation_config</code> を介して確認できます。",xt,C,Ft,R,Pe="<code>model.generation_config</code> を出力すると、デフォルトの生成設定から異なる値のみが表示され、デフォルトの値はリストされません。",Yt,I,Oe="デフォルトの生成設定では、出力のサイズは入力プロンプトとの組み合わせで最大20トークンに制限されており、リソース制限に達しないようにしています。デフォルトのデコーディング戦略は貪欲探索で、最も確率の高いトークンを次のトークンとして選択する最も単純なデコーディング戦略です。多くのタスクや小さな出力サイズの場合、これはうまく機能します。ただし、長い出力を生成するために使用される場合、貪欲探索は高度に繰り返される結果を生成し始めることがあります。",Et,_,St,H,ts="<code>generate</code> メソッドに直接パラメータとその値を渡すことで、<code>generation_config</code> を上書きできます。",qt,$,At,N,es="デフォルトのデコーディング戦略がほとんどのタスクでうまく機能する場合でも、いくつかの設定を微調整できます。一般的に調整されるパラメータには次のものがあります：",Lt,z,ss="<li><code>max_new_tokens</code>: 生成するトークンの最大数。つまり、出力シーケンスのサイズであり、プロンプト内のトークンは含まれません。</li> <li><code>num_beams</code>: 1よりも大きなビーム数を指定することで、貪欲検索からビームサーチに切り替えることができます。この戦略では、各時間ステップでいくつかの仮説を評価し、最終的に全体のシーケンスに対する最も高い確率を持つ仮説を選択します。これにより、初期の確率が低いトークンで始まる高確率のシーケンスが貪欲検索によって無視されることがなくなります。</li> <li><code>do_sample</code>: このパラメータを<code>True</code>に設定すると、多項分布サンプリング、ビームサーチ多項分布サンプリング、Top-Kサンプリング、Top-pサンプリングなどのデコーディング戦略が有効になります。これらの戦略は、各戦略固有の調整を含む単語彙全体の確率分布から次のトークンを選択します。</li> <li><code>num_return_sequences</code>: 各入力に対して返すシーケンス候補の数。これは、複数のシーケンス候補をサポートするデコーディング戦略（ビームサーチやサンプリングのバリエーションなど）にのみ適用されます。貪欲検索や対照的な検索など、単一の出力シーケンスを返すデコーディング戦略では使用できません。</li>",Dt,Q,Kt,x,ls="特定の生成構成で調整したモデルを共有したい場合、以下の手順を実行できます：",Pt,F,as='<li><a href="/docs/transformers/pr_37082/ja/main_classes/text_generation#transformers.GenerationConfig">GenerationConfig</a> クラスのインスタンスを作成する</li> <li>デコーディング戦略のパラメータを指定する</li> <li><a href="/docs/transformers/pr_37082/ja/main_classes/text_generation#transformers.GenerationConfig.save_pretrained">GenerationConfig.save_pretrained()</a> を使用して生成構成を保存し、<code>config_file_name</code> 引数を空にすることを忘れないでください</li> <li><code>push_to_hub</code> を <code>True</code> に設定して、構成をモデルのリポジトリにアップロードします</li>',Ot,Y,te,E,ns=`1つのディレクトリに複数の生成設定を保存することもでき、<a href="/docs/transformers/pr_37082/ja/main_classes/text_generation#transformers.GenerationConfig.save_pretrained">GenerationConfig.save_pretrained()</a> の <code>config_file_name</code>
	引数を使用します。後で <a href="/docs/transformers/pr_37082/ja/main_classes/text_generation#transformers.GenerationConfig.from_pretrained">GenerationConfig.from_pretrained()</a> でこれらをインスタンス化できます。これは、1つのモデルに対して複数の生成設定を保存したい場合に便利です
	（例：サンプリングを使用したクリエイティブなテキスト生成用の1つと、ビームサーチを使用した要約用の1つ）。モデルに設定ファイルを追加するには、適切な Hub 権限が必要です。`,ee,S,se,q,le,A,ps="<code>generate()</code> は、その <code>streamer</code> 入力を介してストリーミングをサポートしています。<code>streamer</code> 入力は、次のメソッドを持つクラスのインスタンスと互換性があります：<code>put()</code> と <code>end()</code>。内部的には、<code>put()</code> は新しいトークンをプッシュするために使用され、<code>end()</code> はテキスト生成の終了をフラグ付けするために使用されます。",ae,T,ne,L,os='実際には、さまざまな目的に対して独自のストリーミングクラスを作成できます！また、使用できる基本的なストリーミングクラスも用意されています。例えば、<a href="/docs/transformers/pr_37082/ja/internal/generation_utils#transformers.TextStreamer">TextStreamer</a> クラスを使用して、<code>generate()</code> の出力を画面に単語ごとにストリームすることができます：',pe,D,oe,K,ie,P,is='特定の <code>generate()</code> パラメータの組み合わせ、そして最終的に <code>generation_config</code> は、特定のデコーディング戦略を有効にするために使用できます。このコンセプトが新しい場合、<a href="https://huggingface.co/blog/how-to-generate" rel="nofollow">このブログポスト</a>を読むことをお勧めします。このブログポストでは、一般的なデコーディング戦略がどのように動作するかが説明されています。',re,O,rs="ここでは、デコーディング戦略を制御するいくつかのパラメータを示し、それらをどのように使用できるかを説明します。",ce,tt,me,et,cs="<code>generate</code> はデフォルトで貪欲探索デコーディングを使用するため、有効にするためにパラメータを渡す必要はありません。これは、パラメータ <code>num_beams</code> が 1 に設定され、<code>do_sample=False</code> であることを意味します。",Me,st,ye,lt,de,at,ms=`コントラスティブ検索デコーディング戦略は、2022年の論文<a href="https://arxiv.org/abs/2202.06417" rel="nofollow">A Contrastive Framework for Neural Text Generation</a>で提案されました。
	これは、非反復的でありながら一貫性のある長い出力を生成するために優れた結果を示しています。コントラスティブ検索の動作原理を学ぶには、<a href="https://huggingface.co/blog/introducing-csearch" rel="nofollow">このブログポスト</a>をご覧ください。
	コントラスティブ検索の動作を有効にし、制御する2つの主要なパラメータは「penalty_alpha」と「top_k」です：`,ue,nt,ge,pt,he,ot,Ms="常に最高確率のトークンを次のトークンとして選択する貪欲検索とは異なり、多項分布サンプリング（または祖先サンプリングとも呼ばれます）はモデルによって提供される語彙全体の確率分布に基づいて次のトークンをランダムに選択します。ゼロ以外の確率を持つすべてのトークンには選択される可能性があり、これにより繰り返しのリスクが減少します。",be,it,ys="多項分布サンプリングを有効にするには、<code>do_sample=True</code> および <code>num_beams=1</code> を設定します。",je,rt,Te,ct,Je,mt,ds="貪欲探索とは異なり、ビームサーチデコーディングは各時間ステップでいくつかの仮説を保持し、最終的にシーケンス全体で最も確率が高い仮説を選択します。これにより、貪欲探索では無視されてしまう初期トークンの確率が低い高確率のシーケンスを特定する利点があります。",Ue,j,us='<img style="max-width: 90%; margin: auto;" src="https://huggingface.co/datasets/huggingface/documentation-images/resolve/main/transformers/beam_search.png"/>',we,Mt,gs='ビームサーチデコーディングの動作を<a href="https://huggingface.co/spaces/m-ric/beam_search_visualizer" rel="nofollow">このインタラクティブデモ</a>で確認することができます。文章を入力し、パラメータをいじることでデコーディングビームがどのように変化するかを知ることができます。',fe,yt,hs="このデコーディング戦略を有効にするには、<code>num_beams</code>（追跡する仮説の数）を1よりも大きな値に指定します。",Ze,dt,ke,ut,We,gt,bs="その名前からもわかるように、このデコーディング戦略はビームサーチと多項サンプリングを組み合わせています。このデコーディング戦略を使用するには、<code>num_beams</code> を1より大きな値に設定し、<code>do_sample=True</code> を設定する必要があります。",Ge,ht,Be,bt,Ve,jt,js='多様なビームサーチデコーディング戦略は、ビームサーチ戦略の拡張であり、選択肢からより多様なビームシーケンスを生成できるようにします。この仕組みの詳細については、<a href="https://arxiv.org/pdf/1610.02424.pdf" rel="nofollow">Diverse Beam Search: Decoding Diverse Solutions from Neural Sequence Models</a> をご参照ください。このアプローチには、<code>num_beams</code>、<code>num_beam_groups</code>、および <code>diversity_penalty</code> という3つの主要なパラメータがあります。多様性ペナルティは、出力がグループごとに異なることを保証し、ビームサーチは各グループ内で使用されます。',Xe,Tt,ve,Jt,Ce,Ut,Ts='アシストデコーディングは、上記のデコーディング戦略を変更したもので、同じトークナイザー（理想的にははるかに小さなモデル）を使用して、いくつかの候補トークンを貪欲に生成するアシスタントモデルを使用します。その後、主要なモデルは候補トークンを1つの前向きパスで検証し、デコーディングプロセスを高速化します。現在、アシストデコーディングでは貪欲検索とサンプリングのみがサポートされており、バッチ入力はサポートされていません。アシストデコーディングの詳細については、<a href="https://huggingface.co/blog/assisted-generation" rel="nofollow">このブログ記事</a> をご覧ください。',Re,wt,Js="アシストデコーディングを有効にするには、<code>assistant_model</code> 引数をモデルで設定します。",Ie,ft,Us='このガイドは、さまざまなデコーディング戦略を可能にする主要なパラメーターを説明しています。さらに高度なパラメーターは <code>generate</code> メソッドに存在し、<code>generate</code> メソッドの動作をさらに制御できます。使用可能なパラメーターの完全なリストについては、<a href="./main_classes/text_generation.md">APIドキュメント</a> を参照してください。',_e,Zt,He,kt,ws="サンプリング方法を使用する場合、アシストデコーディングでは <code>temperature</code> 引数を使用して、多項サンプリングと同様にランダム性を制御できます。ただし、アシストデコーディングでは、温度を低くすることで遅延の改善に役立ちます。",$e,Wt,Ne,Gt,ze,Vt,Qe;return U=new h({props:{title:"Text generation strategies",local:"text-generation-strategies",headingTag:"h1"}}),V=new h({props:{title:"Default text generation configuration",local:"default-text-generation-configuration",headingTag:"h2"}}),C=new g({props:{code:"ZnJvbSUyMHRyYW5zZm9ybWVycyUyMGltcG9ydCUyMEF1dG9Nb2RlbEZvckNhdXNhbExNJTBBJTBBbW9kZWwlMjAlM0QlMjBBdXRvTW9kZWxGb3JDYXVzYWxMTS5mcm9tX3ByZXRyYWluZWQoJTIyZGlzdGlsYmVydCUyRmRpc3RpbGdwdDIlMjIpJTBBbW9kZWwuZ2VuZXJhdGlvbl9jb25maWc=",highlighted:`<span class="hljs-meta">>>> </span><span class="hljs-keyword">from</span> transformers <span class="hljs-keyword">import</span> AutoModelForCausalLM

	<span class="hljs-meta">>>> </span>model = AutoModelForCausalLM.from_pretrained(<span class="hljs-string">"distilbert/distilgpt2"</span>)
	<span class="hljs-meta">>>> </span>model.generation_config
	GenerationConfig {
	<span class="hljs-string">"bos_token_id"</span>: <span class="hljs-number">50256</span>,
	<span class="hljs-string">"eos_token_id"</span>: <span class="hljs-number">50256</span>,
	}`,wrap:!1}}),_=new h({props:{title:"Customize text generation",local:"customize-text-generation",headingTag:"h2"}}),$=new g({props:{code:"bXlfbW9kZWwuZ2VuZXJhdGUoKippbnB1dHMlMkMlMjBudW1fYmVhbXMlM0Q0JTJDJTIwZG9fc2FtcGxlJTNEVHJ1ZSk=",highlighted:'<span class="hljs-meta">>>> </span>my_model.generate(**inputs, num_beams=<span class="hljs-number">4</span>, do_sample=<span class="hljs-literal">True</span>)',wrap:!1}}),Q=new h({props:{title:"Save a custom decoding strategy with your model",local:"save-a-custom-decoding-strategy-with-your-model",headingTag:"h2"}}),Y=new g({props:{code:"ZnJvbSUyMHRyYW5zZm9ybWVycyUyMGltcG9ydCUyMEF1dG9Nb2RlbEZvckNhdXNhbExNJTJDJTIwR2VuZXJhdGlvbkNvbmZpZyUwQSUwQW1vZGVsJTIwJTNEJTIwQXV0b01vZGVsRm9yQ2F1c2FsTE0uZnJvbV9wcmV0cmFpbmVkKCUyMm15X2FjY291bnQlMkZteV9tb2RlbCUyMiklMEFnZW5lcmF0aW9uX2NvbmZpZyUyMCUzRCUyMEdlbmVyYXRpb25Db25maWcoJTBBJTIwJTIwJTIwJTIwbWF4X25ld190b2tlbnMlM0Q1MCUyQyUyMGRvX3NhbXBsZSUzRFRydWUlMkMlMjB0b3BfayUzRDUwJTJDJTIwZW9zX3Rva2VuX2lkJTNEbW9kZWwuY29uZmlnLmVvc190b2tlbl9pZCUwQSklMEFnZW5lcmF0aW9uX2NvbmZpZy5zYXZlX3ByZXRyYWluZWQoJTIybXlfYWNjb3VudCUyRm15X21vZGVsJTIyJTJDJTIwcHVzaF90b19odWIlM0RUcnVlKQ==",highlighted:`<span class="hljs-meta">>>> </span><span class="hljs-keyword">from</span> transformers <span class="hljs-keyword">import</span> AutoModelForCausalLM, GenerationConfig

	<span class="hljs-meta">>>> </span>model = AutoModelForCausalLM.from_pretrained(<span class="hljs-string">"my_account/my_model"</span>)
	<span class="hljs-meta">>>> </span>generation_config = GenerationConfig(
	<span class="hljs-meta">... </span> max_new_tokens=<span class="hljs-number">50</span>, do_sample=<span class="hljs-literal">True</span>, top_k=<span class="hljs-number">50</span>, eos_token_id=model.config.eos_token_id
	<span class="hljs-meta">... </span>)
	<span class="hljs-meta">>>> </span>generation_config.save_pretrained(<span class="hljs-string">"my_account/my_model"</span>, push_to_hub=<span class="hljs-literal">True</span>)`,wrap:!1}}),S=new g({props:{code:"ZnJvbSUyMHRyYW5zZm9ybWVycyUyMGltcG9ydCUyMEF1dG9Nb2RlbEZvclNlcTJTZXFMTSUyQyUyMEF1dG9Ub2tlbml6ZXIlMkMlMjBHZW5lcmF0aW9uQ29uZmlnJTBBJTBBdG9rZW5pemVyJTIwJTNEJTIwQXV0b1Rva2VuaXplci5mcm9tX3ByZXRyYWluZWQoJTIyZ29vZ2xlLXQ1JTJGdDUtc21hbGwlMjIpJTBBbW9kZWwlMjAlM0QlMjBBdXRvTW9kZWxGb3JTZXEyU2VxTE0uZnJvbV9wcmV0cmFpbmVkKCUyMmdvb2dsZS10NSUyRnQ1LXNtYWxsJTIyKSUwQSUwQXRyYW5zbGF0aW9uX2dlbmVyYXRpb25fY29uZmlnJTIwJTNEJTIwR2VuZXJhdGlvbkNvbmZpZyglMEElMjAlMjAlMjAlMjBudW1fYmVhbXMlM0Q0JTJDJTBBJTIwJTIwJTIwJTIwZWFybHlfc3RvcHBpbmclM0RUcnVlJTJDJTBBJTIwJTIwJTIwJTIwZGVjb2Rlcl9zdGFydF90b2tlbl9pZCUzRDAlMkMlMEElMjAlMjAlMjAlMjBlb3NfdG9rZW5faWQlM0Rtb2RlbC5jb25maWcuZW9zX3Rva2VuX2lkJTJDJTBBJTIwJTIwJTIwJTIwcGFkX3Rva2VuJTNEbW9kZWwuY29uZmlnLnBhZF90b2tlbl9pZCUyQyUwQSklMEElMEElMjMlMjBUaXAlM0ElMjBhZGQlMjAlNjBwdXNoX3RvX2h1YiUzRFRydWUlNjAlMjB0byUyMHB1c2glMjB0byUyMHRoZSUyMEh1YiUwQXRyYW5zbGF0aW9uX2dlbmVyYXRpb25fY29uZmlnLnNhdmVfcHJldHJhaW5lZCglMjIlMkZ0bXAlMjIlMkMlMjAlMjJ0cmFuc2xhdGlvbl9nZW5lcmF0aW9uX2NvbmZpZy5qc29uJTIyKSUwQSUwQSUyMyUyMFlvdSUyMGNvdWxkJTIwdGhlbiUyMHVzZSUyMHRoZSUyMG5hbWVkJTIwZ2VuZXJhdGlvbiUyMGNvbmZpZyUyMGZpbGUlMjB0byUyMHBhcmFtZXRlcml6ZSUyMGdlbmVyYXRpb24lMEFnZW5lcmF0aW9uX2NvbmZpZyUyMCUzRCUyMEdlbmVyYXRpb25Db25maWcuZnJvbV9wcmV0cmFpbmVkKCUyMiUyRnRtcCUyMiUyQyUyMCUyMnRyYW5zbGF0aW9uX2dlbmVyYXRpb25fY29uZmlnLmpzb24lMjIpJTBBaW5wdXRzJTIwJTNEJTIwdG9rZW5pemVyKCUyMnRyYW5zbGF0ZSUyMEVuZ2xpc2glMjB0byUyMEZyZW5jaCUzQSUyMENvbmZpZ3VyYXRpb24lMjBmaWxlcyUyMGFyZSUyMGVhc3klMjB0byUyMHVzZSElMjIlMkMlMjByZXR1cm5fdGVuc29ycyUzRCUyMnB0JTIyKSUwQW91dHB1dHMlMjAlM0QlMjBtb2RlbC5nZW5lcmF0ZSgqKmlucHV0cyUyQyUyMGdlbmVyYXRpb25fY29uZmlnJTNEZ2VuZXJhdGlvbl9jb25maWcpJTBBcHJpbnQodG9rZW5pemVyLmJhdGNoX2RlY29kZShvdXRwdXRzJTJDJTIwc2tpcF9zcGVjaWFsX3Rva2VucyUzRFRydWUpKQ==",highlighted:`<span class="hljs-meta">>>> </span><span class="hljs-keyword">from</span> transformers <span class="hljs-keyword">import</span> AutoModelForSeq2SeqLM, AutoTokenizer, GenerationConfig

	<span class="hljs-meta">>>> </span>tokenizer = AutoTokenizer.from_pretrained(<span class="hljs-string">"google-t5/t5-small"</span>)
	<span class="hljs-meta">>>> </span>model = AutoModelForSeq2SeqLM.from_pretrained(<span class="hljs-string">"google-t5/t5-small"</span>)

	<span class="hljs-meta">>>> </span>translation_generation_config = GenerationConfig(
	<span class="hljs-meta">... </span> num_beams=<span class="hljs-number">4</span>,
	<span class="hljs-meta">... </span> early_stopping=<span class="hljs-literal">True</span>,
	<span class="hljs-meta">... </span> decoder_start_token_id=<span class="hljs-number">0</span>,
	<span class="hljs-meta">... </span> eos_token_id=model.config.eos_token_id,
	<span class="hljs-meta">... </span> pad_token=model.config.pad_token_id,
	<span class="hljs-meta">... </span>)

	<span class="hljs-meta">>>> </span><span class="hljs-comment"># Tip: add \`push_to_hub=True\` to push to the Hub</span>
	<span class="hljs-meta">>>> </span>translation_generation_config.save_pretrained(<span class="hljs-string">"/tmp"</span>, <span class="hljs-string">"translation_generation_config.json"</span>)

	<span class="hljs-meta">>>> </span><span class="hljs-comment"># You could then use the named generation config file to parameterize generation</span>
	<span class="hljs-meta">>>> </span>generation_config = GenerationConfig.from_pretrained(<span class="hljs-string">"/tmp"</span>, <span class="hljs-string">"translation_generation_config.json"</span>)
	<span class="hljs-meta">>>> </span>inputs = tokenizer(<span class="hljs-string">"translate English to French: Configuration files are easy to use!"</span>, return_tensors=<span class="hljs-string">"pt"</span>)
	<span class="hljs-meta">>>> </span>outputs = model.generate(**inputs, generation_config=generation_config)
	<span class="hljs-meta">>>> </span><span class="hljs-built_in">print</span>(tokenizer.batch_decode(outputs, skip_special_tokens=<span class="hljs-literal">True</span>))
	[<span class="hljs-string">'Les fichiers de configuration sont faciles à utiliser!'</span>]`,wrap:!1}}),q=new h({props:{title:"Streaming",local:"streaming",headingTag:"h2"}}),T=new Cs({props:{warning:!0,$$slots:{default:[Is]},$$scope:{ctx:Xt}}}),D=new g({props:{code:"ZnJvbSUyMHRyYW5zZm9ybWVycyUyMGltcG9ydCUyMEF1dG9Nb2RlbEZvckNhdXNhbExNJTJDJTIwQXV0b1Rva2VuaXplciUyQyUyMFRleHRTdHJlYW1lciUwQSUwQXRvayUyMCUzRCUyMEF1dG9Ub2tlbml6ZXIuZnJvbV9wcmV0cmFpbmVkKCUyMm9wZW5haS1jb21tdW5pdHklMkZncHQyJTIyKSUwQW1vZGVsJTIwJTNEJTIwQXV0b01vZGVsRm9yQ2F1c2FsTE0uZnJvbV9wcmV0cmFpbmVkKCUyMm9wZW5haS1jb21tdW5pdHklMkZncHQyJTIyKSUwQWlucHV0cyUyMCUzRCUyMHRvayglNUIlMjJBbiUyMGluY3JlYXNpbmclMjBzZXF1ZW5jZSUzQSUyMG9uZSUyQyUyMiU1RCUyQyUyMHJldHVybl90ZW5zb3JzJTNEJTIycHQlMjIpJTBBc3RyZWFtZXIlMjAlM0QlMjBUZXh0U3RyZWFtZXIodG9rKSUwQSUwQSUyMyUyMERlc3BpdGUlMjByZXR1cm5pbmclMjB0aGUlMjB1c3VhbCUyMG91dHB1dCUyQyUyMHRoZSUyMHN0cmVhbWVyJTIwd2lsbCUyMGFsc28lMjBwcmludCUyMHRoZSUyMGdlbmVyYXRlZCUyMHRleHQlMjB0byUyMHN0ZG91dC4lMEFfJTIwJTNEJTIwbW9kZWwuZ2VuZXJhdGUoKippbnB1dHMlMkMlMjBzdHJlYW1lciUzRHN0cmVhbWVyJTJDJTIwbWF4X25ld190b2tlbnMlM0QyMCk=",highlighted:`<span class="hljs-meta">>>> </span><span class="hljs-keyword">from</span> transformers <span class="hljs-keyword">import</span> AutoModelForCausalLM, AutoTokenizer, TextStreamer

	<span class="hljs-meta">>>> </span>tok = AutoTokenizer.from_pretrained(<span class="hljs-string">"openai-community/gpt2"</span>)
	<span class="hljs-meta">>>> </span>model = AutoModelForCausalLM.from_pretrained(<span class="hljs-string">"openai-community/gpt2"</span>)
	<span class="hljs-meta">>>> </span>inputs = tok([<span class="hljs-string">"An increasing sequence: one,"</span>], return_tensors=<span class="hljs-string">"pt"</span>)
	<span class="hljs-meta">>>> </span>streamer = TextStreamer(tok)

	<span class="hljs-meta">>>> </span><span class="hljs-comment"># Despite returning the usual output, the streamer will also print the generated text to stdout.</span>
	<span class="hljs-meta">>>> </span>_ = model.generate(**inputs, streamer=streamer, max_new_tokens=<span class="hljs-number">20</span>)
	An increasing sequence: one, two, three, four, five, six, seven, eight, nine, ten, eleven,`,wrap:!1}}),K=new h({props:{title:"Decoding strategies",local:"decoding-strategies",headingTag:"h2"}}),tt=new h({props:{title:"Greedy Search",local:"greedy-search",headingTag:"h3"}}),st=new g({props:{code:"ZnJvbSUyMHRyYW5zZm9ybWVycyUyMGltcG9ydCUyMEF1dG9Nb2RlbEZvckNhdXNhbExNJTJDJTIwQXV0b1Rva2VuaXplciUwQSUwQXByb21wdCUyMCUzRCUyMCUyMkklMjBsb29rJTIwZm9yd2FyZCUyMHRvJTIyJTBBY2hlY2twb2ludCUyMCUzRCUyMCUyMmRpc3RpbGJlcnQlMkZkaXN0aWxncHQyJTIyJTBBJTBBdG9rZW5pemVyJTIwJTNEJTIwQXV0b1Rva2VuaXplci5mcm9tX3ByZXRyYWluZWQoY2hlY2twb2ludCklMEFpbnB1dHMlMjAlM0QlMjB0b2tlbml6ZXIocHJvbXB0JTJDJTIwcmV0dXJuX3RlbnNvcnMlM0QlMjJwdCUyMiklMEElMEFtb2RlbCUyMCUzRCUyMEF1dG9Nb2RlbEZvckNhdXNhbExNLmZyb21fcHJldHJhaW5lZChjaGVja3BvaW50KSUwQW91dHB1dHMlMjAlM0QlMjBtb2RlbC5nZW5lcmF0ZSgqKmlucHV0cyklMEF0b2tlbml6ZXIuYmF0Y2hfZGVjb2RlKG91dHB1dHMlMkMlMjBza2lwX3NwZWNpYWxfdG9rZW5zJTNEVHJ1ZSk=",highlighted:`<span class="hljs-meta">>>> </span><span class="hljs-keyword">from</span> transformers <span class="hljs-keyword">import</span> AutoModelForCausalLM, AutoTokenizer

	<span class="hljs-meta">>>> </span>prompt = <span class="hljs-string">"I look forward to"</span>
	<span class="hljs-meta">>>> </span>checkpoint = <span class="hljs-string">"distilbert/distilgpt2"</span>

	<span class="hljs-meta">>>> </span>tokenizer = AutoTokenizer.from_pretrained(checkpoint)
	<span class="hljs-meta">>>> </span>inputs = tokenizer(prompt, return_tensors=<span class="hljs-string">"pt"</span>)

	<span class="hljs-meta">>>> </span>model = AutoModelForCausalLM.from_pretrained(checkpoint)
	<span class="hljs-meta">>>> </span>outputs = model.generate(**inputs)
	<span class="hljs-meta">>>> </span>tokenizer.batch_decode(outputs, skip_special_tokens=<span class="hljs-literal">True</span>)
	[<span class="hljs-string">'I look forward to seeing you all again!\\n\\n\\n\\n\\n\\n\\n\\n\\n\\n\\n'</span>]`,wrap:!1}}),lt=new h({props:{title:"Contrastive search",local:"contrastive-search",headingTag:"h3"}}),nt=new g({props:{code:"ZnJvbSUyMHRyYW5zZm9ybWVycyUyMGltcG9ydCUyMEF1dG9Ub2tlbml6ZXIlMkMlMjBBdXRvTW9kZWxGb3JDYXVzYWxMTSUwQSUwQWNoZWNrcG9pbnQlMjAlM0QlMjAlMjJvcGVuYWktY29tbXVuaXR5JTJGZ3B0Mi1sYXJnZSUyMiUwQXRva2VuaXplciUyMCUzRCUyMEF1dG9Ub2tlbml6ZXIuZnJvbV9wcmV0cmFpbmVkKGNoZWNrcG9pbnQpJTBBbW9kZWwlMjAlM0QlMjBBdXRvTW9kZWxGb3JDYXVzYWxMTS5mcm9tX3ByZXRyYWluZWQoY2hlY2twb2ludCklMEElMEFwcm9tcHQlMjAlM0QlMjAlMjJIdWdnaW5nJTIwRmFjZSUyMENvbXBhbnklMjBpcyUyMiUwQWlucHV0cyUyMCUzRCUyMHRva2VuaXplcihwcm9tcHQlMkMlMjByZXR1cm5fdGVuc29ycyUzRCUyMnB0JTIyKSUwQSUwQW91dHB1dHMlMjAlM0QlMjBtb2RlbC5nZW5lcmF0ZSgqKmlucHV0cyUyQyUyMHBlbmFsdHlfYWxwaGElM0QwLjYlMkMlMjB0b3BfayUzRDQlMkMlMjBtYXhfbmV3X3Rva2VucyUzRDEwMCklMEF0b2tlbml6ZXIuYmF0Y2hfZGVjb2RlKG91dHB1dHMlMkMlMjBza2lwX3NwZWNpYWxfdG9rZW5zJTNEVHJ1ZSk=",highlighted:`<span class="hljs-meta">>>> </span><span class="hljs-keyword">from</span> transformers <span class="hljs-keyword">import</span> AutoTokenizer, AutoModelForCausalLM

	<span class="hljs-meta">>>> </span>checkpoint = <span class="hljs-string">"openai-community/gpt2-large"</span>
	<span class="hljs-meta">>>> </span>tokenizer = AutoTokenizer.from_pretrained(checkpoint)
	<span class="hljs-meta">>>> </span>model = AutoModelForCausalLM.from_pretrained(checkpoint)

	<span class="hljs-meta">>>> </span>prompt = <span class="hljs-string">"Hugging Face Company is"</span>
	<span class="hljs-meta">>>> </span>inputs = tokenizer(prompt, return_tensors=<span class="hljs-string">"pt"</span>)

	<span class="hljs-meta">>>> </span>outputs = model.generate(**inputs, penalty_alpha=<span class="hljs-number">0.6</span>, top_k=<span class="hljs-number">4</span>, max_new_tokens=<span class="hljs-number">100</span>)
	<span class="hljs-meta">>>> </span>tokenizer.batch_decode(outputs, skip_special_tokens=<span class="hljs-literal">True</span>)
	[<span class="hljs-string">'Hugging Face Company is a family owned and operated business. We pride ourselves on being the best
	in the business and our customer service is second to none.\\n\\nIf you have any questions about our
	products or services, feel free to contact us at any time. We look forward to hearing from you!'</span>]`,wrap:!1}}),pt=new h({props:{title:"Multinomial sampling",local:"multinomial-sampling",headingTag:"h3"}}),rt=new g({props:{code:"ZnJvbSUyMHRyYW5zZm9ybWVycyUyMGltcG9ydCUyMEF1dG9Ub2tlbml6ZXIlMkMlMjBBdXRvTW9kZWxGb3JDYXVzYWxMTSUyQyUyMHNldF9zZWVkJTBBc2V0X3NlZWQoMCklMjAlMjAlMjMlMjBGb3IlMjByZXByb2R1Y2liaWxpdHklMEElMEFjaGVja3BvaW50JTIwJTNEJTIwJTIyb3BlbmFpLWNvbW11bml0eSUyRmdwdDItbGFyZ2UlMjIlMEF0b2tlbml6ZXIlMjAlM0QlMjBBdXRvVG9rZW5pemVyLmZyb21fcHJldHJhaW5lZChjaGVja3BvaW50KSUwQW1vZGVsJTIwJTNEJTIwQXV0b01vZGVsRm9yQ2F1c2FsTE0uZnJvbV9wcmV0cmFpbmVkKGNoZWNrcG9pbnQpJTBBJTBBcHJvbXB0JTIwJTNEJTIwJTIyVG9kYXklMjB3YXMlMjBhbiUyMGFtYXppbmclMjBkYXklMjBiZWNhdXNlJTIyJTBBaW5wdXRzJTIwJTNEJTIwdG9rZW5pemVyKHByb21wdCUyQyUyMHJldHVybl90ZW5zb3JzJTNEJTIycHQlMjIpJTBBJTBBb3V0cHV0cyUyMCUzRCUyMG1vZGVsLmdlbmVyYXRlKCoqaW5wdXRzJTJDJTIwZG9fc2FtcGxlJTNEVHJ1ZSUyQyUyMG51bV9iZWFtcyUzRDElMkMlMjBtYXhfbmV3X3Rva2VucyUzRDEwMCklMEF0b2tlbml6ZXIuYmF0Y2hfZGVjb2RlKG91dHB1dHMlMkMlMjBza2lwX3NwZWNpYWxfdG9rZW5zJTNEVHJ1ZSk=",highlighted:`<span class="hljs-meta">>>> </span><span class="hljs-keyword">from</span> transformers <span class="hljs-keyword">import</span> AutoTokenizer, AutoModelForCausalLM, set_seed
	<span class="hljs-meta">>>> </span>set_seed(<span class="hljs-number">0</span>) <span class="hljs-comment"># For reproducibility</span>

	<span class="hljs-meta">>>> </span>checkpoint = <span class="hljs-string">"openai-community/gpt2-large"</span>
	<span class="hljs-meta">>>> </span>tokenizer = AutoTokenizer.from_pretrained(checkpoint)
	<span class="hljs-meta">>>> </span>model = AutoModelForCausalLM.from_pretrained(checkpoint)

	<span class="hljs-meta">>>> </span>prompt = <span class="hljs-string">"Today was an amazing day because"</span>
	<span class="hljs-meta">>>> </span>inputs = tokenizer(prompt, return_tensors=<span class="hljs-string">"pt"</span>)

	<span class="hljs-meta">>>> </span>outputs = model.generate(**inputs, do_sample=<span class="hljs-literal">True</span>, num_beams=<span class="hljs-number">1</span>, max_new_tokens=<span class="hljs-number">100</span>)
	<span class="hljs-meta">>>> </span>tokenizer.batch_decode(outputs, skip_special_tokens=<span class="hljs-literal">True</span>)
	[<span class="hljs-string">'Today was an amazing day because when you go to the World Cup and you don\\'t, or when you don\\'t get invited,
	that\\'s a terrible feeling."'</span>]`,wrap:!1}}),ct=new h({props:{title:"Beam-search decoding",local:"beam-search-decoding",headingTag:"h3"}}),dt=new g({props:{code:"ZnJvbSUyMHRyYW5zZm9ybWVycyUyMGltcG9ydCUyMEF1dG9Nb2RlbEZvckNhdXNhbExNJTJDJTIwQXV0b1Rva2VuaXplciUwQSUwQXByb21wdCUyMCUzRCUyMCUyMkl0JTIwaXMlMjBhc3RvbmlzaGluZyUyMGhvdyUyMG9uZSUyMGNhbiUyMiUwQWNoZWNrcG9pbnQlMjAlM0QlMjAlMjJvcGVuYWktY29tbXVuaXR5JTJGZ3B0Mi1tZWRpdW0lMjIlMEElMEF0b2tlbml6ZXIlMjAlM0QlMjBBdXRvVG9rZW5pemVyLmZyb21fcHJldHJhaW5lZChjaGVja3BvaW50KSUwQWlucHV0cyUyMCUzRCUyMHRva2VuaXplcihwcm9tcHQlMkMlMjByZXR1cm5fdGVuc29ycyUzRCUyMnB0JTIyKSUwQSUwQW1vZGVsJTIwJTNEJTIwQXV0b01vZGVsRm9yQ2F1c2FsTE0uZnJvbV9wcmV0cmFpbmVkKGNoZWNrcG9pbnQpJTBBJTBBb3V0cHV0cyUyMCUzRCUyMG1vZGVsLmdlbmVyYXRlKCoqaW5wdXRzJTJDJTIwbnVtX2JlYW1zJTNENSUyQyUyMG1heF9uZXdfdG9rZW5zJTNENTApJTBBdG9rZW5pemVyLmJhdGNoX2RlY29kZShvdXRwdXRzJTJDJTIwc2tpcF9zcGVjaWFsX3Rva2VucyUzRFRydWUp",highlighted:`<span class="hljs-meta">>>> </span><span class="hljs-keyword">from</span> transformers <span class="hljs-keyword">import</span> AutoModelForCausalLM, AutoTokenizer

	<span class="hljs-meta">>>> </span>prompt = <span class="hljs-string">"It is astonishing how one can"</span>
	<span class="hljs-meta">>>> </span>checkpoint = <span class="hljs-string">"openai-community/gpt2-medium"</span>

	<span class="hljs-meta">>>> </span>tokenizer = AutoTokenizer.from_pretrained(checkpoint)
	<span class="hljs-meta">>>> </span>inputs = tokenizer(prompt, return_tensors=<span class="hljs-string">"pt"</span>)

	<span class="hljs-meta">>>> </span>model = AutoModelForCausalLM.from_pretrained(checkpoint)

	<span class="hljs-meta">>>> </span>outputs = model.generate(**inputs, num_beams=<span class="hljs-number">5</span>, max_new_tokens=<span class="hljs-number">50</span>)
	<span class="hljs-meta">>>> </span>tokenizer.batch_decode(outputs, skip_special_tokens=<span class="hljs-literal">True</span>)
	[<span class="hljs-string">'It is astonishing how one can have such a profound impact on the lives of so many people in such a short period of
	time."\\n\\nHe added: "I am very proud of the work I have been able to do in the last few years.\\n\\n"I have'</span>]`,wrap:!1}}),ut=new h({props:{title:"Beam-search multinomial sampling",local:"beam-search-multinomial-sampling",headingTag:"h3"}}),ht=new g({props:{code:"ZnJvbSUyMHRyYW5zZm9ybWVycyUyMGltcG9ydCUyMEF1dG9Ub2tlbml6ZXIlMkMlMjBBdXRvTW9kZWxGb3JTZXEyU2VxTE0lMkMlMjBzZXRfc2VlZCUwQXNldF9zZWVkKDApJTIwJTIwJTIzJTIwRm9yJTIwcmVwcm9kdWNpYmlsaXR5JTBBJTBBcHJvbXB0JTIwJTNEJTIwJTIydHJhbnNsYXRlJTIwRW5nbGlzaCUyMHRvJTIwR2VybWFuJTNBJTIwVGhlJTIwaG91c2UlMjBpcyUyMHdvbmRlcmZ1bC4lMjIlMEFjaGVja3BvaW50JTIwJTNEJTIwJTIyZ29vZ2xlLXQ1JTJGdDUtc21hbGwlMjIlMEElMEF0b2tlbml6ZXIlMjAlM0QlMjBBdXRvVG9rZW5pemVyLmZyb21fcHJldHJhaW5lZChjaGVja3BvaW50KSUwQWlucHV0cyUyMCUzRCUyMHRva2VuaXplcihwcm9tcHQlMkMlMjByZXR1cm5fdGVuc29ycyUzRCUyMnB0JTIyKSUwQSUwQW1vZGVsJTIwJTNEJTIwQXV0b01vZGVsRm9yU2VxMlNlcUxNLmZyb21fcHJldHJhaW5lZChjaGVja3BvaW50KSUwQSUwQW91dHB1dHMlMjAlM0QlMjBtb2RlbC5nZW5lcmF0ZSgqKmlucHV0cyUyQyUyMG51bV9iZWFtcyUzRDUlMkMlMjBkb19zYW1wbGUlM0RUcnVlKSUwQXRva2VuaXplci5kZWNvZGUob3V0cHV0cyU1QjAlNUQlMkMlMjBza2lwX3NwZWNpYWxfdG9rZW5zJTNEVHJ1ZSk=",highlighted:`<span class="hljs-meta">>>> </span><span class="hljs-keyword">from</span> transformers <span class="hljs-keyword">import</span> AutoTokenizer, AutoModelForSeq2SeqLM, set_seed
	<span class="hljs-meta">>>> </span>set_seed(<span class="hljs-number">0</span>) <span class="hljs-comment"># For reproducibility</span>

	<span class="hljs-meta">>>> </span>prompt = <span class="hljs-string">"translate English to German: The house is wonderful."</span>
	<span class="hljs-meta">>>> </span>checkpoint = <span class="hljs-string">"google-t5/t5-small"</span>

	<span class="hljs-meta">>>> </span>tokenizer = AutoTokenizer.from_pretrained(checkpoint)
	<span class="hljs-meta">>>> </span>inputs = tokenizer(prompt, return_tensors=<span class="hljs-string">"pt"</span>)

	<span class="hljs-meta">>>> </span>model = AutoModelForSeq2SeqLM.from_pretrained(checkpoint)

	<span class="hljs-meta">>>> </span>outputs = model.generate(**inputs, num_beams=<span class="hljs-number">5</span>, do_sample=<span class="hljs-literal">True</span>)
	<span class="hljs-meta">>>> </span>tokenizer.decode(outputs[<span class="hljs-number">0</span>], skip_special_tokens=<span class="hljs-literal">True</span>)
	<span class="hljs-string">'Das Haus ist wunderbar.'</span>`,wrap:!1}}),bt=new h({props:{title:"Diverse beam search decoding",local:"diverse-beam-search-decoding",headingTag:"h3"}}),Tt=new g({props:{code:"ZnJvbSUyMHRyYW5zZm9ybWVycyUyMGltcG9ydCUyMEF1dG9Ub2tlbml6ZXIlMkMlMjBBdXRvTW9kZWxGb3JTZXEyU2VxTE0lMEElMEFjaGVja3BvaW50JTIwJTNEJTIwJTIyZ29vZ2xlJTJGcGVnYXN1cy14c3VtJTIyJTBBcHJvbXB0JTIwJTNEJTIwKCUwQSUyMCUyMCUyMCUyMCUyMlRoZSUyMFBlcm1hY3VsdHVyZSUyMERlc2lnbiUyMFByaW5jaXBsZXMlMjBhcmUlMjBhJTIwc2V0JTIwb2YlMjB1bml2ZXJzYWwlMjBkZXNpZ24lMjBwcmluY2lwbGVzJTIwJTIyJTBBJTIwJTIwJTIwJTIwJTIydGhhdCUyMGNhbiUyMGJlJTIwYXBwbGllZCUyMHRvJTIwYW55JTIwbG9jYXRpb24lMkMlMjBjbGltYXRlJTIwYW5kJTIwY3VsdHVyZSUyQyUyMGFuZCUyMHRoZXklMjBhbGxvdyUyMHVzJTIwdG8lMjBkZXNpZ24lMjAlMjIlMEElMjAlMjAlMjAlMjAlMjJ0aGUlMjBtb3N0JTIwZWZmaWNpZW50JTIwYW5kJTIwc3VzdGFpbmFibGUlMjBodW1hbiUyMGhhYml0YXRpb24lMjBhbmQlMjBmb29kJTIwcHJvZHVjdGlvbiUyMHN5c3RlbXMuJTIwJTIyJTBBJTIwJTIwJTIwJTIwJTIyUGVybWFjdWx0dXJlJTIwaXMlMjBhJTIwZGVzaWduJTIwc3lzdGVtJTIwdGhhdCUyMGVuY29tcGFzc2VzJTIwYSUyMHdpZGUlMjB2YXJpZXR5JTIwb2YlMjBkaXNjaXBsaW5lcyUyQyUyMHN1Y2glMjAlMjIlMEElMjAlMjAlMjAlMjAlMjJhcyUyMGVjb2xvZ3klMkMlMjBsYW5kc2NhcGUlMjBkZXNpZ24lMkMlMjBlbnZpcm9ubWVudGFsJTIwc2NpZW5jZSUyMGFuZCUyMGVuZXJneSUyMGNvbnNlcnZhdGlvbiUyQyUyMGFuZCUyMHRoZSUyMCUyMiUwQSUyMCUyMCUyMCUyMCUyMlBlcm1hY3VsdHVyZSUyMGRlc2lnbiUyMHByaW5jaXBsZXMlMjBhcmUlMjBkcmF3biUyMGZyb20lMjB0aGVzZSUyMHZhcmlvdXMlMjBkaXNjaXBsaW5lcy4lMjBFYWNoJTIwaW5kaXZpZHVhbCUyMCUyMiUwQSUyMCUyMCUyMCUyMCUyMmRlc2lnbiUyMHByaW5jaXBsZSUyMGl0c2VsZiUyMGVtYm9kaWVzJTIwYSUyMGNvbXBsZXRlJTIwY29uY2VwdHVhbCUyMGZyYW1ld29yayUyMGJhc2VkJTIwb24lMjBzb3VuZCUyMCUyMiUwQSUyMCUyMCUyMCUyMCUyMnNjaWVudGlmaWMlMjBwcmluY2lwbGVzLiUyMFdoZW4lMjB3ZSUyMGJyaW5nJTIwYWxsJTIwdGhlc2UlMjBzZXBhcmF0ZSUyMCUyMHByaW5jaXBsZXMlMjB0b2dldGhlciUyQyUyMHdlJTIwY2FuJTIwJTIyJTBBJTIwJTIwJTIwJTIwJTIyY3JlYXRlJTIwYSUyMGRlc2lnbiUyMHN5c3RlbSUyMHRoYXQlMjBib3RoJTIwbG9va3MlMjBhdCUyMHdob2xlJTIwc3lzdGVtcyUyQyUyMHRoZSUyMHBhcnRzJTIwdGhhdCUyMHRoZXNlJTIwc3lzdGVtcyUyMCUyMiUwQSUyMCUyMCUyMCUyMCUyMmNvbnNpc3QlMjBvZiUyQyUyMGFuZCUyMGhvdyUyMHRob3NlJTIwcGFydHMlMjBpbnRlcmFjdCUyMHdpdGglMjBlYWNoJTIwb3RoZXIlMjB0byUyMGNyZWF0ZSUyMGElMjBjb21wbGV4JTJDJTIwZHluYW1pYyUyQyUyMCUyMiUwQSUyMCUyMCUyMCUyMCUyMmxpdmluZyUyMHN5c3RlbS4lMjBFYWNoJTIwZGVzaWduJTIwcHJpbmNpcGxlJTIwc2VydmVzJTIwYXMlMjBhJTIwdG9vbCUyMHRoYXQlMjBhbGxvd3MlMjB1cyUyMHRvJTIwaW50ZWdyYXRlJTIwYWxsJTIwJTIyJTBBJTIwJTIwJTIwJTIwJTIydGhlJTIwc2VwYXJhdGUlMjBwYXJ0cyUyMG9mJTIwYSUyMGRlc2lnbiUyQyUyMHJlZmVycmVkJTIwdG8lMjBhcyUyMGVsZW1lbnRzJTJDJTIwaW50byUyMGElMjBmdW5jdGlvbmFsJTJDJTIwc3luZXJnaXN0aWMlMkMlMjAlMjIlMEElMjAlMjAlMjAlMjAlMjJ3aG9sZSUyMHN5c3RlbSUyQyUyMHdoZXJlJTIwdGhlJTIwZWxlbWVudHMlMjBoYXJtb25pb3VzbHklMjBpbnRlcmFjdCUyMGFuZCUyMHdvcmslMjB0b2dldGhlciUyMGluJTIwdGhlJTIwbW9zdCUyMCUyMiUwQSUyMCUyMCUyMCUyMCUyMmVmZmljaWVudCUyMHdheSUyMHBvc3NpYmxlLiUyMiUwQSklMEElMEF0b2tlbml6ZXIlMjAlM0QlMjBBdXRvVG9rZW5pemVyLmZyb21fcHJldHJhaW5lZChjaGVja3BvaW50KSUwQWlucHV0cyUyMCUzRCUyMHRva2VuaXplcihwcm9tcHQlMkMlMjByZXR1cm5fdGVuc29ycyUzRCUyMnB0JTIyKSUwQSUwQW1vZGVsJTIwJTNEJTIwQXV0b01vZGVsRm9yU2VxMlNlcUxNLmZyb21fcHJldHJhaW5lZChjaGVja3BvaW50KSUwQSUwQW91dHB1dHMlMjAlM0QlMjBtb2RlbC5nZW5lcmF0ZSgqKmlucHV0cyUyQyUyMG51bV9iZWFtcyUzRDUlMkMlMjBudW1fYmVhbV9ncm91cHMlM0Q1JTJDJTIwbWF4X25ld190b2tlbnMlM0QzMCUyQyUyMGRpdmVyc2l0eV9wZW5hbHR5JTNEMS4wKSUwQXRva2VuaXplci5kZWNvZGUob3V0cHV0cyU1QjAlNUQlMkMlMjBza2lwX3NwZWNpYWxfdG9rZW5zJTNEVHJ1ZSk=",highlighted:`<span class="hljs-meta">>>> </span><span class="hljs-keyword">from</span> transformers <span class="hljs-keyword">import</span> AutoTokenizer, AutoModelForSeq2SeqLM

	<span class="hljs-meta">>>> </span>checkpoint = <span class="hljs-string">"google/pegasus-xsum"</span>
	<span class="hljs-meta">>>> </span>prompt = (
	<span class="hljs-meta">... </span> <span class="hljs-string">"The Permaculture Design Principles are a set of universal design principles "</span>
	<span class="hljs-meta">... </span> <span class="hljs-string">"that can be applied to any location, climate and culture, and they allow us to design "</span>
	<span class="hljs-meta">... </span> <span class="hljs-string">"the most efficient and sustainable human habitation and food production systems. "</span>
	<span class="hljs-meta">... </span> <span class="hljs-string">"Permaculture is a design system that encompasses a wide variety of disciplines, such "</span>
	<span class="hljs-meta">... </span> <span class="hljs-string">"as ecology, landscape design, environmental science and energy conservation, and the "</span>
	<span class="hljs-meta">... </span> <span class="hljs-string">"Permaculture design principles are drawn from these various disciplines. Each individual "</span>
	<span class="hljs-meta">... </span> <span class="hljs-string">"design principle itself embodies a complete conceptual framework based on sound "</span>
	<span class="hljs-meta">... </span> <span class="hljs-string">"scientific principles. When we bring all these separate principles together, we can "</span>
	<span class="hljs-meta">... </span> <span class="hljs-string">"create a design system that both looks at whole systems, the parts that these systems "</span>
	<span class="hljs-meta">... </span> <span class="hljs-string">"consist of, and how those parts interact with each other to create a complex, dynamic, "</span>
	<span class="hljs-meta">... </span> <span class="hljs-string">"living system. Each design principle serves as a tool that allows us to integrate all "</span>
	<span class="hljs-meta">... </span> <span class="hljs-string">"the separate parts of a design, referred to as elements, into a functional, synergistic, "</span>
	<span class="hljs-meta">... </span> <span class="hljs-string">"whole system, where the elements harmoniously interact and work together in the most "</span>
	<span class="hljs-meta">... </span> <span class="hljs-string">"efficient way possible."</span>
	<span class="hljs-meta">... </span>)

	<span class="hljs-meta">>>> </span>tokenizer = AutoTokenizer.from_pretrained(checkpoint)
	<span class="hljs-meta">>>> </span>inputs = tokenizer(prompt, return_tensors=<span class="hljs-string">"pt"</span>)

	<span class="hljs-meta">>>> </span>model = AutoModelForSeq2SeqLM.from_pretrained(checkpoint)

	<span class="hljs-meta">>>> </span>outputs = model.generate(**inputs, num_beams=<span class="hljs-number">5</span>, num_beam_groups=<span class="hljs-number">5</span>, max_new_tokens=<span class="hljs-number">30</span>, diversity_penalty=<span class="hljs-number">1.0</span>)
	<span class="hljs-meta">>>> </span>tokenizer.decode(outputs[<span class="hljs-number">0</span>], skip_special_tokens=<span class="hljs-literal">True</span>)
	<span class="hljs-string">'The Design Principles are a set of universal design principles that can be applied to any location, climate and
	culture, and they allow us to design the'</span>`,wrap:!1}}),Jt=new h({props:{title:"Assisted Decoding",local:"assisted-decoding",headingTag:"h3"}}),Zt=new g({props:{code:"ZnJvbSUyMHRyYW5zZm9ybWVycyUyMGltcG9ydCUyMEF1dG9Nb2RlbEZvckNhdXNhbExNJTJDJTIwQXV0b1Rva2VuaXplciUwQSUwQXByb21wdCUyMCUzRCUyMCUyMkFsaWNlJTIwYW5kJTIwQm9iJTIyJTBBY2hlY2twb2ludCUyMCUzRCUyMCUyMkVsZXV0aGVyQUklMkZweXRoaWEtMS40Yi1kZWR1cGVkJTIyJTBBYXNzaXN0YW50X2NoZWNrcG9pbnQlMjAlM0QlMjAlMjJFbGV1dGhlckFJJTJGcHl0aGlhLTE2MG0tZGVkdXBlZCUyMiUwQSUwQXRva2VuaXplciUyMCUzRCUyMEF1dG9Ub2tlbml6ZXIuZnJvbV9wcmV0cmFpbmVkKGNoZWNrcG9pbnQpJTBBaW5wdXRzJTIwJTNEJTIwdG9rZW5pemVyKHByb21wdCUyQyUyMHJldHVybl90ZW5zb3JzJTNEJTIycHQlMjIpJTBBJTBBbW9kZWwlMjAlM0QlMjBBdXRvTW9kZWxGb3JDYXVzYWxMTS5mcm9tX3ByZXRyYWluZWQoY2hlY2twb2ludCklMEFhc3Npc3RhbnRfbW9kZWwlMjAlM0QlMjBBdXRvTW9kZWxGb3JDYXVzYWxMTS5mcm9tX3ByZXRyYWluZWQoYXNzaXN0YW50X2NoZWNrcG9pbnQpJTBBb3V0cHV0cyUyMCUzRCUyMG1vZGVsLmdlbmVyYXRlKCoqaW5wdXRzJTJDJTIwYXNzaXN0YW50X21vZGVsJTNEYXNzaXN0YW50X21vZGVsKSUwQXRva2VuaXplci5iYXRjaF9kZWNvZGUob3V0cHV0cyUyQyUyMHNraXBfc3BlY2lhbF90b2tlbnMlM0RUcnVlKQ==",highlighted:`<span class="hljs-meta">>>> </span><span class="hljs-keyword">from</span> transformers <span class="hljs-keyword">import</span> AutoModelForCausalLM, AutoTokenizer

	<span class="hljs-meta">>>> </span>prompt = <span class="hljs-string">"Alice and Bob"</span>
	<span class="hljs-meta">>>> </span>checkpoint = <span class="hljs-string">"EleutherAI/pythia-1.4b-deduped"</span>
	<span class="hljs-meta">>>> </span>assistant_checkpoint = <span class="hljs-string">"EleutherAI/pythia-160m-deduped"</span>

	<span class="hljs-meta">>>> </span>tokenizer = AutoTokenizer.from_pretrained(checkpoint)
	<span class="hljs-meta">>>> </span>inputs = tokenizer(prompt, return_tensors=<span class="hljs-string">"pt"</span>)

	<span class="hljs-meta">>>> </span>model = AutoModelForCausalLM.from_pretrained(checkpoint)
	<span class="hljs-meta">>>> </span>assistant_model = AutoModelForCausalLM.from_pretrained(assistant_checkpoint)
	<span class="hljs-meta">>>> </span>outputs = model.generate(**inputs, assistant_model=assistant_model)
	<span class="hljs-meta">>>> </span>tokenizer.batch_decode(outputs, skip_special_tokens=<span class="hljs-literal">True</span>)
	[<span class="hljs-string">'Alice and Bob are sitting in a bar. Alice is drinking a beer and Bob is drinking a'</span>]`,wrap:!1}}),Wt=new g({props:{code:"ZnJvbSUyMHRyYW5zZm9ybWVycyUyMGltcG9ydCUyMEF1dG9Nb2RlbEZvckNhdXNhbExNJTJDJTIwQXV0b1Rva2VuaXplciUyQyUyMHNldF9zZWVkJTBBc2V0X3NlZWQoNDIpJTIwJTIwJTIzJTIwRm9yJTIwcmVwcm9kdWNpYmlsaXR5JTBBJTBBcHJvbXB0JTIwJTNEJTIwJTIyQWxpY2UlMjBhbmQlMjBCb2IlMjIlMEFjaGVja3BvaW50JTIwJTNEJTIwJTIyRWxldXRoZXJBSSUyRnB5dGhpYS0xLjRiLWRlZHVwZWQlMjIlMEFhc3Npc3RhbnRfY2hlY2twb2ludCUyMCUzRCUyMCUyMkVsZXV0aGVyQUklMkZweXRoaWEtMTYwbS1kZWR1cGVkJTIyJTBBJTBBdG9rZW5pemVyJTIwJTNEJTIwQXV0b1Rva2VuaXplci5mcm9tX3ByZXRyYWluZWQoY2hlY2twb2ludCklMEFpbnB1dHMlMjAlM0QlMjB0b2tlbml6ZXIocHJvbXB0JTJDJTIwcmV0dXJuX3RlbnNvcnMlM0QlMjJwdCUyMiklMEElMEFtb2RlbCUyMCUzRCUyMEF1dG9Nb2RlbEZvckNhdXNhbExNLmZyb21fcHJldHJhaW5lZChjaGVja3BvaW50KSUwQWFzc2lzdGFudF9tb2RlbCUyMCUzRCUyMEF1dG9Nb2RlbEZvckNhdXNhbExNLmZyb21fcHJldHJhaW5lZChhc3Npc3RhbnRfY2hlY2twb2ludCklMEFvdXRwdXRzJTIwJTNEJTIwbW9kZWwuZ2VuZXJhdGUoKippbnB1dHMlMkMlMjBhc3Npc3RhbnRfbW9kZWwlM0Rhc3Npc3RhbnRfbW9kZWwlMkMlMjBkb19zYW1wbGUlM0RUcnVlJTJDJTIwdGVtcGVyYXR1cmUlM0QwLjUpJTBBdG9rZW5pemVyLmJhdGNoX2RlY29kZShvdXRwdXRzJTJDJTIwc2tpcF9zcGVjaWFsX3Rva2VucyUzRFRydWUp",highlighted:`<span class="hljs-meta">>>> </span><span class="hljs-keyword">from</span> transformers <span class="hljs-keyword">import</span> AutoModelForCausalLM, AutoTokenizer, set_seed
	<span class="hljs-meta">>>> </span>set_seed(<span class="hljs-number">42</span>) <span class="hljs-comment"># For reproducibility</span>

	<span class="hljs-meta">>>> </span>prompt = <span class="hljs-string">"Alice and Bob"</span>
	<span class="hljs-meta">>>> </span>checkpoint = <span class="hljs-string">"EleutherAI/pythia-1.4b-deduped"</span>
	<span class="hljs-meta">>>> </span>assistant_checkpoint = <span class="hljs-string">"EleutherAI/pythia-160m-deduped"</span>

	<span class="hljs-meta">>>> </span>tokenizer = AutoTokenizer.from_pretrained(checkpoint)
	<span class="hljs-meta">>>> </span>inputs = tokenizer(prompt, return_tensors=<span class="hljs-string">"pt"</span>)

	<span class="hljs-meta">>>> </span>model = AutoModelForCausalLM.from_pretrained(checkpoint)
	<span class="hljs-meta">>>> </span>assistant_model = AutoModelForCausalLM.from_pretrained(assistant_checkpoint)
	<span class="hljs-meta">>>> </span>outputs = model.generate(**inputs, assistant_model=assistant_model, do_sample=<span class="hljs-literal">True</span>, temperature=<span class="hljs-number">0.5</span>)
	<span class="hljs-meta">>>> </span>tokenizer.batch_decode(outputs, skip_special_tokens=<span class="hljs-literal">True</span>)
	[<span class="hljs-string">'Alice and Bob are going to the same party. It is a small party, in a small'</span>]`,wrap:!1}}),Gt=new Rs({props:{source:"https://github.com/huggingface/transformers/blob/main/docs/source/ja/generation_strategies.md"}}),{c(){u=p("meta"),J=a(),b=p("p"),Bt=a(),r(U.$$.fragment),vt=a(),w=p("p"),w.textContent=Fe,Ct=a(),f=p("p"),f.innerHTML=Ye,Rt=a(),Z=p("ul"),Z.innerHTML=Ee,It=a(),k=p("p"),k.textContent=Se,_t=a(),W=p("p"),W.innerHTML=qe,Ht=a(),G=p("p"),G.textContent=Ae,$t=a(),B=p("ul"),B.innerHTML=Le,Nt=a(),r(V.$$.fragment),zt=a(),X=p("p"),X.innerHTML=De,Qt=a(),v=p("p"),v.innerHTML=Ke,xt=a(),r(C.$$.fragment),Ft=a(),R=p("p"),R.innerHTML=Pe,Yt=a(),I=p("p"),I.textContent=Oe,Et=a(),r(_.$$.fragment),St=a(),H=p("p"),H.innerHTML=ts,qt=a(),r($.$$.fragment),At=a(),N=p("p"),N.textContent=es,Lt=a(),z=p("ul"),z.innerHTML=ss,Dt=a(),r(Q.$$.fragment),Kt=a(),x=p("p"),x.textContent=ls,Pt=a(),F=p("ul"),F.innerHTML=as,Ot=a(),r(Y.$$.fragment),te=a(),E=p("p"),E.innerHTML=ns,ee=a(),r(S.$$.fragment),se=a(),r(q.$$.fragment),le=a(),A=p("p"),A.innerHTML=ps,ae=a(),r(T.$$.fragment),ne=a(),L=p("p"),L.innerHTML=os,pe=a(),r(D.$$.fragment),oe=a(),r(K.$$.fragment),ie=a(),P=p("p"),P.innerHTML=is,re=a(),O=p("p"),O.textContent=rs,ce=a(),r(tt.$$.fragment),me=a(),et=p("p"),et.innerHTML=cs,Me=a(),r(st.$$.fragment),ye=a(),r(lt.$$.fragment),de=a(),at=p("p"),at.innerHTML=ms,ue=a(),r(nt.$$.fragment),ge=a(),r(pt.$$.fragment),he=a(),ot=p("p"),ot.textContent=Ms,be=a(),it=p("p"),it.innerHTML=ys,je=a(),r(rt.$$.fragment),Te=a(),r(ct.$$.fragment),Je=a(),mt=p("p"),mt.textContent=ds,Ue=a(),j=p("a"),j.innerHTML=us,we=a(),Mt=p("p"),Mt.innerHTML=gs,fe=a(),yt=p("p"),yt.innerHTML=hs,Ze=a(),r(dt.$$.fragment),ke=a(),r(ut.$$.fragment),We=a(),gt=p("p"),gt.innerHTML=bs,Ge=a(),r(ht.$$.fragment),Be=a(),r(bt.$$.fragment),Ve=a(),jt=p("p"),jt.innerHTML=js,Xe=a(),r(Tt.$$.fragment),ve=a(),r(Jt.$$.fragment),Ce=a(),Ut=p("p"),Ut.innerHTML=Ts,Re=a(),wt=p("p"),wt.innerHTML=Js,Ie=a(),ft=p("p"),ft.innerHTML=Us,_e=a(),r(Zt.$$.fragment),He=a(),kt=p("p"),kt.innerHTML=ws,$e=a(),r(Wt.$$.fragment),Ne=a(),r(Gt.$$.fragment),ze=a(),Vt=p("p"),this.h()},l(t){const e=Xs("svelte-u9bgzb",document.head);u=o(e,"META",{name:!0,content:!0}),e.forEach(s),J=n(t),b=o(t,"P",{}),Zs(b).forEach(s),Bt=n(t),c(U.$$.fragment,t),vt=n(t),w=o(t,"P",{"data-svelte-h":!0}),i(w)!=="svelte-19o7ffv"&&(w.textContent=Fe),Ct=n(t),f=o(t,"P",{"data-svelte-h":!0}),i(f)!=="svelte-1cb6phb"&&(f.innerHTML=Ye),Rt=n(t),Z=o(t,"UL",{"data-svelte-h":!0}),i(Z)!=="svelte-cxyakz"&&(Z.innerHTML=Ee),It=n(t),k=o(t,"P",{"data-svelte-h":!0}),i(k)!=="svelte-wzkrjy"&&(k.textContent=Se),_t=n(t),W=o(t,"P",{"data-svelte-h":!0}),i(W)!=="svelte-1mu0fno"&&(W.innerHTML=qe),Ht=n(t),G=o(t,"P",{"data-svelte-h":!0}),i(G)!=="svelte-11sif9o"&&(G.textContent=Ae),$t=n(t),B=o(t,"UL",{"data-svelte-h":!0}),i(B)!=="svelte-1inwwb3"&&(B.innerHTML=Le),Nt=n(t),c(V.$$.fragment,t),zt=n(t),X=o(t,"P",{"data-svelte-h":!0}),i(X)!=="svelte-1d2f8u8"&&(X.innerHTML=De),Qt=n(t),v=o(t,"P",{"data-svelte-h":!0}),i(v)!=="svelte-ubgpjv"&&(v.innerHTML=Ke),xt=n(t),c(C.$$.fragment,t),Ft=n(t),R=o(t,"P",{"data-svelte-h":!0}),i(R)!=="svelte-1ns85ky"&&(R.innerHTML=Pe),Yt=n(t),I=o(t,"P",{"data-svelte-h":!0}),i(I)!=="svelte-yi62rf"&&(I.textContent=Oe),Et=n(t),c(_.$$.fragment,t),St=n(t),H=o(t,"P",{"data-svelte-h":!0}),i(H)!=="svelte-y8xki4"&&(H.innerHTML=ts),qt=n(t),c($.$$.fragment,t),At=n(t),N=o(t,"P",{"data-svelte-h":!0}),i(N)!=="svelte-fha3j1"&&(N.textContent=es),Lt=n(t),z=o(t,"UL",{"data-svelte-h":!0}),i(z)!=="svelte-1g873rq"&&(z.innerHTML=ss),Dt=n(t),c(Q.$$.fragment,t),Kt=n(t),x=o(t,"P",{"data-svelte-h":!0}),i(x)!=="svelte-19t7bkx"&&(x.textContent=ls),Pt=n(t),F=o(t,"UL",{"data-svelte-h":!0}),i(F)!=="svelte-382o12"&&(F.innerHTML=as),Ot=n(t),c(Y.$$.fragment,t),te=n(t),E=o(t,"P",{"data-svelte-h":!0}),i(E)!=="svelte-tqxvfj"&&(E.innerHTML=ns),ee=n(t),c(S.$$.fragment,t),se=n(t),c(q.$$.fragment,t),le=n(t),A=o(t,"P",{"data-svelte-h":!0}),i(A)!=="svelte-1ms6989"&&(A.innerHTML=ps),ae=n(t),c(T.$$.fragment,t),ne=n(t),L=o(t,"P",{"data-svelte-h":!0}),i(L)!=="svelte-a1biy5"&&(L.innerHTML=os),pe=n(t),c(D.$$.fragment,t),oe=n(t),c(K.$$.fragment,t),ie=n(t),P=o(t,"P",{"data-svelte-h":!0}),i(P)!=="svelte-1jnbomi"&&(P.innerHTML=is),re=n(t),O=o(t,"P",{"data-svelte-h":!0}),i(O)!=="svelte-1u0z155"&&(O.textContent=rs),ce=n(t),c(tt.$$.fragment,t),me=n(t),et=o(t,"P",{"data-svelte-h":!0}),i(et)!=="svelte-qylot6"&&(et.innerHTML=cs),Me=n(t),c(st.$$.fragment,t),ye=n(t),c(lt.$$.fragment,t),de=n(t),at=o(t,"P",{"data-svelte-h":!0}),i(at)!=="svelte-7qw548"&&(at.innerHTML=ms),ue=n(t),c(nt.$$.fragment,t),ge=n(t),c(pt.$$.fragment,t),he=n(t),ot=o(t,"P",{"data-svelte-h":!0}),i(ot)!=="svelte-1jextit"&&(ot.textContent=Ms),be=n(t),it=o(t,"P",{"data-svelte-h":!0}),i(it)!=="svelte-athrg"&&(it.innerHTML=ys),je=n(t),c(rt.$$.fragment,t),Te=n(t),c(ct.$$.fragment,t),Je=n(t),mt=o(t,"P",{"data-svelte-h":!0}),i(mt)!=="svelte-1bgch4i"&&(mt.textContent=ds),Ue=n(t),j=o(t,"A",{href:!0,class:!0,"data-svelte-h":!0}),i(j)!=="svelte-1ck2qcm"&&(j.innerHTML=us),we=n(t),Mt=o(t,"P",{"data-svelte-h":!0}),i(Mt)!=="svelte-1tgl4zf"&&(Mt.innerHTML=gs),fe=n(t),yt=o(t,"P",{"data-svelte-h":!0}),i(yt)!=="svelte-x5rn7d"&&(yt.innerHTML=hs),Ze=n(t),c(dt.$$.fragment,t),ke=n(t),c(ut.$$.fragment,t),We=n(t),gt=o(t,"P",{"data-svelte-h":!0}),i(gt)!=="svelte-czmx4m"&&(gt.innerHTML=bs),Ge=n(t),c(ht.$$.fragment,t),Be=n(t),c(bt.$$.fragment,t),Ve=n(t),jt=o(t,"P",{"data-svelte-h":!0}),i(jt)!=="svelte-lypnic"&&(jt.innerHTML=js),Xe=n(t),c(Tt.$$.fragment,t),ve=n(t),c(Jt.$$.fragment,t),Ce=n(t),Ut=o(t,"P",{"data-svelte-h":!0}),i(Ut)!=="svelte-11f8gg2"&&(Ut.innerHTML=Ts),Re=n(t),wt=o(t,"P",{"data-svelte-h":!0}),i(wt)!=="svelte-znc3wn"&&(wt.innerHTML=Js),Ie=n(t),ft=o(t,"P",{"data-svelte-h":!0}),i(ft)!=="svelte-1mepgdn"&&(ft.innerHTML=Us),_e=n(t),c(Zt.$$.fragment,t),He=n(t),kt=o(t,"P",{"data-svelte-h":!0}),i(kt)!=="svelte-5dyul9"&&(kt.innerHTML=ws),$e=n(t),c(Wt.$$.fragment,t),Ne=n(t),c(Gt.$$.fragment,t),ze=n(t),Vt=o(t,"P",{}),Zs(Vt).forEach(s),this.h()},h(){xe(u,"name","hf:doc:metadata"),xe(u,"content",Hs),xe(j,"href","https://huggingface.co/spaces/m-ric/beam_search_visualizer"),xe(j,"class","flex flex-col justify-center")},m(t,e){vs(document.head,u),l(t,J,e),l(t,b,e),l(t,Bt,e),m(U,t,e),l(t,vt,e),l(t,w,e),l(t,Ct,e),l(t,f,e),l(t,Rt,e),l(t,Z,e),l(t,It,e),l(t,k,e),l(t,_t,e),l(t,W,e),l(t,Ht,e),l(t,G,e),l(t,$t,e),l(t,B,e),l(t,Nt,e),m(V,t,e),l(t,zt,e),l(t,X,e),l(t,Qt,e),l(t,v,e),l(t,xt,e),m(C,t,e),l(t,Ft,e),l(t,R,e),l(t,Yt,e),l(t,I,e),l(t,Et,e),m(_,t,e),l(t,St,e),l(t,H,e),l(t,qt,e),m($,t,e),l(t,At,e),l(t,N,e),l(t,Lt,e),l(t,z,e),l(t,Dt,e),m(Q,t,e),l(t,Kt,e),l(t,x,e),l(t,Pt,e),l(t,F,e),l(t,Ot,e),m(Y,t,e),l(t,te,e),l(t,E,e),l(t,ee,e),m(S,t,e),l(t,se,e),m(q,t,e),l(t,le,e),l(t,A,e),l(t,ae,e),m(T,t,e),l(t,ne,e),l(t,L,e),l(t,pe,e),m(D,t,e),l(t,oe,e),m(K,t,e),l(t,ie,e),l(t,P,e),l(t,re,e),l(t,O,e),l(t,ce,e),m(tt,t,e),l(t,me,e),l(t,et,e),l(t,Me,e),m(st,t,e),l(t,ye,e),m(lt,t,e),l(t,de,e),l(t,at,e),l(t,ue,e),m(nt,t,e),l(t,ge,e),m(pt,t,e),l(t,he,e),l(t,ot,e),l(t,be,e),l(t,it,e),l(t,je,e),m(rt,t,e),l(t,Te,e),m(ct,t,e),l(t,Je,e),l(t,mt,e),l(t,Ue,e),l(t,j,e),l(t,we,e),l(t,Mt,e),l(t,fe,e),l(t,yt,e),l(t,Ze,e),m(dt,t,e),l(t,ke,e),m(ut,t,e),l(t,We,e),l(t,gt,e),l(t,Ge,e),m(ht,t,e),l(t,Be,e),m(bt,t,e),l(t,Ve,e),l(t,jt,e),l(t,Xe,e),m(Tt,t,e),l(t,ve,e),m(Jt,t,e),l(t,Ce,e),l(t,Ut,e),l(t,Re,e),l(t,wt,e),l(t,Ie,e),l(t,ft,e),l(t,_e,e),m(Zt,t,e),l(t,He,e),l(t,kt,e),l(t,$e,e),m(Wt,t,e),l(t,Ne,e),m(Gt,t,e),l(t,ze,e),l(t,Vt,e),Qe=!0},p(t,[e]){const fs={};e&2&&(fs.$$scope={dirty:e,ctx:t}),T.$set(fs)},i(t){Qe\|\|(M(U.$$.fragment,t),M(V.$$.fragment,t),M(C.$$.fragment,t),M(_.$$.fragment,t),M($.$$.fragment,t),M(Q.$$.fragment,t),M(Y.$$.fragment,t),M(S.$$.fragment,t),M(q.$$.fragment,t),M(T.$$.fragment,t),M(D.$$.fragment,t),M(K.$$.fragment,t),M(tt.$$.fragment,t),M(st.$$.fragment,t),M(lt.$$.fragment,t),M(nt.$$.fragment,t),M(pt.$$.fragment,t),M(rt.$$.fragment,t),M(ct.$$.fragment,t),M(dt.$$.fragment,t),M(ut.$$.fragment,t),M(ht.$$.fragment,t),M(bt.$$.fragment,t),M(Tt.$$.fragment,t),M(Jt.$$.fragment,t),M(Zt.$$.fragment,t),M(Wt.$$.fragment,t),M(Gt.$$.fragment,t),Qe=!0)},o(t){y(U.$$.fragment,t),y(V.$$.fragment,t),y(C.$$.fragment,t),y(_.$$.fragment,t),y($.$$.fragment,t),y(Q.$$.fragment,t),y(Y.$$.fragment,t),y(S.$$.fragment,t),y(q.$$.fragment,t),y(T.$$.fragment,t),y(D.$$.fragment,t),y(K.$$.fragment,t),y(tt.$$.fragment,t),y(st.$$.fragment,t),y(lt.$$.fragment,t),y(nt.$$.fragment,t),y(pt.$$.fragment,t),y(rt.$$.fragment,t),y(ct.$$.fragment,t),y(dt.$$.fragment,t),y(ut.$$.fragment,t),y(ht.$$.fragment,t),y(bt.$$.fragment,t),y(Tt.$$.fragment,t),y(Jt.$$.fragment,t),y(Zt.$$.fragment,t),y(Wt.$$.fragment,t),y(Gt.$$.fragment,t),Qe=!1},d(t){t&&(s(J),s(b),s(Bt),s(vt),s(w),s(Ct),s(f),s(Rt),s(Z),s(It),s(k),s(_t),s(W),s(Ht),s(G),s($t),s(B),s(Nt),s(zt),s(X),s(Qt),s(v),s(xt),s(Ft),s(R),s(Yt),s(I),s(Et),s(St),s(H),s(qt),s(At),s(N),s(Lt),s(z),s(Dt),s(Kt),s(x),s(Pt),s(F),s(Ot),s(te),s(E),s(ee),s(se),s(le),s(A),s(ae),s(ne),s(L),s(pe),s(oe),s(ie),s(P),s(re),s(O),s(ce),s(me),s(et),s(Me),s(ye),s(de),s(at),s(ue),s(ge),s(he),s(ot),s(be),s(it),s(je),s(Te),s(Je),s(mt),s(Ue),s(j),s(we),s(Mt),s(fe),s(yt),s(Ze),s(ke),s(We),s(gt),s(Ge),s(Be),s(Ve),s(jt),s(Xe),s(ve),s(Ce),s(Ut),s(Re),s(wt),s(Ie),s(ft),s(_e),s(He),s(kt),s($e),s(Ne),s(ze),s(Vt)),s(u),d(U,t),d(V,t),d(C,t),d(_,t),d($,t),d(Q,t),d(Y,t),d(S,t),d(q,t),d(T,t),d(D,t),d(K,t),d(tt,t),d(st,t),d(lt,t),d(nt,t),d(pt,t),d(rt,t),d(ct,t),d(dt,t),d(ut,t),d(ht,t),d(bt,t),d(Tt,t),d(Jt,t),d(Zt,t),d(Wt,t),d(Gt,t)}}}const Hs='{"title":"Text generation strategies","local":"text-generation-strategies","sections":[{"title":"Default text generation configuration","local":"default-text-generation-configuration","sections":[],"depth":2},{"title":"Customize text generation","local":"customize-text-generation","sections":[],"depth":2},{"title":"Save a custom decoding strategy with your model","local":"save-a-custom-decoding-strategy-with-your-model","sections":[],"depth":2},{"title":"Streaming","local":"streaming","sections":[],"depth":2},{"title":"Decoding strategies","local":"decoding-strategies","sections":[{"title":"Greedy Search","local":"greedy-search","sections":[],"depth":3},{"title":"Contrastive search","local":"contrastive-search","sections":[],"depth":3},{"title":"Multinomial sampling","local":"multinomial-sampling","sections":[],"depth":3},{"title":"Beam-search decoding","local":"beam-search-decoding","sections":[],"depth":3},{"title":"Beam-search multinomial sampling","local":"beam-search-multinomial-sampling","sections":[],"depth":3},{"title":"Diverse beam search decoding","local":"diverse-beam-search-decoding","sections":[],"depth":3},{"title":"Assisted Decoding","local":"assisted-decoding","sections":[],"depth":3}],"depth":2}],"depth":1}';function $s(Xt){return Ws(()=>{new URLSearchParams(window.location.search).get("fw")}),[]}class Ys extends Bs{constructor(u){super(),Vs(this,u,$s,_s,ks,{})}}export{Ys as component};

Xet Storage Details

Size:: 60 kB
Xet hash:: 4b9797c2b2a0d9437b3ac60a34a256be18e1c73c8ba9b8361a8168d41b99cb91

Xet efficiently stores files, intelligently splitting them into unique chunks and accelerating uploads and downloads. More info.