Buckets:

hf-doc-build
/

doc-dev

hf-doc-build/doc-dev / transformers /pr_33914 /ja /_app /immutable /nodes /137.ebefd43e.js

rtrm's picture

about 2 months ago

89.8 kB

	import{s as Jn,o as Un,n as Tn}from"../chunks/scheduler.9bc65507.js";import{S as bn,i as fn,g as p,s as t,r,A as Cn,h as i,f as l,c as e,j as un,u as j,x as c,k as _l,y as In,a as n,v as h,d as o,t as M,w as m}from"../chunks/index.707bf1b6.js";import{T as _n}from"../chunks/Tip.c2ecdbf4.js";import{C as x}from"../chunks/CodeBlock.54a9f38d.js";import{D as Zn}from"../chunks/DocNotebookDropdown.41f65cb5.js";import{H as u,E as kn}from"../chunks/EditOnGithub.922df6ba.js";function Rn(Ks){let g,J='このタスクと互換性のあるすべてのアーキテクチャとチェックポイントを確認するには、<a href="https://huggingface.co/tasks/image-to-text" rel="nofollow">タスクページ</a> を確認することをお勧めします。';return{c(){g=p("p"),g.innerHTML=J},l(d){g=i(d,"P",{"data-svelte-h":!0}),c(g)!=="svelte-1awcuot"&&(g.innerHTML=J)},m(d,Ls){n(d,g,Ls)},p:Tn,d(d){d&&l(g)}}}function Xn(Ks){let g,J,d,Ls,U,Ds,T,Os,b,Zl=`文書による質問応答は、文書による視覚的な質問応答とも呼ばれ、以下を提供するタスクです。
	ドキュメント画像に関する質問への回答。このタスクをサポートするモデルへの入力は通常、画像と画像の組み合わせです。
	質問があり、出力は自然言語で表現された回答です。これらのモデルは、以下を含む複数のモダリティを利用します。
	テキスト、単語の位置 (境界ボックス)、および画像自体。`,sa,f,kl="このガイドでは、次の方法を説明します。",aa,C,Rl='<li><a href="https://huggingface.co/datasets/nielsr/docvqa_1200_examples_donut" rel="nofollow">DocVQA データセット</a> の <a href="../model_doc/layoutlmv2">LayoutLMv2</a> を微調整します。</li> <li>微調整されたモデルを推論に使用します。</li>',la,y,na,I,Xl=`LayoutLMv2 は、最後の非表示のヘッダーの上に質問応答ヘッドを追加することで、ドキュメントの質問応答タスクを解決します。
	トークンの状態を調べて、トークンの開始トークンと終了トークンの位置を予測します。
	答え。言い換えれば、問題は抽出的質問応答として扱われます。つまり、コンテキストを考慮して、どの部分を抽出するかということです。
	の情報が質問に答えます。コンテキストは OCR エンジンの出力から取得されます。ここでは Google の Tesseract です。`,ta,_,$l="始める前に、必要なライブラリがすべてインストールされていることを確認してください。 LayoutLMv2 は detectron2、torchvision、tesseract に依存します。",ea,Z,pa,k,ia,R,ca,X,Al="すべての依存関係をインストールしたら、ランタイムを再起動します。",ra,$,vl=`モデルをコミュニティと共有することをお勧めします。 Hugging Face アカウントにログインして、🤗 ハブにアップロードします。
	プロンプトが表示されたら、トークンを入力してログインします。`,ja,A,ha,v,Gl="いくつかのグローバル変数を定義しましょう。",oa,G,Ma,B,ma,W,Bl=`このガイドでは、🤗 Hub にある前処理された DocVQA の小さなサンプルを使用します。フルに使いたい場合は、
	DocVQA データセットは、<a href="https://rrc.cvc.uab.es/?ch=17" rel="nofollow">DocVQA ホームページ</a> で登録してダウンロードできます。そうすれば、
	このガイドを進めて、<a href="https://huggingface.co/docs/datasets/loading#local-and-remote-files" rel="nofollow">🤗 データセットにファイルをロードする方法</a> を確認してください。`,xa,N,ga,V,Wl=`ご覧のとおり、データセットはすでにトレーニングセットとテストセットに分割されています。理解するためにランダムな例を見てみましょう
	機能を備えた自分自身。`,da,Q,ya,E,Nl="個々のフィールドが表す内容は次のとおりです。",wa,F,Vl="<li><code>id</code>: サンプルのID</li> <li><code>image</code>: ドキュメント画像を含む PIL.Image.Image オブジェクト</li> <li><code>query</code>: 質問文字列 - いくつかの言語での自然言語による質問</li> <li><code>answers</code>: ヒューマンアノテーターによって提供された正解のリスト</li> <li><code>words</code> と <code>bounding_boxes</code>: OCR の結果。ここでは使用しません。</li> <li><code>answer</code>: 別のモデルと一致する答え。ここでは使用しません。</li>",ua,z,Ql=`英語の質問だけを残し、別のモデルによる予測が含まれていると思われる<code>answer</code>機能を削除しましょう。
	また、アノテーターによって提供されたセットから最初の回答を取得します。あるいは、ランダムにサンプリングすることもできます。`,Ja,q,Ua,Y,El=`このガイドで使用する LayoutLMv2 チェックポイントは、<code>max_position_embeddings = 512</code> でトレーニングされていることに注意してください (
	この情報は、<a href="https://huggingface.co/microsoft/layoutlmv2-base-uncased/blob/main/config.json#L18" rel="nofollow">チェックポイントの <code>config.json</code> ファイル</a>) で見つけてください。
	例を省略することもできますが、答えが大きな文書の最後にあり、結局省略されてしまうという状況を避けるために、
	ここでは、埋め込みが 512 を超える可能性があるいくつかの例を削除します。
	データセット内のほとんどのドキュメントが長い場合は、スライディングウィンドウ戦略を実装できます。詳細については、<a href="https://github.com/huggingface/notebooks/blob/main/examples/question_answering.ipynb" rel="nofollow">このノートブック</a> を確認してください。。`,Ta,H,ba,S,Fl=`この時点で、このデータセットから OCR 機能も削除しましょう。これらは、異なるデータを微調整するための OCR の結果です。
	モデル。これらは入力要件と一致しないため、使用したい場合はさらに処理が必要になります。
	このガイドで使用するモデルの。代わりに、OCR と OCR の両方の元のデータに対して <code>LayoutLMv2Processor</code> を使用できます。
	トークン化。このようにして、モデルの予想される入力と一致する入力を取得します。画像を手動で加工したい場合は、
	モデルがどのような入力形式を想定しているかを知るには、<a href="../model_doc/layoutlmv2"><code>LayoutLMv2</code> モデルのドキュメント</a> を確認してください。`,fa,L,Ca,P,zl="最後に、画像サンプルを確認しないとデータ探索は完了しません。",Ia,K,_a,w,ql='<img src="https://huggingface.co/datasets/huggingface/documentation-images/resolve/main/transformers/tasks/docvqa_example.jpg" alt="DocVQA Image Example"/>',Za,D,ka,O,Yl=`文書の質問に答えるタスクはマルチモーダルタスクであるため、各モダリティからの入力が確実に行われるようにする必要があります。
	モデルの期待に従って前処理されます。まず、<code>LayoutLMv2Processor</code> をロードします。これは、画像データを処理できる画像プロセッサとテキストデータをエンコードできるトークナイザーを内部で組み合わせています。`,Ra,ss,Xa,as,$a,ls,Hl=`まず、プロセッサからの <code>image_processor</code> を利用して、モデルのドキュメント画像を準備しましょう。
	デフォルトでは、画像プロセッサは画像のサイズを 224x224 に変更し、カラーチャネルの順序が正しいことを確認します。
	tesseract を使用して OCR を適用し、単語と正規化された境界ボックスを取得します。このチュートリアルでは、これらのデフォルトはすべて、まさに必要なものです。
	デフォルトの画像処理を画像のバッチに適用し、OCR の結果を返す関数を作成します。`,Aa,ns,va,ts,Sl="この前処理をデータセット全体に高速に適用するには、<code>map</code> を使用します。",Ga,es,Ba,ps,Wa,is,Ll=`画像に OCR を適用したら、データセットのテキスト部分をエンコードしてモデル用に準備する必要があります。
	これには、前のステップで取得した単語とボックスをトークンレベルの <code>input_ids</code>、<code>attention_mask</code>、
	<code>token_type_ids</code>と<code>bbox</code>。テキストを前処理するには、プロセッサからの<code>Tokenizer</code>が必要になります。`,Na,cs,Va,rs,Pl=`前述の前処理に加えて、モデルのラベルを追加する必要もあります。 <code>xxxForQuestionAnswering</code> モデルの場合
	🤗 Transformers では、ラベルは <code>start_positions</code> と <code>end_positions</code> で構成され、どのトークンがその位置にあるかを示します。
	開始点と、どのトークンが回答の最後にあるか。`,Qa,js,Kl="それから始めましょう。より大きなリスト (単語リスト) 内のサブリスト (単語に分割された回答) を検索できるヘルパー関数を定義します。",Ea,hs,Dl=`この関数は、<code>words_list</code> と <code>answer_list</code> という 2 つのリストを入力として受け取ります。次に、<code>words_list</code>を反復処理してチェックします。
	<code>words_list</code> (words_list[i]) 内の現在の単語が、answer_list (answer_list[0]) の最初の単語と等しいかどうか、および
	現在の単語から始まり、<code>answer_list</code> と同じ長さの <code>words_list</code> のサブリストは、<code>to answer_list</code> と等しくなります。
	この条件が true の場合、一致が見つかったことを意味し、関数は一致とその開始インデックス (idx) を記録します。
	とその終了インデックス (idx + len(answer_list) - 1)。複数の一致が見つかった場合、関数は最初のもののみを返します。
	一致するものが見つからない場合、関数は (<code>None</code>、0、および 0) を返します。`,Fa,os,za,Ms,Ol="この関数が答えの位置を見つける方法を説明するために、例で使用してみましょう。",qa,ms,Ya,xs,sn="ただし、サンプルがエンコードされると、次のようになります。",Ha,gs,Sa,ds,an="エンコードされた入力内で答えの位置を見つける必要があります。",La,ys,ln=`<li><code>token_type_ids</code> は、どのトークンが質問の一部であり、どのトークンが文書の単語の一部であるかを示します。</li> <li><code>tokenizer.cls_token_id</code> は、入力の先頭で特別なトークンを見つけるのに役立ちます。</li> <li><code>word_ids</code> は、元の <code>words</code> で見つかった回答を、完全にエンコードされた入力内の同じ回答と照合して判断するのに役立ちます。
	エンコードされた入力内の応答の開始/終了位置。</li>`,Pa,ws,nn="これを念頭に置いて、データセット内のサンプルのバッチをエンコードする関数を作成しましょう。",Ka,us,Da,Js,tn="この前処理関数が完成したので、データセット全体をエンコードできます。",Oa,Us,sl,Ts,en="エンコードされたデータセットの特徴がどのようなものかを確認してみましょう。",al,bs,ll,fs,nl,Cs,pn=`文書の質問回答の評価には、大量の後処理が必要です。過剰摂取を避けるために
	現時点では、このガイドでは評価ステップを省略しています。 <a href="/docs/transformers/pr_33914/ja/main_classes/trainer#transformers.Trainer">Trainer</a> はトレーニング中に評価損失を計算するため、
	モデルのパフォーマンスについてまったくわからないわけではありません。抽出的質問応答は通常、F1/完全一致を使用して評価されます。
	自分で実装したい場合は、<a href="https://huggingface.co/course/chapter7/7?fw=pt#postprocessing" rel="nofollow">質問応答の章</a> を確認してください。
	インスピレーションを得るためにハグフェイスコースの。`,tl,Is,el,_s,cn=`おめでとう！このガイドの最も難しい部分を無事にナビゲートできたので、独自のモデルをトレーニングする準備が整いました。
	トレーニングには次の手順が含まれます。`,pl,Zs,rn='<li>前処理と同じチェックポイントを使用して、<a href="/docs/transformers/pr_33914/ja/model_doc/auto#transformers.AutoModelForDocumentQuestionAnswering">AutoModelForDocumentQuestionAnswering</a> でモデルを読み込みます。</li> <li><a href="/docs/transformers/pr_33914/ja/main_classes/trainer#transformers.TrainingArguments">TrainingArguments</a> でトレーニングハイパーパラメータを定義します。</li> <li>サンプルをバッチ処理する関数を定義します。ここでは <code>DefaultDataCollator</code> が適切に機能します。</li> <li>モデル、データセット、データ照合器とともにトレーニング引数を <a href="/docs/transformers/pr_33914/ja/main_classes/trainer#transformers.Trainer">Trainer</a> に渡します。</li> <li><a href="/docs/transformers/pr_33914/ja/main_classes/trainer#transformers.Trainer.train">train()</a> を呼び出してモデルを微調整します。</li>',il,ks,cl,Rs,jn=`<a href="/docs/transformers/pr_33914/ja/main_classes/trainer#transformers.TrainingArguments">TrainingArguments</a> で、<code>output_dir</code> を使用してモデルの保存場所を指定し、必要に応じてハイパーパラメーターを構成します。
	モデルをコミュニティと共有したい場合は、<code>push_to_hub</code>を<code>True</code>に設定します (モデルをアップロードするには、Hugging Face にサインインする必要があります)。
	この場合、<code>output_dir</code>はモデルのチェックポイントがプッシュされるリポジトリの名前にもなります。`,rl,Xs,jl,$s,hn="サンプルをまとめてバッチ処理するための単純なデータ照合器を定義します。",hl,As,ol,vs,on='最後に、すべてをまとめて、<a href="/docs/transformers/pr_33914/ja/main_classes/trainer#transformers.Trainer.train">train()</a> を呼び出します。',Ml,Gs,ml,Bs,Mn="最終モデルを 🤗 Hub に追加するには、モデルカードを作成し、<code>push_to_hub</code> を呼び出します。",xl,Ws,gl,Ns,dl,Vs,mn=`LayoutLMv2 モデルを微調整し、🤗 ハブにアップロードしたので、それを推論に使用できます。もっとも単純な
	推論用に微調整されたモデルを試す方法は、それを <a href="/docs/transformers/pr_33914/ja/main_classes/pipelines#transformers.Pipeline">Pipeline</a> で使用することです。`,yl,Qs,xn="例を挙げてみましょう:",wl,Es,ul,Fs,gn=`次に、パイプラインをインスタンス化します。
	モデルを使用して質問への回答を文書化し、画像と質問の組み合わせをモデルに渡します。`,Jl,zs,Ul,qs,dn="必要に応じて、パイプラインの結果を手動で複製することもできます。",Tl,Ys,yn=`<li>画像と質問を取得し、モデルのプロセッサを使用してモデル用に準備します。</li> <li>モデルを通じて結果または前処理を転送します。</li> <li>モデルは<code>start_logits</code>と<code>end_logits</code>を返します。これらは、どのトークンが応答の先頭にあるのかを示し、
	どのトークンが回答の最後にありますか。どちらも形状 (batch_size、sequence_length) を持ちます。</li> <li><code>start_logits</code> と <code>end_logits</code> の両方の最後の次元で argmax を取得し、予測される <code>start_idx</code> と <code>end_idx</code> を取得します。</li> <li>トークナイザーを使用して回答をデコードします。</li>`,bl,Hs,fl,Ss,Cl,Ps,Il;return U=new u({props:{title:"Document Question Answering",local:"document-question-answering",headingTag:"h1"}}),T=new Zn({props:{classNames:"absolute z-10 right-0 top-0",options:[{label:"Mixed",value:"https://colab.research.google.com/github/huggingface/notebooks/blob/main/transformers_doc/ja/document_question_answering.ipynb"},{label:"PyTorch",value:"https://colab.research.google.com/github/huggingface/notebooks/blob/main/transformers_doc/ja/pytorch/document_question_answering.ipynb"},{label:"TensorFlow",value:"https://colab.research.google.com/github/huggingface/notebooks/blob/main/transformers_doc/ja/tensorflow/document_question_answering.ipynb"},{label:"Mixed",value:"https://studiolab.sagemaker.aws/import/github/huggingface/notebooks/blob/main/transformers_doc/ja/document_question_answering.ipynb"},{label:"PyTorch",value:"https://studiolab.sagemaker.aws/import/github/huggingface/notebooks/blob/main/transformers_doc/ja/pytorch/document_question_answering.ipynb"},{label:"TensorFlow",value:"https://studiolab.sagemaker.aws/import/github/huggingface/notebooks/blob/main/transformers_doc/ja/tensorflow/document_question_answering.ipynb"}]}}),y=new _n({props:{$$slots:{default:[Rn]},$$scope:{ctx:Ks}}}),Z=new x({props:{code:"cGlwJTIwaW5zdGFsbCUyMC1xJTIwdHJhbnNmb3JtZXJzJTIwZGF0YXNldHM=",highlighted:"pip install -q transformers datasets",wrap:!1}}),k=new x({props:{code:"cGlwJTIwaW5zdGFsbCUyMCdnaXQlMkJodHRwcyUzQSUyRiUyRmdpdGh1Yi5jb20lMkZmYWNlYm9va3Jlc2VhcmNoJTJGZGV0ZWN0cm9uMi5naXQnJTBBcGlwJTIwaW5zdGFsbCUyMHRvcmNodmlzaW9u",highlighted:`pip install <span class="hljs-string">'git+https://github.com/facebookresearch/detectron2.git'</span>
	pip install torchvision`,wrap:!1}}),R=new x({props:{code:"c3VkbyUyMGFwdCUyMGluc3RhbGwlMjB0ZXNzZXJhY3Qtb2NyJTBBcGlwJTIwaW5zdGFsbCUyMC1xJTIwcHl0ZXNzZXJhY3Q=",highlighted:`sudo apt install tesseract-ocr
	pip install -q pytesseract`,wrap:!1}}),A=new x({props:{code:"ZnJvbSUyMGh1Z2dpbmdmYWNlX2h1YiUyMGltcG9ydCUyMG5vdGVib29rX2xvZ2luJTBBJTBBbm90ZWJvb2tfbG9naW4oKQ==",highlighted:`<span class="hljs-meta">>>> </span><span class="hljs-keyword">from</span> huggingface_hub <span class="hljs-keyword">import</span> notebook_login

	<span class="hljs-meta">>>> </span>notebook_login()`,wrap:!1}}),G=new x({props:{code:"bW9kZWxfY2hlY2twb2ludCUyMCUzRCUyMCUyMm1pY3Jvc29mdCUyRmxheW91dGxtdjItYmFzZS11bmNhc2VkJTIyJTBBYmF0Y2hfc2l6ZSUyMCUzRCUyMDQ=",highlighted:`<span class="hljs-meta">>>> </span>model_checkpoint = <span class="hljs-string">"microsoft/layoutlmv2-base-uncased"</span>
	<span class="hljs-meta">>>> </span>batch_size = <span class="hljs-number">4</span>`,wrap:!1}}),B=new u({props:{title:"Load the data",local:"load-the-data",headingTag:"h2"}}),N=new x({props:{code:"ZnJvbSUyMGRhdGFzZXRzJTIwaW1wb3J0JTIwbG9hZF9kYXRhc2V0JTBBJTBBZGF0YXNldCUyMCUzRCUyMGxvYWRfZGF0YXNldCglMjJuaWVsc3IlMkZkb2N2cWFfMTIwMF9leGFtcGxlcyUyMiklMEFkYXRhc2V0",highlighted:`<span class="hljs-meta">>>> </span><span class="hljs-keyword">from</span> datasets <span class="hljs-keyword">import</span> load_dataset

	<span class="hljs-meta">>>> </span>dataset = load_dataset(<span class="hljs-string">"nielsr/docvqa_1200_examples"</span>)
	<span class="hljs-meta">>>> </span>dataset
	DatasetDict({
	train: Dataset({
	features: [<span class="hljs-string">'id'</span>, <span class="hljs-string">'image'</span>, <span class="hljs-string">'query'</span>, <span class="hljs-string">'answers'</span>, <span class="hljs-string">'words'</span>, <span class="hljs-string">'bounding_boxes'</span>, <span class="hljs-string">'answer'</span>],
	num_rows: <span class="hljs-number">1000</span>
	})
	test: Dataset({
	features: [<span class="hljs-string">'id'</span>, <span class="hljs-string">'image'</span>, <span class="hljs-string">'query'</span>, <span class="hljs-string">'answers'</span>, <span class="hljs-string">'words'</span>, <span class="hljs-string">'bounding_boxes'</span>, <span class="hljs-string">'answer'</span>],
	num_rows: <span class="hljs-number">200</span>
	})
	})`,wrap:!1}}),Q=new x({props:{code:"ZGF0YXNldCU1QiUyMnRyYWluJTIyJTVELmZlYXR1cmVz",highlighted:'<span class="hljs-meta">>>> </span>dataset[<span class="hljs-string">"train"</span>].features',wrap:!1}}),q=new x({props:{code:"dXBkYXRlZF9kYXRhc2V0JTIwJTNEJTIwZGF0YXNldC5tYXAobGFtYmRhJTIwZXhhbXBsZSUzQSUyMCU3QiUyMnF1ZXN0aW9uJTIyJTNBJTIwZXhhbXBsZSU1QiUyMnF1ZXJ5JTIyJTVEJTVCJTIyZW4lMjIlNUQlN0QlMkMlMjByZW1vdmVfY29sdW1ucyUzRCU1QiUyMnF1ZXJ5JTIyJTVEKSUwQXVwZGF0ZWRfZGF0YXNldCUyMCUzRCUyMHVwZGF0ZWRfZGF0YXNldC5tYXAoJTBBJTIwJTIwJTIwJTIwbGFtYmRhJTIwZXhhbXBsZSUzQSUyMCU3QiUyMmFuc3dlciUyMiUzQSUyMGV4YW1wbGUlNUIlMjJhbnN3ZXJzJTIyJTVEJTVCMCU1RCU3RCUyQyUyMHJlbW92ZV9jb2x1bW5zJTNEJTVCJTIyYW5zd2VyJTIyJTJDJTIwJTIyYW5zd2VycyUyMiU1RCUwQSk=",highlighted:`<span class="hljs-meta">>>> </span>updated_dataset = dataset.<span class="hljs-built_in">map</span>(<span class="hljs-keyword">lambda</span> example: {<span class="hljs-string">"question"</span>: example[<span class="hljs-string">"query"</span>][<span class="hljs-string">"en"</span>]}, remove_columns=[<span class="hljs-string">"query"</span>])
	<span class="hljs-meta">>>> </span>updated_dataset = updated_dataset.<span class="hljs-built_in">map</span>(
	<span class="hljs-meta">... </span> <span class="hljs-keyword">lambda</span> example: {<span class="hljs-string">"answer"</span>: example[<span class="hljs-string">"answers"</span>][<span class="hljs-number">0</span>]}, remove_columns=[<span class="hljs-string">"answer"</span>, <span class="hljs-string">"answers"</span>]
	<span class="hljs-meta">... </span>)`,wrap:!1}}),H=new x({props:{code:"dXBkYXRlZF9kYXRhc2V0JTIwJTNEJTIwdXBkYXRlZF9kYXRhc2V0LmZpbHRlcihsYW1iZGElMjB4JTNBJTIwbGVuKHglNUIlMjJ3b3JkcyUyMiU1RCklMjAlMkIlMjBsZW4oeCU1QiUyMnF1ZXN0aW9uJTIyJTVELnNwbGl0KCkpJTIwJTNDJTIwNTEyKQ==",highlighted:'<span class="hljs-meta">>>> </span>updated_dataset = updated_dataset.<span class="hljs-built_in">filter</span>(<span class="hljs-keyword">lambda</span> x: <span class="hljs-built_in">len</span>(x[<span class="hljs-string">"words"</span>]) + <span class="hljs-built_in">len</span>(x[<span class="hljs-string">"question"</span>].split()) < <span class="hljs-number">512</span>)',wrap:!1}}),L=new x({props:{code:"dXBkYXRlZF9kYXRhc2V0JTIwJTNEJTIwdXBkYXRlZF9kYXRhc2V0LnJlbW92ZV9jb2x1bW5zKCUyMndvcmRzJTIyKSUwQXVwZGF0ZWRfZGF0YXNldCUyMCUzRCUyMHVwZGF0ZWRfZGF0YXNldC5yZW1vdmVfY29sdW1ucyglMjJib3VuZGluZ19ib3hlcyUyMik=",highlighted:`<span class="hljs-meta">>>> </span>updated_dataset = updated_dataset.remove_columns(<span class="hljs-string">"words"</span>)
	<span class="hljs-meta">>>> </span>updated_dataset = updated_dataset.remove_columns(<span class="hljs-string">"bounding_boxes"</span>)`,wrap:!1}}),K=new x({props:{code:"dXBkYXRlZF9kYXRhc2V0JTVCJTIydHJhaW4lMjIlNUQlNUIxMSU1RCU1QiUyMmltYWdlJTIyJTVE",highlighted:'<span class="hljs-meta">>>> </span>updated_dataset[<span class="hljs-string">"train"</span>][<span class="hljs-number">11</span>][<span class="hljs-string">"image"</span>]',wrap:!1}}),D=new u({props:{title:"Preprocess the data",local:"preprocess-the-data",headingTag:"h2"}}),ss=new x({props:{code:"ZnJvbSUyMHRyYW5zZm9ybWVycyUyMGltcG9ydCUyMEF1dG9Qcm9jZXNzb3IlMEElMEFwcm9jZXNzb3IlMjAlM0QlMjBBdXRvUHJvY2Vzc29yLmZyb21fcHJldHJhaW5lZChtb2RlbF9jaGVja3BvaW50KQ==",highlighted:`<span class="hljs-meta">>>> </span><span class="hljs-keyword">from</span> transformers <span class="hljs-keyword">import</span> AutoProcessor

	<span class="hljs-meta">>>> </span>processor = AutoProcessor.from_pretrained(model_checkpoint)`,wrap:!1}}),as=new u({props:{title:"Preprocessing document images",local:"preprocessing-document-images",headingTag:"h3"}}),ns=new x({props:{code:"aW1hZ2VfcHJvY2Vzc29yJTIwJTNEJTIwcHJvY2Vzc29yLmltYWdlX3Byb2Nlc3NvciUwQSUwQSUwQWRlZiUyMGdldF9vY3Jfd29yZHNfYW5kX2JveGVzKGV4YW1wbGVzKSUzQSUwQSUyMCUyMCUyMCUyMGltYWdlcyUyMCUzRCUyMCU1QmltYWdlLmNvbnZlcnQoJTIyUkdCJTIyKSUyMGZvciUyMGltYWdlJTIwaW4lMjBleGFtcGxlcyU1QiUyMmltYWdlJTIyJTVEJTVEJTBBJTIwJTIwJTIwJTIwZW5jb2RlZF9pbnB1dHMlMjAlM0QlMjBpbWFnZV9wcm9jZXNzb3IoaW1hZ2VzKSUwQSUwQSUyMCUyMCUyMCUyMGV4YW1wbGVzJTVCJTIyaW1hZ2UlMjIlNUQlMjAlM0QlMjBlbmNvZGVkX2lucHV0cy5waXhlbF92YWx1ZXMlMEElMjAlMjAlMjAlMjBleGFtcGxlcyU1QiUyMndvcmRzJTIyJTVEJTIwJTNEJTIwZW5jb2RlZF9pbnB1dHMud29yZHMlMEElMjAlMjAlMjAlMjBleGFtcGxlcyU1QiUyMmJveGVzJTIyJTVEJTIwJTNEJTIwZW5jb2RlZF9pbnB1dHMuYm94ZXMlMEElMEElMjAlMjAlMjAlMjByZXR1cm4lMjBleGFtcGxlcw==",highlighted:`<span class="hljs-meta">>>> </span>image_processor = processor.image_processor


	<span class="hljs-meta">>>> </span><span class="hljs-keyword">def</span> <span class="hljs-title function_">get_ocr_words_and_boxes</span>(<span class="hljs-params">examples</span>):
	<span class="hljs-meta">... </span> images = [image.convert(<span class="hljs-string">"RGB"</span>) <span class="hljs-keyword">for</span> image <span class="hljs-keyword">in</span> examples[<span class="hljs-string">"image"</span>]]
	<span class="hljs-meta">... </span> encoded_inputs = image_processor(images)

	<span class="hljs-meta">... </span> examples[<span class="hljs-string">"image"</span>] = encoded_inputs.pixel_values
	<span class="hljs-meta">... </span> examples[<span class="hljs-string">"words"</span>] = encoded_inputs.words
	<span class="hljs-meta">... </span> examples[<span class="hljs-string">"boxes"</span>] = encoded_inputs.boxes

	<span class="hljs-meta">... </span> <span class="hljs-keyword">return</span> examples`,wrap:!1}}),es=new x({props:{code:"ZGF0YXNldF93aXRoX29jciUyMCUzRCUyMHVwZGF0ZWRfZGF0YXNldC5tYXAoZ2V0X29jcl93b3Jkc19hbmRfYm94ZXMlMkMlMjBiYXRjaGVkJTNEVHJ1ZSUyQyUyMGJhdGNoX3NpemUlM0QyKQ==",highlighted:'<span class="hljs-meta">>>> </span>dataset_with_ocr = updated_dataset.<span class="hljs-built_in">map</span>(get_ocr_words_and_boxes, batched=<span class="hljs-literal">True</span>, batch_size=<span class="hljs-number">2</span>)',wrap:!1}}),ps=new u({props:{title:"Preprocessing text data",local:"preprocessing-text-data",headingTag:"h3"}}),cs=new x({props:{code:"dG9rZW5pemVyJTIwJTNEJTIwcHJvY2Vzc29yLnRva2VuaXplcg==",highlighted:'<span class="hljs-meta">>>> </span>tokenizer = processor.tokenizer',wrap:!1}}),os=new x({props:{code:"ZGVmJTIwc3ViZmluZGVyKHdvcmRzX2xpc3QlMkMlMjBhbnN3ZXJfbGlzdCklM0ElMEElMjAlMjAlMjAlMjBtYXRjaGVzJTIwJTNEJTIwJTVCJTVEJTBBJTIwJTIwJTIwJTIwc3RhcnRfaW5kaWNlcyUyMCUzRCUyMCU1QiU1RCUwQSUyMCUyMCUyMCUyMGVuZF9pbmRpY2VzJTIwJTNEJTIwJTVCJTVEJTBBJTIwJTIwJTIwJTIwZm9yJTIwaWR4JTJDJTIwaSUyMGluJTIwZW51bWVyYXRlKHJhbmdlKGxlbih3b3Jkc19saXN0KSkpJTNBJTBBJTIwJTIwJTIwJTIwJTIwJTIwJTIwJTIwaWYlMjB3b3Jkc19saXN0JTVCaSU1RCUyMCUzRCUzRCUyMGFuc3dlcl9saXN0JTVCMCU1RCUyMGFuZCUyMHdvcmRzX2xpc3QlNUJpJTIwJTNBJTIwaSUyMCUyQiUyMGxlbihhbnN3ZXJfbGlzdCklNUQlMjAlM0QlM0QlMjBhbnN3ZXJfbGlzdCUzQSUwQSUyMCUyMCUyMCUyMCUyMCUyMCUyMCUyMCUyMCUyMCUyMCUyMG1hdGNoZXMuYXBwZW5kKGFuc3dlcl9saXN0KSUwQSUyMCUyMCUyMCUyMCUyMCUyMCUyMCUyMCUyMCUyMCUyMCUyMHN0YXJ0X2luZGljZXMuYXBwZW5kKGlkeCklMEElMjAlMjAlMjAlMjAlMjAlMjAlMjAlMjAlMjAlMjAlMjAlMjBlbmRfaW5kaWNlcy5hcHBlbmQoaWR4JTIwJTJCJTIwbGVuKGFuc3dlcl9saXN0KSUyMC0lMjAxKSUwQSUyMCUyMCUyMCUyMGlmJTIwbWF0Y2hlcyUzQSUwQSUyMCUyMCUyMCUyMCUyMCUyMCUyMCUyMHJldHVybiUyMG1hdGNoZXMlNUIwJTVEJTJDJTIwc3RhcnRfaW5kaWNlcyU1QjAlNUQlMkMlMjBlbmRfaW5kaWNlcyU1QjAlNUQlMEElMjAlMjAlMjAlMjBlbHNlJTNBJTBBJTIwJTIwJTIwJTIwJTIwJTIwJTIwJTIwcmV0dXJuJTIwTm9uZSUyQyUyMDAlMkMlMjAw",highlighted:`<span class="hljs-meta">>>> </span><span class="hljs-keyword">def</span> <span class="hljs-title function_">subfinder</span>(<span class="hljs-params">words_list, answer_list</span>):
	<span class="hljs-meta">... </span> matches = []
	<span class="hljs-meta">... </span> start_indices = []
	<span class="hljs-meta">... </span> end_indices = []
	<span class="hljs-meta">... </span> <span class="hljs-keyword">for</span> idx, i <span class="hljs-keyword">in</span> <span class="hljs-built_in">enumerate</span>(<span class="hljs-built_in">range</span>(<span class="hljs-built_in">len</span>(words_list))):
	<span class="hljs-meta">... </span> <span class="hljs-keyword">if</span> words_list[i] == answer_list[<span class="hljs-number">0</span>] <span class="hljs-keyword">and</span> words_list[i : i + <span class="hljs-built_in">len</span>(answer_list)] == answer_list:
	<span class="hljs-meta">... </span> matches.append(answer_list)
	<span class="hljs-meta">... </span> start_indices.append(idx)
	<span class="hljs-meta">... </span> end_indices.append(idx + <span class="hljs-built_in">len</span>(answer_list) - <span class="hljs-number">1</span>)
	<span class="hljs-meta">... </span> <span class="hljs-keyword">if</span> matches:
	<span class="hljs-meta">... </span> <span class="hljs-keyword">return</span> matches[<span class="hljs-number">0</span>], start_indices[<span class="hljs-number">0</span>], end_indices[<span class="hljs-number">0</span>]
	<span class="hljs-meta">... </span> <span class="hljs-keyword">else</span>:
	<span class="hljs-meta">... </span> <span class="hljs-keyword">return</span> <span class="hljs-literal">None</span>, <span class="hljs-number">0</span>, <span class="hljs-number">0</span>`,wrap:!1}}),ms=new x({props:{code:"ZXhhbXBsZSUyMCUzRCUyMGRhdGFzZXRfd2l0aF9vY3IlNUIlMjJ0cmFpbiUyMiU1RCU1QjElNUQlMEF3b3JkcyUyMCUzRCUyMCU1QndvcmQubG93ZXIoKSUyMGZvciUyMHdvcmQlMjBpbiUyMGV4YW1wbGUlNUIlMjJ3b3JkcyUyMiU1RCU1RCUwQW1hdGNoJTJDJTIwd29yZF9pZHhfc3RhcnQlMkMlMjB3b3JkX2lkeF9lbmQlMjAlM0QlMjBzdWJmaW5kZXIod29yZHMlMkMlMjBleGFtcGxlJTVCJTIyYW5zd2VyJTIyJTVELmxvd2VyKCkuc3BsaXQoKSklMEFwcmludCglMjJRdWVzdGlvbiUzQSUyMCUyMiUyQyUyMGV4YW1wbGUlNUIlMjJxdWVzdGlvbiUyMiU1RCklMEFwcmludCglMjJXb3JkcyUzQSUyMiUyQyUyMHdvcmRzKSUwQXByaW50KCUyMkFuc3dlciUzQSUyMCUyMiUyQyUyMGV4YW1wbGUlNUIlMjJhbnN3ZXIlMjIlNUQpJTBBcHJpbnQoJTIyc3RhcnRfaW5kZXglMjIlMkMlMjB3b3JkX2lkeF9zdGFydCklMEFwcmludCglMjJlbmRfaW5kZXglMjIlMkMlMjB3b3JkX2lkeF9lbmQp",highlighted:`<span class="hljs-meta">>>> </span>example = dataset_with_ocr[<span class="hljs-string">"train"</span>][<span class="hljs-number">1</span>]
	<span class="hljs-meta">>>> </span>words = [word.lower() <span class="hljs-keyword">for</span> word <span class="hljs-keyword">in</span> example[<span class="hljs-string">"words"</span>]]
	<span class="hljs-meta">>>> </span><span class="hljs-keyword">match</span>, word_idx_start, word_idx_end = subfinder(words, example[<span class="hljs-string">"answer"</span>].lower().split())
	<span class="hljs-meta">>>> </span><span class="hljs-built_in">print</span>(<span class="hljs-string">"Question: "</span>, example[<span class="hljs-string">"question"</span>])
	<span class="hljs-meta">>>> </span><span class="hljs-built_in">print</span>(<span class="hljs-string">"Words:"</span>, words)
	<span class="hljs-meta">>>> </span><span class="hljs-built_in">print</span>(<span class="hljs-string">"Answer: "</span>, example[<span class="hljs-string">"answer"</span>])
	<span class="hljs-meta">>>> </span><span class="hljs-built_in">print</span>(<span class="hljs-string">"start_index"</span>, word_idx_start)
	<span class="hljs-meta">>>> </span><span class="hljs-built_in">print</span>(<span class="hljs-string">"end_index"</span>, word_idx_end)
	Question: Who <span class="hljs-keyword">is</span> <span class="hljs-keyword">in</span> cc <span class="hljs-keyword">in</span> this letter?
	Words: [<span class="hljs-string">'wie'</span>, <span class="hljs-string">'baw'</span>, <span class="hljs-string">'brown'</span>, <span class="hljs-string">'&'</span>, <span class="hljs-string">'williamson'</span>, <span class="hljs-string">'tobacco'</span>, <span class="hljs-string">'corporation'</span>, <span class="hljs-string">'research'</span>, <span class="hljs-string">'&'</span>, <span class="hljs-string">'development'</span>, <span class="hljs-string">'internal'</span>, <span class="hljs-string">'correspondence'</span>, <span class="hljs-string">'to:'</span>, <span class="hljs-string">'r.'</span>, <span class="hljs-string">'h.'</span>, <span class="hljs-string">'honeycutt'</span>, <span class="hljs-string">'ce:'</span>, <span class="hljs-string">'t.f.'</span>, <span class="hljs-string">'riehl'</span>, <span class="hljs-string">'from:'</span>, <span class="hljs-string">'.'</span>, <span class="hljs-string">'c.j.'</span>, <span class="hljs-string">'cook'</span>, <span class="hljs-string">'date:'</span>, <span class="hljs-string">'may'</span>, <span class="hljs-string">'8,'</span>, <span class="hljs-string">'1995'</span>, <span class="hljs-string">'subject:'</span>, <span class="hljs-string">'review'</span>, <span class="hljs-string">'of'</span>, <span class="hljs-string">'existing'</span>, <span class="hljs-string">'brainstorming'</span>, <span class="hljs-string">'ideas/483'</span>, <span class="hljs-string">'the'</span>, <span class="hljs-string">'major'</span>, <span class="hljs-string">'function'</span>, <span class="hljs-string">'of'</span>, <span class="hljs-string">'the'</span>, <span class="hljs-string">'product'</span>, <span class="hljs-string">'innovation'</span>, <span class="hljs-string">'graup'</span>, <span class="hljs-string">'is'</span>, <span class="hljs-string">'to'</span>, <span class="hljs-string">'develop'</span>, <span class="hljs-string">'marketable'</span>, <span class="hljs-string">'nove!'</span>, <span class="hljs-string">'products'</span>, <span class="hljs-string">'that'</span>, <span class="hljs-string">'would'</span>, <span class="hljs-string">'be'</span>, <span class="hljs-string">'profitable'</span>, <span class="hljs-string">'to'</span>, <span class="hljs-string">'manufacture'</span>, <span class="hljs-string">'and'</span>, <span class="hljs-string">'sell.'</span>, <span class="hljs-string">'novel'</span>, <span class="hljs-string">'is'</span>, <span class="hljs-string">'defined'</span>, <span class="hljs-string">'as:'</span>, <span class="hljs-string">'of'</span>, <span class="hljs-string">'a'</span>, <span class="hljs-string">'new'</span>, <span class="hljs-string">'kind,'</span>, <span class="hljs-string">'or'</span>, <span class="hljs-string">'different'</span>, <span class="hljs-string">'from'</span>, <span class="hljs-string">'anything'</span>, <span class="hljs-string">'seen'</span>, <span class="hljs-string">'or'</span>, <span class="hljs-string">'known'</span>, <span class="hljs-string">'before.'</span>, <span class="hljs-string">'innovation'</span>, <span class="hljs-string">'is'</span>, <span class="hljs-string">'defined'</span>, <span class="hljs-string">'as:'</span>, <span class="hljs-string">'something'</span>, <span class="hljs-string">'new'</span>, <span class="hljs-string">'or'</span>, <span class="hljs-string">'different'</span>, <span class="hljs-string">'introduced;'</span>, <span class="hljs-string">'act'</span>, <span class="hljs-string">'of'</span>, <span class="hljs-string">'innovating;'</span>, <span class="hljs-string">'introduction'</span>, <span class="hljs-string">'of'</span>, <span class="hljs-string">'new'</span>, <span class="hljs-string">'things'</span>, <span class="hljs-string">'or'</span>, <span class="hljs-string">'methods.'</span>, <span class="hljs-string">'the'</span>, <span class="hljs-string">'products'</span>, <span class="hljs-string">'may'</span>, <span class="hljs-string">'incorporate'</span>, <span class="hljs-string">'the'</span>, <span class="hljs-string">'latest'</span>, <span class="hljs-string">'technologies,'</span>, <span class="hljs-string">'materials'</span>, <span class="hljs-string">'and'</span>, <span class="hljs-string">'know-how'</span>, <span class="hljs-string">'available'</span>, <span class="hljs-string">'to'</span>, <span class="hljs-string">'give'</span>, <span class="hljs-string">'then'</span>, <span class="hljs-string">'a'</span>, <span class="hljs-string">'unique'</span>, <span class="hljs-string">'taste'</span>, <span class="hljs-string">'or'</span>, <span class="hljs-string">'look.'</span>, <span class="hljs-string">'the'</span>, <span class="hljs-string">'first'</span>, <span class="hljs-string">'task'</span>, <span class="hljs-string">'of'</span>, <span class="hljs-string">'the'</span>, <span class="hljs-string">'product'</span>, <span class="hljs-string">'innovation'</span>, <span class="hljs-string">'group'</span>, <span class="hljs-string">'was'</span>, <span class="hljs-string">'to'</span>, <span class="hljs-string">'assemble,'</span>, <span class="hljs-string">'review'</span>, <span class="hljs-string">'and'</span>, <span class="hljs-string">'categorize'</span>, <span class="hljs-string">'a'</span>, <span class="hljs-string">'list'</span>, <span class="hljs-string">'of'</span>, <span class="hljs-string">'existing'</span>, <span class="hljs-string">'brainstorming'</span>, <span class="hljs-string">'ideas.'</span>, <span class="hljs-string">'ideas'</span>, <span class="hljs-string">'were'</span>, <span class="hljs-string">'grouped'</span>, <span class="hljs-string">'into'</span>, <span class="hljs-string">'two'</span>, <span class="hljs-string">'major'</span>, <span class="hljs-string">'categories'</span>, <span class="hljs-string">'labeled'</span>, <span class="hljs-string">'appearance'</span>, <span class="hljs-string">'and'</span>, <span class="hljs-string">'taste/aroma.'</span>, <span class="hljs-string">'these'</span>, <span class="hljs-string">'categories'</span>, <span class="hljs-string">'are'</span>, <span class="hljs-string">'used'</span>, <span class="hljs-string">'for'</span>, <span class="hljs-string">'novel'</span>, <span class="hljs-string">'products'</span>, <span class="hljs-string">'that'</span>, <span class="hljs-string">'may'</span>, <span class="hljs-string">'differ'</span>, <span class="hljs-string">'from'</span>, <span class="hljs-string">'a'</span>, <span class="hljs-string">'visual'</span>, <span class="hljs-string">'and/or'</span>, <span class="hljs-string">'taste/aroma'</span>, <span class="hljs-string">'point'</span>, <span class="hljs-string">'of'</span>, <span class="hljs-string">'view'</span>, <span class="hljs-string">'compared'</span>, <span class="hljs-string">'to'</span>, <span class="hljs-string">'canventional'</span>, <span class="hljs-string">'cigarettes.'</span>, <span class="hljs-string">'other'</span>, <span class="hljs-string">'categories'</span>, <span class="hljs-string">'include'</span>, <span class="hljs-string">'a'</span>, <span class="hljs-string">'combination'</span>, <span class="hljs-string">'of'</span>, <span class="hljs-string">'the'</span>, <span class="hljs-string">'above,'</span>, <span class="hljs-string">'filters,'</span>, <span class="hljs-string">'packaging'</span>, <span class="hljs-string">'and'</span>, <span class="hljs-string">'brand'</span>, <span class="hljs-string">'extensions.'</span>, <span class="hljs-string">'appearance'</span>, <span class="hljs-string">'this'</span>, <span class="hljs-string">'category'</span>, <span class="hljs-string">'is'</span>, <span class="hljs-string">'used'</span>, <span class="hljs-string">'for'</span>, <span class="hljs-string">'novel'</span>, <span class="hljs-string">'cigarette'</span>, <span class="hljs-string">'constructions'</span>, <span class="hljs-string">'that'</span>, <span class="hljs-string">'yield'</span>, <span class="hljs-string">'visually'</span>, <span class="hljs-string">'different'</span>, <span class="hljs-string">'products'</span>, <span class="hljs-string">'with'</span>, <span class="hljs-string">'minimal'</span>, <span class="hljs-string">'changes'</span>, <span class="hljs-string">'in'</span>, <span class="hljs-string">'smoke'</span>, <span class="hljs-string">'chemistry'</span>, <span class="hljs-string">'two'</span>, <span class="hljs-string">'cigarettes'</span>, <span class="hljs-string">'in'</span>, <span class="hljs-string">'cne.'</span>, <span class="hljs-string">'emulti-plug'</span>, <span class="hljs-string">'te'</span>, <span class="hljs-string">'build'</span>, <span class="hljs-string">'yaur'</span>, <span class="hljs-string">'awn'</span>, <span class="hljs-string">'cigarette.'</span>, <span class="hljs-string">'eswitchable'</span>, <span class="hljs-string">'menthol'</span>, <span class="hljs-string">'or'</span>, <span class="hljs-string">'non'</span>, <span class="hljs-string">'menthol'</span>, <span class="hljs-string">'cigarette.'</span>, <span class="hljs-string">'cigarettes'</span>, <span class="hljs-string">'with'</span>, <span class="hljs-string">'interspaced'</span>, <span class="hljs-string">'perforations'</span>, <span class="hljs-string">'to'</span>, <span class="hljs-string">'enable'</span>, <span class="hljs-string">'smoker'</span>, <span class="hljs-string">'to'</span>, <span class="hljs-string">'separate'</span>, <span class="hljs-string">'unburned'</span>, <span class="hljs-string">'section'</span>, <span class="hljs-string">'for'</span>, <span class="hljs-string">'future'</span>, <span class="hljs-string">'smoking.'</span>, <span class="hljs-string">'«short'</span>, <span class="hljs-string">'cigarette,'</span>, <span class="hljs-string">'tobacco'</span>, <span class="hljs-string">'section'</span>, <span class="hljs-string">'30'</span>, <span class="hljs-string">'mm.'</span>, <span class="hljs-string">'«extremely'</span>, <span class="hljs-string">'fast'</span>, <span class="hljs-string">'buming'</span>, <span class="hljs-string">'cigarette.'</span>, <span class="hljs-string">'«novel'</span>, <span class="hljs-string">'cigarette'</span>, <span class="hljs-string">'constructions'</span>, <span class="hljs-string">'that'</span>, <span class="hljs-string">'permit'</span>, <span class="hljs-string">'a'</span>, <span class="hljs-string">'significant'</span>, <span class="hljs-string">'reduction'</span>, <span class="hljs-string">'iretobacco'</span>, <span class="hljs-string">'weight'</span>, <span class="hljs-string">'while'</span>, <span class="hljs-string">'maintaining'</span>, <span class="hljs-string">'smoking'</span>, <span class="hljs-string">'mechanics'</span>, <span class="hljs-string">'and'</span>, <span class="hljs-string">'visual'</span>, <span class="hljs-string">'characteristics.'</span>, <span class="hljs-string">'higher'</span>, <span class="hljs-string">'basis'</span>, <span class="hljs-string">'weight'</span>, <span class="hljs-string">'paper:'</span>, <span class="hljs-string">'potential'</span>, <span class="hljs-string">'reduction'</span>, <span class="hljs-string">'in'</span>, <span class="hljs-string">'tobacco'</span>, <span class="hljs-string">'weight.'</span>, <span class="hljs-string">'«more'</span>, <span class="hljs-string">'rigid'</span>, <span class="hljs-string">'tobacco'</span>, <span class="hljs-string">'column;'</span>, <span class="hljs-string">'stiffing'</span>, <span class="hljs-string">'agent'</span>, <span class="hljs-string">'for'</span>, <span class="hljs-string">'tobacco;'</span>, <span class="hljs-string">'e.g.'</span>, <span class="hljs-string">'starch'</span>, <span class="hljs-string">'colored'</span>, <span class="hljs-string">'tow'</span>, <span class="hljs-string">'and'</span>, <span class="hljs-string">'cigarette'</span>, <span class="hljs-string">'papers;'</span>, <span class="hljs-string">'seasonal'</span>, <span class="hljs-string">'promotions,'</span>, <span class="hljs-string">'e.g.'</span>, <span class="hljs-string">'pastel'</span>, <span class="hljs-string">'colored'</span>, <span class="hljs-string">'cigarettes'</span>, <span class="hljs-string">'for'</span>, <span class="hljs-string">'easter'</span>, <span class="hljs-string">'or'</span>, <span class="hljs-string">'in'</span>, <span class="hljs-string">'an'</span>, <span class="hljs-string">'ebony'</span>, <span class="hljs-string">'and'</span>, <span class="hljs-string">'ivory'</span>, <span class="hljs-string">'brand'</span>, <span class="hljs-string">'containing'</span>, <span class="hljs-string">'a'</span>, <span class="hljs-string">'mixture'</span>, <span class="hljs-string">'of'</span>, <span class="hljs-string">'all'</span>, <span class="hljs-string">'black'</span>, <span class="hljs-string">'(black'</span>, <span class="hljs-string">'paper'</span>, <span class="hljs-string">'and'</span>, <span class="hljs-string">'tow)'</span>, <span class="hljs-string">'and'</span>, <span class="hljs-string">'ail'</span>, <span class="hljs-string">'white'</span>, <span class="hljs-string">'cigarettes.'</span>, <span class="hljs-string">'499150498'</span>]
	Answer: T.F. Riehl
	start_index <span class="hljs-number">17</span>
	end_index <span class="hljs-number">18</span>`,wrap:!1}}),gs=new x({props:{code:"ZW5jb2RpbmclMjAlM0QlMjB0b2tlbml6ZXIoZXhhbXBsZSU1QiUyMnF1ZXN0aW9uJTIyJTVEJTJDJTIwZXhhbXBsZSU1QiUyMndvcmRzJTIyJTVEJTJDJTIwZXhhbXBsZSU1QiUyMmJveGVzJTIyJTVEKSUwQXRva2VuaXplci5kZWNvZGUoZW5jb2RpbmclNUIlMjJpbnB1dF9pZHMlMjIlNUQp",highlighted:`<span class="hljs-meta">>>> </span>encoding = tokenizer(example[<span class="hljs-string">"question"</span>], example[<span class="hljs-string">"words"</span>], example[<span class="hljs-string">"boxes"</span>])
	<span class="hljs-meta">>>> </span>tokenizer.decode(encoding[<span class="hljs-string">"input_ids"</span>])
	[CLS] who <span class="hljs-keyword">is</span> <span class="hljs-keyword">in</span> cc <span class="hljs-keyword">in</span> this letter? [SEP] wie baw brown & williamson tobacco corporation research & development ...`,wrap:!1}}),us=new x({props:{code:"ZGVmJTIwZW5jb2RlX2RhdGFzZXQoZXhhbXBsZXMlMkMlMjBtYXhfbGVuZ3RoJTNENTEyKSUzQSUwQSUyMCUyMCUyMCUyMHF1ZXN0aW9ucyUyMCUzRCUyMGV4YW1wbGVzJTVCJTIycXVlc3Rpb24lMjIlNUQlMEElMjAlMjAlMjAlMjB3b3JkcyUyMCUzRCUyMGV4YW1wbGVzJTVCJTIyd29yZHMlMjIlNUQlMEElMjAlMjAlMjAlMjBib3hlcyUyMCUzRCUyMGV4YW1wbGVzJTVCJTIyYm94ZXMlMjIlNUQlMEElMjAlMjAlMjAlMjBhbnN3ZXJzJTIwJTNEJTIwZXhhbXBsZXMlNUIlMjJhbnN3ZXIlMjIlNUQlMEElMEElMjAlMjAlMjAlMjAlMjMlMjBlbmNvZGUlMjB0aGUlMjBiYXRjaCUyMG9mJTIwZXhhbXBsZXMlMjBhbmQlMjBpbml0aWFsaXplJTIwdGhlJTIwc3RhcnRfcG9zaXRpb25zJTIwYW5kJTIwZW5kX3Bvc2l0aW9ucyUwQSUyMCUyMCUyMCUyMGVuY29kaW5nJTIwJTNEJTIwdG9rZW5pemVyKHF1ZXN0aW9ucyUyQyUyMHdvcmRzJTJDJTIwYm94ZXMlMkMlMjBtYXhfbGVuZ3RoJTNEbWF4X2xlbmd0aCUyQyUyMHBhZGRpbmclM0QlMjJtYXhfbGVuZ3RoJTIyJTJDJTIwdHJ1bmNhdGlvbiUzRFRydWUpJTBBJTIwJTIwJTIwJTIwc3RhcnRfcG9zaXRpb25zJTIwJTNEJTIwJTVCJTVEJTBBJTIwJTIwJTIwJTIwZW5kX3Bvc2l0aW9ucyUyMCUzRCUyMCU1QiU1RCUwQSUwQSUyMCUyMCUyMCUyMCUyMyUyMGxvb3AlMjB0aHJvdWdoJTIwdGhlJTIwZXhhbXBsZXMlMjBpbiUyMHRoZSUyMGJhdGNoJTBBJTIwJTIwJTIwJTIwZm9yJTIwaSUyMGluJTIwcmFuZ2UobGVuKHF1ZXN0aW9ucykpJTNBJTBBJTIwJTIwJTIwJTIwJTIwJTIwJTIwJTIwY2xzX2luZGV4JTIwJTNEJTIwZW5jb2RpbmclNUIlMjJpbnB1dF9pZHMlMjIlNUQlNUJpJTVELmluZGV4KHRva2VuaXplci5jbHNfdG9rZW5faWQpJTBBJTBBJTIwJTIwJTIwJTIwJTIwJTIwJTIwJTIwJTIzJTIwZmluZCUyMHRoZSUyMHBvc2l0aW9uJTIwb2YlMjB0aGUlMjBhbnN3ZXIlMjBpbiUyMGV4YW1wbGUncyUyMHdvcmRzJTBBJTIwJTIwJTIwJTIwJTIwJTIwJTIwJTIwd29yZHNfZXhhbXBsZSUyMCUzRCUyMCU1QndvcmQubG93ZXIoKSUyMGZvciUyMHdvcmQlMjBpbiUyMHdvcmRzJTVCaSU1RCU1RCUwQSUyMCUyMCUyMCUyMCUyMCUyMCUyMCUyMGFuc3dlciUyMCUzRCUyMGFuc3dlcnMlNUJpJTVEJTBBJTIwJTIwJTIwJTIwJTIwJTIwJTIwJTIwbWF0Y2glMkMlMjB3b3JkX2lkeF9zdGFydCUyQyUyMHdvcmRfaWR4X2VuZCUyMCUzRCUyMHN1YmZpbmRlcih3b3Jkc19leGFtcGxlJTJDJTIwYW5zd2VyLmxvd2VyKCkuc3BsaXQoKSklMEElMEElMjAlMjAlMjAlMjAlMjAlMjAlMjAlMjBpZiUyMG1hdGNoJTNBJTBBJTIwJTIwJTIwJTIwJTIwJTIwJTIwJTIwJTIwJTIwJTIwJTIwJTIzJTIwaWYlMjBtYXRjaCUyMGlzJTIwZm91bmQlMkMlMjB1c2UlMjAlNjB0b2tlbl90eXBlX2lkcyU2MCUyMHRvJTIwZmluZCUyMHdoZXJlJTIwd29yZHMlMjBzdGFydCUyMGluJTIwdGhlJTIwZW5jb2RpbmclMEElMjAlMjAlMjAlMjAlMjAlMjAlMjAlMjAlMjAlMjAlMjAlMjB0b2tlbl90eXBlX2lkcyUyMCUzRCUyMGVuY29kaW5nJTVCJTIydG9rZW5fdHlwZV9pZHMlMjIlNUQlNUJpJTVEJTBBJTIwJTIwJTIwJTIwJTIwJTIwJTIwJTIwJTIwJTIwJTIwJTIwdG9rZW5fc3RhcnRfaW5kZXglMjAlM0QlMjAwJTBBJTIwJTIwJTIwJTIwJTIwJTIwJTIwJTIwJTIwJTIwJTIwJTIwd2hpbGUlMjB0b2tlbl90eXBlX2lkcyU1QnRva2VuX3N0YXJ0X2luZGV4JTVEJTIwISUzRCUyMDElM0ElMEElMjAlMjAlMjAlMjAlMjAlMjAlMjAlMjAlMjAlMjAlMjAlMjAlMjAlMjAlMjAlMjB0b2tlbl9zdGFydF9pbmRleCUyMCUyQiUzRCUyMDElMEElMEElMjAlMjAlMjAlMjAlMjAlMjAlMjAlMjAlMjAlMjAlMjAlMjB0b2tlbl9lbmRfaW5kZXglMjAlM0QlMjBsZW4oZW5jb2RpbmclNUIlMjJpbnB1dF9pZHMlMjIlNUQlNUJpJTVEKSUyMC0lMjAxJTBBJTIwJTIwJTIwJTIwJTIwJTIwJTIwJTIwJTIwJTIwJTIwJTIwd2hpbGUlMjB0b2tlbl90eXBlX2lkcyU1QnRva2VuX2VuZF9pbmRleCU1RCUyMCElM0QlMjAxJTNBJTBBJTIwJTIwJTIwJTIwJTIwJTIwJTIwJTIwJTIwJTIwJTIwJTIwJTIwJTIwJTIwJTIwdG9rZW5fZW5kX2luZGV4JTIwLSUzRCUyMDElMEElMEElMjAlMjAlMjAlMjAlMjAlMjAlMjAlMjAlMjAlMjAlMjAlMjB3b3JkX2lkcyUyMCUzRCUyMGVuY29kaW5nLndvcmRfaWRzKGkpJTVCdG9rZW5fc3RhcnRfaW5kZXglMjAlM0ElMjB0b2tlbl9lbmRfaW5kZXglMjAlMkIlMjAxJTVEJTBBJTIwJTIwJTIwJTIwJTIwJTIwJTIwJTIwJTIwJTIwJTIwJTIwc3RhcnRfcG9zaXRpb24lMjAlM0QlMjBjbHNfaW5kZXglMEElMjAlMjAlMjAlMjAlMjAlMjAlMjAlMjAlMjAlMjAlMjAlMjBlbmRfcG9zaXRpb24lMjAlM0QlMjBjbHNfaW5kZXglMEElMEElMjAlMjAlMjAlMjAlMjAlMjAlMjAlMjAlMjAlMjAlMjAlMjAlMjMlMjBsb29wJTIwb3ZlciUyMHdvcmRfaWRzJTIwYW5kJTIwaW5jcmVhc2UlMjAlNjB0b2tlbl9zdGFydF9pbmRleCU2MCUyMHVudGlsJTIwaXQlMjBtYXRjaGVzJTIwdGhlJTIwYW5zd2VyJTIwcG9zaXRpb24lMjBpbiUyMHdvcmRzJTBBJTIwJTIwJTIwJTIwJTIwJTIwJTIwJTIwJTIwJTIwJTIwJTIwJTIzJTIwb25jZSUyMGl0JTIwbWF0Y2hlcyUyQyUyMHNhdmUlMjB0aGUlMjAlNjB0b2tlbl9zdGFydF9pbmRleCU2MCUyMGFzJTIwdGhlJTIwJTYwc3RhcnRfcG9zaXRpb24lNjAlMjBvZiUyMHRoZSUyMGFuc3dlciUyMGluJTIwdGhlJTIwZW5jb2RpbmclMEElMjAlMjAlMjAlMjAlMjAlMjAlMjAlMjAlMjAlMjAlMjAlMjBmb3IlMjBpZCUyMGluJTIwd29yZF9pZHMlM0ElMEElMjAlMjAlMjAlMjAlMjAlMjAlMjAlMjAlMjAlMjAlMjAlMjAlMjAlMjAlMjAlMjBpZiUyMGlkJTIwJTNEJTNEJTIwd29yZF9pZHhfc3RhcnQlM0ElMEElMjAlMjAlMjAlMjAlMjAlMjAlMjAlMjAlMjAlMjAlMjAlMjAlMjAlMjAlMjAlMjAlMjAlMjAlMjAlMjBzdGFydF9wb3NpdGlvbiUyMCUzRCUyMHRva2VuX3N0YXJ0X2luZGV4JTBBJTIwJTIwJTIwJTIwJTIwJTIwJTIwJTIwJTIwJTIwJTIwJTIwJTIwJTIwJTIwJTIwZWxzZSUzQSUwQSUyMCUyMCUyMCUyMCUyMCUyMCUyMCUyMCUyMCUyMCUyMCUyMCUyMCUyMCUyMCUyMCUyMCUyMCUyMCUyMHRva2VuX3N0YXJ0X2luZGV4JTIwJTJCJTNEJTIwMSUwQSUwQSUyMCUyMCUyMCUyMCUyMCUyMCUyMCUyMCUyMCUyMCUyMCUyMCUyMyUyMHNpbWlsYXJseSUyMGxvb3AlMjBvdmVyJTIwJTYwd29yZF9pZHMlNjAlMjBzdGFydGluZyUyMGZyb20lMjB0aGUlMjBlbmQlMjB0byUyMGZpbmQlMjB0aGUlMjAlNjBlbmRfcG9zaXRpb24lNjAlMjBvZiUyMHRoZSUyMGFuc3dlciUwQSUyMCUyMCUyMCUyMCUyMCUyMCUyMCUyMCUyMCUyMCUyMCUyMGZvciUyMGlkJTIwaW4lMjB3b3JkX2lkcyU1QiUzQSUzQS0xJTVEJTNBJTBBJTIwJTIwJTIwJTIwJTIwJTIwJTIwJTIwJTIwJTIwJTIwJTIwJTIwJTIwJTIwJTIwaWYlMjBpZCUyMCUzRCUzRCUyMHdvcmRfaWR4X2VuZCUzQSUwQSUyMCUyMCUyMCUyMCUyMCUyMCUyMCUyMCUyMCUyMCUyMCUyMCUyMCUyMCUyMCUyMCUyMCUyMCUyMCUyMGVuZF9wb3NpdGlvbiUyMCUzRCUyMHRva2VuX2VuZF9pbmRleCUwQSUyMCUyMCUyMCUyMCUyMCUyMCUyMCUyMCUyMCUyMCUyMCUyMCUyMCUyMCUyMCUyMGVsc2UlM0ElMEElMjAlMjAlMjAlMjAlMjAlMjAlMjAlMjAlMjAlMjAlMjAlMjAlMjAlMjAlMjAlMjAlMjAlMjAlMjAlMjB0b2tlbl9lbmRfaW5kZXglMjAtJTNEJTIwMSUwQSUwQSUyMCUyMCUyMCUyMCUyMCUyMCUyMCUyMCUyMCUyMCUyMCUyMHN0YXJ0X3Bvc2l0aW9ucy5hcHBlbmQoc3RhcnRfcG9zaXRpb24pJTBBJTIwJTIwJTIwJTIwJTIwJTIwJTIwJTIwJTIwJTIwJTIwJTIwZW5kX3Bvc2l0aW9ucy5hcHBlbmQoZW5kX3Bvc2l0aW9uKSUwQSUwQSUyMCUyMCUyMCUyMCUyMCUyMCUyMCUyMGVsc2UlM0ElMEElMjAlMjAlMjAlMjAlMjAlMjAlMjAlMjAlMjAlMjAlMjAlMjBzdGFydF9wb3NpdGlvbnMuYXBwZW5kKGNsc19pbmRleCklMEElMjAlMjAlMjAlMjAlMjAlMjAlMjAlMjAlMjAlMjAlMjAlMjBlbmRfcG9zaXRpb25zLmFwcGVuZChjbHNfaW5kZXgpJTBBJTBBJTIwJTIwJTIwJTIwZW5jb2RpbmclNUIlMjJpbWFnZSUyMiU1RCUyMCUzRCUyMGV4YW1wbGVzJTVCJTIyaW1hZ2UlMjIlNUQlMEElMjAlMjAlMjAlMjBlbmNvZGluZyU1QiUyMnN0YXJ0X3Bvc2l0aW9ucyUyMiU1RCUyMCUzRCUyMHN0YXJ0X3Bvc2l0aW9ucyUwQSUyMCUyMCUyMCUyMGVuY29kaW5nJTVCJTIyZW5kX3Bvc2l0aW9ucyUyMiU1RCUyMCUzRCUyMGVuZF9wb3NpdGlvbnMlMEElMEElMjAlMjAlMjAlMjByZXR1cm4lMjBlbmNvZGluZw==",highlighted:`<span class="hljs-meta">>>> </span><span class="hljs-keyword">def</span> <span class="hljs-title function_">encode_dataset</span>(<span class="hljs-params">examples, max_length=<span class="hljs-number">512</span></span>):
	<span class="hljs-meta">... </span> questions = examples[<span class="hljs-string">"question"</span>]
	<span class="hljs-meta">... </span> words = examples[<span class="hljs-string">"words"</span>]
	<span class="hljs-meta">... </span> boxes = examples[<span class="hljs-string">"boxes"</span>]
	<span class="hljs-meta">... </span> answers = examples[<span class="hljs-string">"answer"</span>]

	<span class="hljs-meta">... </span> <span class="hljs-comment"># encode the batch of examples and initialize the start_positions and end_positions</span>
	<span class="hljs-meta">... </span> encoding = tokenizer(questions, words, boxes, max_length=max_length, padding=<span class="hljs-string">"max_length"</span>, truncation=<span class="hljs-literal">True</span>)
	<span class="hljs-meta">... </span> start_positions = []
	<span class="hljs-meta">... </span> end_positions = []

	<span class="hljs-meta">... </span> <span class="hljs-comment"># loop through the examples in the batch</span>
	<span class="hljs-meta">... </span> <span class="hljs-keyword">for</span> i <span class="hljs-keyword">in</span> <span class="hljs-built_in">range</span>(<span class="hljs-built_in">len</span>(questions)):
	<span class="hljs-meta">... </span> cls_index = encoding[<span class="hljs-string">"input_ids"</span>][i].index(tokenizer.cls_token_id)

	<span class="hljs-meta">... </span> <span class="hljs-comment"># find the position of the answer in example's words</span>
	<span class="hljs-meta">... </span> words_example = [word.lower() <span class="hljs-keyword">for</span> word <span class="hljs-keyword">in</span> words[i]]
	<span class="hljs-meta">... </span> answer = answers[i]
	<span class="hljs-meta">... </span> <span class="hljs-keyword">match</span>, word_idx_start, word_idx_end = subfinder(words_example, answer.lower().split())

	<span class="hljs-meta">... </span> <span class="hljs-keyword">if</span> <span class="hljs-keyword">match</span>:
	<span class="hljs-meta">... </span> <span class="hljs-comment"># if match is found, use \`token_type_ids\` to find where words start in the encoding</span>
	<span class="hljs-meta">... </span> token_type_ids = encoding[<span class="hljs-string">"token_type_ids"</span>][i]
	<span class="hljs-meta">... </span> token_start_index = <span class="hljs-number">0</span>
	<span class="hljs-meta">... </span> <span class="hljs-keyword">while</span> token_type_ids[token_start_index] != <span class="hljs-number">1</span>:
	<span class="hljs-meta">... </span> token_start_index += <span class="hljs-number">1</span>

	<span class="hljs-meta">... </span> token_end_index = <span class="hljs-built_in">len</span>(encoding[<span class="hljs-string">"input_ids"</span>][i]) - <span class="hljs-number">1</span>
	<span class="hljs-meta">... </span> <span class="hljs-keyword">while</span> token_type_ids[token_end_index] != <span class="hljs-number">1</span>:
	<span class="hljs-meta">... </span> token_end_index -= <span class="hljs-number">1</span>

	<span class="hljs-meta">... </span> word_ids = encoding.word_ids(i)[token_start_index : token_end_index + <span class="hljs-number">1</span>]
	<span class="hljs-meta">... </span> start_position = cls_index
	<span class="hljs-meta">... </span> end_position = cls_index

	<span class="hljs-meta">... </span> <span class="hljs-comment"># loop over word_ids and increase \`token_start_index\` until it matches the answer position in words</span>
	<span class="hljs-meta">... </span> <span class="hljs-comment"># once it matches, save the \`token_start_index\` as the \`start_position\` of the answer in the encoding</span>
	<span class="hljs-meta">... </span> <span class="hljs-keyword">for</span> <span class="hljs-built_in">id</span> <span class="hljs-keyword">in</span> word_ids:
	<span class="hljs-meta">... </span> <span class="hljs-keyword">if</span> <span class="hljs-built_in">id</span> == word_idx_start:
	<span class="hljs-meta">... </span> start_position = token_start_index
	<span class="hljs-meta">... </span> <span class="hljs-keyword">else</span>:
	<span class="hljs-meta">... </span> token_start_index += <span class="hljs-number">1</span>

	<span class="hljs-meta">... </span> <span class="hljs-comment"># similarly loop over \`word_ids\` starting from the end to find the \`end_position\` of the answer</span>
	<span class="hljs-meta">... </span> <span class="hljs-keyword">for</span> <span class="hljs-built_in">id</span> <span class="hljs-keyword">in</span> word_ids[::-<span class="hljs-number">1</span>]:
	<span class="hljs-meta">... </span> <span class="hljs-keyword">if</span> <span class="hljs-built_in">id</span> == word_idx_end:
	<span class="hljs-meta">... </span> end_position = token_end_index
	<span class="hljs-meta">... </span> <span class="hljs-keyword">else</span>:
	<span class="hljs-meta">... </span> token_end_index -= <span class="hljs-number">1</span>

	<span class="hljs-meta">... </span> start_positions.append(start_position)
	<span class="hljs-meta">... </span> end_positions.append(end_position)

	<span class="hljs-meta">... </span> <span class="hljs-keyword">else</span>:
	<span class="hljs-meta">... </span> start_positions.append(cls_index)
	<span class="hljs-meta">... </span> end_positions.append(cls_index)

	<span class="hljs-meta">... </span> encoding[<span class="hljs-string">"image"</span>] = examples[<span class="hljs-string">"image"</span>]
	<span class="hljs-meta">... </span> encoding[<span class="hljs-string">"start_positions"</span>] = start_positions
	<span class="hljs-meta">... </span> encoding[<span class="hljs-string">"end_positions"</span>] = end_positions

	<span class="hljs-meta">... </span> <span class="hljs-keyword">return</span> encoding`,wrap:!1}}),Us=new x({props:{code:"ZW5jb2RlZF90cmFpbl9kYXRhc2V0JTIwJTNEJTIwZGF0YXNldF93aXRoX29jciU1QiUyMnRyYWluJTIyJTVELm1hcCglMEElMjAlMjAlMjAlMjBlbmNvZGVfZGF0YXNldCUyQyUyMGJhdGNoZWQlM0RUcnVlJTJDJTIwYmF0Y2hfc2l6ZSUzRDIlMkMlMjByZW1vdmVfY29sdW1ucyUzRGRhdGFzZXRfd2l0aF9vY3IlNUIlMjJ0cmFpbiUyMiU1RC5jb2x1bW5fbmFtZXMlMEEpJTBBZW5jb2RlZF90ZXN0X2RhdGFzZXQlMjAlM0QlMjBkYXRhc2V0X3dpdGhfb2NyJTVCJTIydGVzdCUyMiU1RC5tYXAoJTBBJTIwJTIwJTIwJTIwZW5jb2RlX2RhdGFzZXQlMkMlMjBiYXRjaGVkJTNEVHJ1ZSUyQyUyMGJhdGNoX3NpemUlM0QyJTJDJTIwcmVtb3ZlX2NvbHVtbnMlM0RkYXRhc2V0X3dpdGhfb2NyJTVCJTIydGVzdCUyMiU1RC5jb2x1bW5fbmFtZXMlMEEp",highlighted:`<span class="hljs-meta">>>> </span>encoded_train_dataset = dataset_with_ocr[<span class="hljs-string">"train"</span>].<span class="hljs-built_in">map</span>(
	<span class="hljs-meta">... </span> encode_dataset, batched=<span class="hljs-literal">True</span>, batch_size=<span class="hljs-number">2</span>, remove_columns=dataset_with_ocr[<span class="hljs-string">"train"</span>].column_names
	<span class="hljs-meta">... </span>)
	<span class="hljs-meta">>>> </span>encoded_test_dataset = dataset_with_ocr[<span class="hljs-string">"test"</span>].<span class="hljs-built_in">map</span>(
	<span class="hljs-meta">... </span> encode_dataset, batched=<span class="hljs-literal">True</span>, batch_size=<span class="hljs-number">2</span>, remove_columns=dataset_with_ocr[<span class="hljs-string">"test"</span>].column_names
	<span class="hljs-meta">... </span>)`,wrap:!1}}),bs=new x({props:{code:"ZW5jb2RlZF90cmFpbl9kYXRhc2V0LmZlYXR1cmVz",highlighted:`<span class="hljs-meta">>>> </span>encoded_train_dataset.features
	{<span class="hljs-string">'image'</span>: <span class="hljs-type">Sequence</span>(feature=<span class="hljs-type">Sequence</span>(feature=<span class="hljs-type">Sequence</span>(feature=Value(dtype=<span class="hljs-string">'uint8'</span>, <span class="hljs-built_in">id</span>=<span class="hljs-literal">None</span>), length=-<span class="hljs-number">1</span>, <span class="hljs-built_in">id</span>=<span class="hljs-literal">None</span>), length=-<span class="hljs-number">1</span>, <span class="hljs-built_in">id</span>=<span class="hljs-literal">None</span>), length=-<span class="hljs-number">1</span>, <span class="hljs-built_in">id</span>=<span class="hljs-literal">None</span>),
	<span class="hljs-string">'input_ids'</span>: <span class="hljs-type">Sequence</span>(feature=Value(dtype=<span class="hljs-string">'int32'</span>, <span class="hljs-built_in">id</span>=<span class="hljs-literal">None</span>), length=-<span class="hljs-number">1</span>, <span class="hljs-built_in">id</span>=<span class="hljs-literal">None</span>),
	<span class="hljs-string">'token_type_ids'</span>: <span class="hljs-type">Sequence</span>(feature=Value(dtype=<span class="hljs-string">'int8'</span>, <span class="hljs-built_in">id</span>=<span class="hljs-literal">None</span>), length=-<span class="hljs-number">1</span>, <span class="hljs-built_in">id</span>=<span class="hljs-literal">None</span>),
	<span class="hljs-string">'attention_mask'</span>: <span class="hljs-type">Sequence</span>(feature=Value(dtype=<span class="hljs-string">'int8'</span>, <span class="hljs-built_in">id</span>=<span class="hljs-literal">None</span>), length=-<span class="hljs-number">1</span>, <span class="hljs-built_in">id</span>=<span class="hljs-literal">None</span>),
	<span class="hljs-string">'bbox'</span>: <span class="hljs-type">Sequence</span>(feature=<span class="hljs-type">Sequence</span>(feature=Value(dtype=<span class="hljs-string">'int64'</span>, <span class="hljs-built_in">id</span>=<span class="hljs-literal">None</span>), length=-<span class="hljs-number">1</span>, <span class="hljs-built_in">id</span>=<span class="hljs-literal">None</span>), length=-<span class="hljs-number">1</span>, <span class="hljs-built_in">id</span>=<span class="hljs-literal">None</span>),
	<span class="hljs-string">'start_positions'</span>: Value(dtype=<span class="hljs-string">'int64'</span>, <span class="hljs-built_in">id</span>=<span class="hljs-literal">None</span>),
	<span class="hljs-string">'end_positions'</span>: Value(dtype=<span class="hljs-string">'int64'</span>, <span class="hljs-built_in">id</span>=<span class="hljs-literal">None</span>)}`,wrap:!1}}),fs=new u({props:{title:"Evaluation",local:"evaluation",headingTag:"h2"}}),Is=new u({props:{title:"Train",local:"train",headingTag:"h2"}}),ks=new x({props:{code:"ZnJvbSUyMHRyYW5zZm9ybWVycyUyMGltcG9ydCUyMEF1dG9Nb2RlbEZvckRvY3VtZW50UXVlc3Rpb25BbnN3ZXJpbmclMEElMEFtb2RlbCUyMCUzRCUyMEF1dG9Nb2RlbEZvckRvY3VtZW50UXVlc3Rpb25BbnN3ZXJpbmcuZnJvbV9wcmV0cmFpbmVkKG1vZGVsX2NoZWNrcG9pbnQp",highlighted:`<span class="hljs-meta">>>> </span><span class="hljs-keyword">from</span> transformers <span class="hljs-keyword">import</span> AutoModelForDocumentQuestionAnswering

	<span class="hljs-meta">>>> </span>model = AutoModelForDocumentQuestionAnswering.from_pretrained(model_checkpoint)`,wrap:!1}}),Xs=new x({props:{code:"ZnJvbSUyMHRyYW5zZm9ybWVycyUyMGltcG9ydCUyMFRyYWluaW5nQXJndW1lbnRzJTBBJTBBJTIzJTIwUkVQTEFDRSUyMFRISVMlMjBXSVRIJTIwWU9VUiUyMFJFUE8lMjBJRCUwQXJlcG9faWQlMjAlM0QlMjAlMjJNYXJpYUslMkZsYXlvdXRsbXYyLWJhc2UtdW5jYXNlZF9maW5ldHVuZWRfZG9jdnFhJTIyJTBBJTBBdHJhaW5pbmdfYXJncyUyMCUzRCUyMFRyYWluaW5nQXJndW1lbnRzKCUwQSUyMCUyMCUyMCUyMG91dHB1dF9kaXIlM0RyZXBvX2lkJTJDJTBBJTIwJTIwJTIwJTIwcGVyX2RldmljZV90cmFpbl9iYXRjaF9zaXplJTNENCUyQyUwQSUyMCUyMCUyMCUyMG51bV90cmFpbl9lcG9jaHMlM0QyMCUyQyUwQSUyMCUyMCUyMCUyMHNhdmVfc3RlcHMlM0QyMDAlMkMlMEElMjAlMjAlMjAlMjBsb2dnaW5nX3N0ZXBzJTNENTAlMkMlMEElMjAlMjAlMjAlMjBldmFsX3N0cmF0ZWd5JTNEJTIyc3RlcHMlMjIlMkMlMEElMjAlMjAlMjAlMjBsZWFybmluZ19yYXRlJTNENWUtNSUyQyUwQSUyMCUyMCUyMCUyMHNhdmVfdG90YWxfbGltaXQlM0QyJTJDJTBBJTIwJTIwJTIwJTIwcmVtb3ZlX3VudXNlZF9jb2x1bW5zJTNERmFsc2UlMkMlMEElMjAlMjAlMjAlMjBwdXNoX3RvX2h1YiUzRFRydWUlMkMlMEEp",highlighted:`<span class="hljs-meta">>>> </span><span class="hljs-keyword">from</span> transformers <span class="hljs-keyword">import</span> TrainingArguments

	<span class="hljs-meta">>>> </span><span class="hljs-comment"># REPLACE THIS WITH YOUR REPO ID</span>
	<span class="hljs-meta">>>> </span>repo_id = <span class="hljs-string">"MariaK/layoutlmv2-base-uncased_finetuned_docvqa"</span>

	<span class="hljs-meta">>>> </span>training_args = TrainingArguments(
	<span class="hljs-meta">... </span> output_dir=repo_id,
	<span class="hljs-meta">... </span> per_device_train_batch_size=<span class="hljs-number">4</span>,
	<span class="hljs-meta">... </span> num_train_epochs=<span class="hljs-number">20</span>,
	<span class="hljs-meta">... </span> save_steps=<span class="hljs-number">200</span>,
	<span class="hljs-meta">... </span> logging_steps=<span class="hljs-number">50</span>,
	<span class="hljs-meta">... </span> eval_strategy=<span class="hljs-string">"steps"</span>,
	<span class="hljs-meta">... </span> learning_rate=<span class="hljs-number">5e-5</span>,
	<span class="hljs-meta">... </span> save_total_limit=<span class="hljs-number">2</span>,
	<span class="hljs-meta">... </span> remove_unused_columns=<span class="hljs-literal">False</span>,
	<span class="hljs-meta">... </span> push_to_hub=<span class="hljs-literal">True</span>,
	<span class="hljs-meta">... </span>)`,wrap:!1}}),As=new x({props:{code:"ZnJvbSUyMHRyYW5zZm9ybWVycyUyMGltcG9ydCUyMERlZmF1bHREYXRhQ29sbGF0b3IlMEElMEFkYXRhX2NvbGxhdG9yJTIwJTNEJTIwRGVmYXVsdERhdGFDb2xsYXRvcigp",highlighted:`<span class="hljs-meta">>>> </span><span class="hljs-keyword">from</span> transformers <span class="hljs-keyword">import</span> DefaultDataCollator

	<span class="hljs-meta">>>> </span>data_collator = DefaultDataCollator()`,wrap:!1}}),Gs=new x({props:{code:"ZnJvbSUyMHRyYW5zZm9ybWVycyUyMGltcG9ydCUyMFRyYWluZXIlMEElMEF0cmFpbmVyJTIwJTNEJTIwVHJhaW5lciglMEElMjAlMjAlMjAlMjBtb2RlbCUzRG1vZGVsJTJDJTBBJTIwJTIwJTIwJTIwYXJncyUzRHRyYWluaW5nX2FyZ3MlMkMlMEElMjAlMjAlMjAlMjBkYXRhX2NvbGxhdG9yJTNEZGF0YV9jb2xsYXRvciUyQyUwQSUyMCUyMCUyMCUyMHRyYWluX2RhdGFzZXQlM0RlbmNvZGVkX3RyYWluX2RhdGFzZXQlMkMlMEElMjAlMjAlMjAlMjBldmFsX2RhdGFzZXQlM0RlbmNvZGVkX3Rlc3RfZGF0YXNldCUyQyUwQSUyMCUyMCUyMCUyMHByb2Nlc3NpbmdfY2xhc3MlM0Rwcm9jZXNzb3IlMkMlMEEpJTBBJTBBdHJhaW5lci50cmFpbigp",highlighted:`<span class="hljs-meta">>>> </span><span class="hljs-keyword">from</span> transformers <span class="hljs-keyword">import</span> Trainer

	<span class="hljs-meta">>>> </span>trainer = Trainer(
	<span class="hljs-meta">... </span> model=model,
	<span class="hljs-meta">... </span> args=training_args,
	<span class="hljs-meta">... </span> data_collator=data_collator,
	<span class="hljs-meta">... </span> train_dataset=encoded_train_dataset,
	<span class="hljs-meta">... </span> eval_dataset=encoded_test_dataset,
	<span class="hljs-meta">... </span> processing_class=processor,
	<span class="hljs-meta">... </span>)

	<span class="hljs-meta">>>> </span>trainer.train()`,wrap:!1}}),Ws=new x({props:{code:"dHJhaW5lci5jcmVhdGVfbW9kZWxfY2FyZCgpJTBBdHJhaW5lci5wdXNoX3RvX2h1Yigp",highlighted:`<span class="hljs-meta">>>> </span>trainer.create_model_card()
	<span class="hljs-meta">>>> </span>trainer.push_to_hub()`,wrap:!1}}),Ns=new u({props:{title:"Inference",local:"inference",headingTag:"h2"}}),Es=new x({props:{code:"ZXhhbXBsZSUyMCUzRCUyMGRhdGFzZXQlNUIlMjJ0ZXN0JTIyJTVEJTVCMiU1RCUwQXF1ZXN0aW9uJTIwJTNEJTIwZXhhbXBsZSU1QiUyMnF1ZXJ5JTIyJTVEJTVCJTIyZW4lMjIlNUQlMEFpbWFnZSUyMCUzRCUyMGV4YW1wbGUlNUIlMjJpbWFnZSUyMiU1RCUwQXByaW50KHF1ZXN0aW9uKSUwQXByaW50KGV4YW1wbGUlNUIlMjJhbnN3ZXJzJTIyJTVEKQ==",highlighted:`<span class="hljs-meta">>>> </span>example = dataset[<span class="hljs-string">"test"</span>][<span class="hljs-number">2</span>]
	<span class="hljs-meta">>>> </span>question = example[<span class="hljs-string">"query"</span>][<span class="hljs-string">"en"</span>]
	<span class="hljs-meta">>>> </span>image = example[<span class="hljs-string">"image"</span>]
	<span class="hljs-meta">>>> </span><span class="hljs-built_in">print</span>(question)
	<span class="hljs-meta">>>> </span><span class="hljs-built_in">print</span>(example[<span class="hljs-string">"answers"</span>])
	<span class="hljs-string">'Who is ‘presiding’ TRRF GENERAL SESSION (PART 1)?'</span>
	[<span class="hljs-string">'TRRF Vice President'</span>, <span class="hljs-string">'lee a. waller'</span>]`,wrap:!1}}),zs=new x({props:{code:"ZnJvbSUyMHRyYW5zZm9ybWVycyUyMGltcG9ydCUyMHBpcGVsaW5lJTBBJTBBcWFfcGlwZWxpbmUlMjAlM0QlMjBwaXBlbGluZSglMjJkb2N1bWVudC1xdWVzdGlvbi1hbnN3ZXJpbmclMjIlMkMlMjBtb2RlbCUzRCUyMk1hcmlhSyUyRmxheW91dGxtdjItYmFzZS11bmNhc2VkX2ZpbmV0dW5lZF9kb2N2cWElMjIpJTBBcWFfcGlwZWxpbmUoaW1hZ2UlMkMlMjBxdWVzdGlvbik=",highlighted:`<span class="hljs-meta">>>> </span><span class="hljs-keyword">from</span> transformers <span class="hljs-keyword">import</span> pipeline

	<span class="hljs-meta">>>> </span>qa_pipeline = pipeline(<span class="hljs-string">"document-question-answering"</span>, model=<span class="hljs-string">"MariaK/layoutlmv2-base-uncased_finetuned_docvqa"</span>)
	<span class="hljs-meta">>>> </span>qa_pipeline(image, question)
	[{<span class="hljs-string">'score'</span>: <span class="hljs-number">0.9949808120727539</span>,
	<span class="hljs-string">'answer'</span>: <span class="hljs-string">'Lee A. Waller'</span>,
	<span class="hljs-string">'start'</span>: <span class="hljs-number">55</span>,
	<span class="hljs-string">'end'</span>: <span class="hljs-number">57</span>}]`,wrap:!1}}),Hs=new x({props:{code:"aW1wb3J0JTIwdG9yY2glMEFmcm9tJTIwdHJhbnNmb3JtZXJzJTIwaW1wb3J0JTIwQXV0b1Byb2Nlc3NvciUwQWZyb20lMjB0cmFuc2Zvcm1lcnMlMjBpbXBvcnQlMjBBdXRvTW9kZWxGb3JEb2N1bWVudFF1ZXN0aW9uQW5zd2VyaW5nJTBBJTBBcHJvY2Vzc29yJTIwJTNEJTIwQXV0b1Byb2Nlc3Nvci5mcm9tX3ByZXRyYWluZWQoJTIyTWFyaWFLJTJGbGF5b3V0bG12Mi1iYXNlLXVuY2FzZWRfZmluZXR1bmVkX2RvY3ZxYSUyMiklMEFtb2RlbCUyMCUzRCUyMEF1dG9Nb2RlbEZvckRvY3VtZW50UXVlc3Rpb25BbnN3ZXJpbmcuZnJvbV9wcmV0cmFpbmVkKCUyMk1hcmlhSyUyRmxheW91dGxtdjItYmFzZS11bmNhc2VkX2ZpbmV0dW5lZF9kb2N2cWElMjIpJTBBJTBBd2l0aCUyMHRvcmNoLm5vX2dyYWQoKSUzQSUwQSUyMCUyMCUyMCUyMGVuY29kaW5nJTIwJTNEJTIwcHJvY2Vzc29yKGltYWdlLmNvbnZlcnQoJTIyUkdCJTIyKSUyQyUyMHF1ZXN0aW9uJTJDJTIwcmV0dXJuX3RlbnNvcnMlM0QlMjJwdCUyMiklMEElMjAlMjAlMjAlMjBvdXRwdXRzJTIwJTNEJTIwbW9kZWwoKiplbmNvZGluZyklMEElMjAlMjAlMjAlMjBzdGFydF9sb2dpdHMlMjAlM0QlMjBvdXRwdXRzLnN0YXJ0X2xvZ2l0cyUwQSUyMCUyMCUyMCUyMGVuZF9sb2dpdHMlMjAlM0QlMjBvdXRwdXRzLmVuZF9sb2dpdHMlMEElMjAlMjAlMjAlMjBwcmVkaWN0ZWRfc3RhcnRfaWR4JTIwJTNEJTIwc3RhcnRfbG9naXRzLmFyZ21heCgtMSkuaXRlbSgpJTBBJTIwJTIwJTIwJTIwcHJlZGljdGVkX2VuZF9pZHglMjAlM0QlMjBlbmRfbG9naXRzLmFyZ21heCgtMSkuaXRlbSgpJTBBJTBBcHJvY2Vzc29yLnRva2VuaXplci5kZWNvZGUoZW5jb2RpbmcuaW5wdXRfaWRzLnNxdWVlemUoKSU1QnByZWRpY3RlZF9zdGFydF9pZHglMjAlM0ElMjBwcmVkaWN0ZWRfZW5kX2lkeCUyMCUyQiUyMDElNUQp",highlighted:`<span class="hljs-meta">>>> </span><span class="hljs-keyword">import</span> torch
	<span class="hljs-meta">>>> </span><span class="hljs-keyword">from</span> transformers <span class="hljs-keyword">import</span> AutoProcessor
	<span class="hljs-meta">>>> </span><span class="hljs-keyword">from</span> transformers <span class="hljs-keyword">import</span> AutoModelForDocumentQuestionAnswering

	<span class="hljs-meta">>>> </span>processor = AutoProcessor.from_pretrained(<span class="hljs-string">"MariaK/layoutlmv2-base-uncased_finetuned_docvqa"</span>)
	<span class="hljs-meta">>>> </span>model = AutoModelForDocumentQuestionAnswering.from_pretrained(<span class="hljs-string">"MariaK/layoutlmv2-base-uncased_finetuned_docvqa"</span>)

	<span class="hljs-meta">>>> </span><span class="hljs-keyword">with</span> torch.no_grad():
	<span class="hljs-meta">... </span> encoding = processor(image.convert(<span class="hljs-string">"RGB"</span>), question, return_tensors=<span class="hljs-string">"pt"</span>)
	<span class="hljs-meta">... </span> outputs = model(**encoding)
	<span class="hljs-meta">... </span> start_logits = outputs.start_logits
	<span class="hljs-meta">... </span> end_logits = outputs.end_logits
	<span class="hljs-meta">... </span> predicted_start_idx = start_logits.argmax(-<span class="hljs-number">1</span>).item()
	<span class="hljs-meta">... </span> predicted_end_idx = end_logits.argmax(-<span class="hljs-number">1</span>).item()

	<span class="hljs-meta">>>> </span>processor.tokenizer.decode(encoding.input_ids.squeeze()[predicted_start_idx : predicted_end_idx + <span class="hljs-number">1</span>])
	<span class="hljs-string">'lee a. waller'</span>`,wrap:!1}}),Ss=new kn({props:{source:"https://github.com/huggingface/transformers/blob/main/docs/source/ja/tasks/document_question_answering.md"}}),{c(){g=p("meta"),J=t(),d=p("p"),Ls=t(),r(U.$$.fragment),Ds=t(),r(T.$$.fragment),Os=t(),b=p("p"),b.textContent=Zl,sa=t(),f=p("p"),f.textContent=kl,aa=t(),C=p("ul"),C.innerHTML=Rl,la=t(),r(y.$$.fragment),na=t(),I=p("p"),I.textContent=Xl,ta=t(),_=p("p"),_.textContent=$l,ea=t(),r(Z.$$.fragment),pa=t(),r(k.$$.fragment),ia=t(),r(R.$$.fragment),ca=t(),X=p("p"),X.textContent=Al,ra=t(),$=p("p"),$.textContent=vl,ja=t(),r(A.$$.fragment),ha=t(),v=p("p"),v.textContent=Gl,oa=t(),r(G.$$.fragment),Ma=t(),r(B.$$.fragment),ma=t(),W=p("p"),W.innerHTML=Bl,xa=t(),r(N.$$.fragment),ga=t(),V=p("p"),V.textContent=Wl,da=t(),r(Q.$$.fragment),ya=t(),E=p("p"),E.textContent=Nl,wa=t(),F=p("ul"),F.innerHTML=Vl,ua=t(),z=p("p"),z.innerHTML=Ql,Ja=t(),r(q.$$.fragment),Ua=t(),Y=p("p"),Y.innerHTML=El,Ta=t(),r(H.$$.fragment),ba=t(),S=p("p"),S.innerHTML=Fl,fa=t(),r(L.$$.fragment),Ca=t(),P=p("p"),P.textContent=zl,Ia=t(),r(K.$$.fragment),_a=t(),w=p("div"),w.innerHTML=ql,Za=t(),r(D.$$.fragment),ka=t(),O=p("p"),O.innerHTML=Yl,Ra=t(),r(ss.$$.fragment),Xa=t(),r(as.$$.fragment),$a=t(),ls=p("p"),ls.innerHTML=Hl,Aa=t(),r(ns.$$.fragment),va=t(),ts=p("p"),ts.innerHTML=Sl,Ga=t(),r(es.$$.fragment),Ba=t(),r(ps.$$.fragment),Wa=t(),is=p("p"),is.innerHTML=Ll,Na=t(),r(cs.$$.fragment),Va=t(),rs=p("p"),rs.innerHTML=Pl,Qa=t(),js=p("p"),js.textContent=Kl,Ea=t(),hs=p("p"),hs.innerHTML=Dl,Fa=t(),r(os.$$.fragment),za=t(),Ms=p("p"),Ms.textContent=Ol,qa=t(),r(ms.$$.fragment),Ya=t(),xs=p("p"),xs.textContent=sn,Ha=t(),r(gs.$$.fragment),Sa=t(),ds=p("p"),ds.textContent=an,La=t(),ys=p("ul"),ys.innerHTML=ln,Pa=t(),ws=p("p"),ws.textContent=nn,Ka=t(),r(us.$$.fragment),Da=t(),Js=p("p"),Js.textContent=tn,Oa=t(),r(Us.$$.fragment),sl=t(),Ts=p("p"),Ts.textContent=en,al=t(),r(bs.$$.fragment),ll=t(),r(fs.$$.fragment),nl=t(),Cs=p("p"),Cs.innerHTML=pn,tl=t(),r(Is.$$.fragment),el=t(),_s=p("p"),_s.textContent=cn,pl=t(),Zs=p("ul"),Zs.innerHTML=rn,il=t(),r(ks.$$.fragment),cl=t(),Rs=p("p"),Rs.innerHTML=jn,rl=t(),r(Xs.$$.fragment),jl=t(),$s=p("p"),$s.textContent=hn,hl=t(),r(As.$$.fragment),ol=t(),vs=p("p"),vs.innerHTML=on,Ml=t(),r(Gs.$$.fragment),ml=t(),Bs=p("p"),Bs.innerHTML=Mn,xl=t(),r(Ws.$$.fragment),gl=t(),r(Ns.$$.fragment),dl=t(),Vs=p("p"),Vs.innerHTML=mn,yl=t(),Qs=p("p"),Qs.textContent=xn,wl=t(),r(Es.$$.fragment),ul=t(),Fs=p("p"),Fs.textContent=gn,Jl=t(),r(zs.$$.fragment),Ul=t(),qs=p("p"),qs.textContent=dn,Tl=t(),Ys=p("ol"),Ys.innerHTML=yn,bl=t(),r(Hs.$$.fragment),fl=t(),r(Ss.$$.fragment),Cl=t(),Ps=p("p"),this.h()},l(s){const a=Cn("svelte-u9bgzb",document.head);g=i(a,"META",{name:!0,content:!0}),a.forEach(l),J=e(s),d=i(s,"P",{}),un(d).forEach(l),Ls=e(s),j(U.$$.fragment,s),Ds=e(s),j(T.$$.fragment,s),Os=e(s),b=i(s,"P",{"data-svelte-h":!0}),c(b)!=="svelte-9sm3vo"&&(b.textContent=Zl),sa=e(s),f=i(s,"P",{"data-svelte-h":!0}),c(f)!=="svelte-w5jzhi"&&(f.textContent=kl),aa=e(s),C=i(s,"UL",{"data-svelte-h":!0}),c(C)!=="svelte-15ewf3"&&(C.innerHTML=Rl),la=e(s),j(y.$$.fragment,s),na=e(s),I=i(s,"P",{"data-svelte-h":!0}),c(I)!=="svelte-1sjno3o"&&(I.textContent=Xl),ta=e(s),_=i(s,"P",{"data-svelte-h":!0}),c(_)!=="svelte-ff3iti"&&(_.textContent=$l),ea=e(s),j(Z.$$.fragment,s),pa=e(s),j(k.$$.fragment,s),ia=e(s),j(R.$$.fragment,s),ca=e(s),X=i(s,"P",{"data-svelte-h":!0}),c(X)!=="svelte-1cl2ydk"&&(X.textContent=Al),ra=e(s),$=i(s,"P",{"data-svelte-h":!0}),c($)!=="svelte-1hem303"&&($.textContent=vl),ja=e(s),j(A.$$.fragment,s),ha=e(s),v=i(s,"P",{"data-svelte-h":!0}),c(v)!=="svelte-wa8qzt"&&(v.textContent=Gl),oa=e(s),j(G.$$.fragment,s),Ma=e(s),j(B.$$.fragment,s),ma=e(s),W=i(s,"P",{"data-svelte-h":!0}),c(W)!=="svelte-lcmakh"&&(W.innerHTML=Bl),xa=e(s),j(N.$$.fragment,s),ga=e(s),V=i(s,"P",{"data-svelte-h":!0}),c(V)!=="svelte-zebss4"&&(V.textContent=Wl),da=e(s),j(Q.$$.fragment,s),ya=e(s),E=i(s,"P",{"data-svelte-h":!0}),c(E)!=="svelte-s4dlp7"&&(E.textContent=Nl),wa=e(s),F=i(s,"UL",{"data-svelte-h":!0}),c(F)!=="svelte-juyyji"&&(F.innerHTML=Vl),ua=e(s),z=i(s,"P",{"data-svelte-h":!0}),c(z)!=="svelte-16q3if0"&&(z.innerHTML=Ql),Ja=e(s),j(q.$$.fragment,s),Ua=e(s),Y=i(s,"P",{"data-svelte-h":!0}),c(Y)!=="svelte-1d7hjyv"&&(Y.innerHTML=El),Ta=e(s),j(H.$$.fragment,s),ba=e(s),S=i(s,"P",{"data-svelte-h":!0}),c(S)!=="svelte-rz8h2y"&&(S.innerHTML=Fl),fa=e(s),j(L.$$.fragment,s),Ca=e(s),P=i(s,"P",{"data-svelte-h":!0}),c(P)!=="svelte-bwfbhc"&&(P.textContent=zl),Ia=e(s),j(K.$$.fragment,s),_a=e(s),w=i(s,"DIV",{class:!0,"data-svelte-h":!0}),c(w)!=="svelte-q63tj1"&&(w.innerHTML=ql),Za=e(s),j(D.$$.fragment,s),ka=e(s),O=i(s,"P",{"data-svelte-h":!0}),c(O)!=="svelte-3lfv7v"&&(O.innerHTML=Yl),Ra=e(s),j(ss.$$.fragment,s),Xa=e(s),j(as.$$.fragment,s),$a=e(s),ls=i(s,"P",{"data-svelte-h":!0}),c(ls)!=="svelte-q3eyh4"&&(ls.innerHTML=Hl),Aa=e(s),j(ns.$$.fragment,s),va=e(s),ts=i(s,"P",{"data-svelte-h":!0}),c(ts)!=="svelte-1kcttro"&&(ts.innerHTML=Sl),Ga=e(s),j(es.$$.fragment,s),Ba=e(s),j(ps.$$.fragment,s),Wa=e(s),is=i(s,"P",{"data-svelte-h":!0}),c(is)!=="svelte-1pxju63"&&(is.innerHTML=Ll),Na=e(s),j(cs.$$.fragment,s),Va=e(s),rs=i(s,"P",{"data-svelte-h":!0}),c(rs)!=="svelte-1peqsp4"&&(rs.innerHTML=Pl),Qa=e(s),js=i(s,"P",{"data-svelte-h":!0}),c(js)!=="svelte-11bgtd7"&&(js.textContent=Kl),Ea=e(s),hs=i(s,"P",{"data-svelte-h":!0}),c(hs)!=="svelte-15kxwes"&&(hs.innerHTML=Dl),Fa=e(s),j(os.$$.fragment,s),za=e(s),Ms=i(s,"P",{"data-svelte-h":!0}),c(Ms)!=="svelte-1vrcdhg"&&(Ms.textContent=Ol),qa=e(s),j(ms.$$.fragment,s),Ya=e(s),xs=i(s,"P",{"data-svelte-h":!0}),c(xs)!=="svelte-4vnazu"&&(xs.textContent=sn),Ha=e(s),j(gs.$$.fragment,s),Sa=e(s),ds=i(s,"P",{"data-svelte-h":!0}),c(ds)!=="svelte-wbu1a8"&&(ds.textContent=an),La=e(s),ys=i(s,"UL",{"data-svelte-h":!0}),c(ys)!=="svelte-2utbgq"&&(ys.innerHTML=ln),Pa=e(s),ws=i(s,"P",{"data-svelte-h":!0}),c(ws)!=="svelte-1qkn7ne"&&(ws.textContent=nn),Ka=e(s),j(us.$$.fragment,s),Da=e(s),Js=i(s,"P",{"data-svelte-h":!0}),c(Js)!=="svelte-1bet0pt"&&(Js.textContent=tn),Oa=e(s),j(Us.$$.fragment,s),sl=e(s),Ts=i(s,"P",{"data-svelte-h":!0}),c(Ts)!=="svelte-15kv72x"&&(Ts.textContent=en),al=e(s),j(bs.$$.fragment,s),ll=e(s),j(fs.$$.fragment,s),nl=e(s),Cs=i(s,"P",{"data-svelte-h":!0}),c(Cs)!=="svelte-4kev3f"&&(Cs.innerHTML=pn),tl=e(s),j(Is.$$.fragment,s),el=e(s),_s=i(s,"P",{"data-svelte-h":!0}),c(_s)!=="svelte-1a0t5k3"&&(_s.textContent=cn),pl=e(s),Zs=i(s,"UL",{"data-svelte-h":!0}),c(Zs)!=="svelte-vfqarc"&&(Zs.innerHTML=rn),il=e(s),j(ks.$$.fragment,s),cl=e(s),Rs=i(s,"P",{"data-svelte-h":!0}),c(Rs)!=="svelte-s5ikwe"&&(Rs.innerHTML=jn),rl=e(s),j(Xs.$$.fragment,s),jl=e(s),$s=i(s,"P",{"data-svelte-h":!0}),c($s)!=="svelte-1wu7whv"&&($s.textContent=hn),hl=e(s),j(As.$$.fragment,s),ol=e(s),vs=i(s,"P",{"data-svelte-h":!0}),c(vs)!=="svelte-v0ub5x"&&(vs.innerHTML=on),Ml=e(s),j(Gs.$$.fragment,s),ml=e(s),Bs=i(s,"P",{"data-svelte-h":!0}),c(Bs)!=="svelte-j0b3yb"&&(Bs.innerHTML=Mn),xl=e(s),j(Ws.$$.fragment,s),gl=e(s),j(Ns.$$.fragment,s),dl=e(s),Vs=i(s,"P",{"data-svelte-h":!0}),c(Vs)!=="svelte-1sdfecl"&&(Vs.innerHTML=mn),yl=e(s),Qs=i(s,"P",{"data-svelte-h":!0}),c(Qs)!=="svelte-yqqhpz"&&(Qs.textContent=xn),wl=e(s),j(Es.$$.fragment,s),ul=e(s),Fs=i(s,"P",{"data-svelte-h":!0}),c(Fs)!=="svelte-1vyzmgs"&&(Fs.textContent=gn),Jl=e(s),j(zs.$$.fragment,s),Ul=e(s),qs=i(s,"P",{"data-svelte-h":!0}),c(qs)!=="svelte-19p6rx9"&&(qs.textContent=dn),Tl=e(s),Ys=i(s,"OL",{"data-svelte-h":!0}),c(Ys)!=="svelte-157yub6"&&(Ys.innerHTML=yn),bl=e(s),j(Hs.$$.fragment,s),fl=e(s),j(Ss.$$.fragment,s),Cl=e(s),Ps=i(s,"P",{}),un(Ps).forEach(l),this.h()},h(){_l(g,"name","hf:doc:metadata"),_l(g,"content",$n),_l(w,"class","flex justify-center")},m(s,a){In(document.head,g),n(s,J,a),n(s,d,a),n(s,Ls,a),h(U,s,a),n(s,Ds,a),h(T,s,a),n(s,Os,a),n(s,b,a),n(s,sa,a),n(s,f,a),n(s,aa,a),n(s,C,a),n(s,la,a),h(y,s,a),n(s,na,a),n(s,I,a),n(s,ta,a),n(s,_,a),n(s,ea,a),h(Z,s,a),n(s,pa,a),h(k,s,a),n(s,ia,a),h(R,s,a),n(s,ca,a),n(s,X,a),n(s,ra,a),n(s,$,a),n(s,ja,a),h(A,s,a),n(s,ha,a),n(s,v,a),n(s,oa,a),h(G,s,a),n(s,Ma,a),h(B,s,a),n(s,ma,a),n(s,W,a),n(s,xa,a),h(N,s,a),n(s,ga,a),n(s,V,a),n(s,da,a),h(Q,s,a),n(s,ya,a),n(s,E,a),n(s,wa,a),n(s,F,a),n(s,ua,a),n(s,z,a),n(s,Ja,a),h(q,s,a),n(s,Ua,a),n(s,Y,a),n(s,Ta,a),h(H,s,a),n(s,ba,a),n(s,S,a),n(s,fa,a),h(L,s,a),n(s,Ca,a),n(s,P,a),n(s,Ia,a),h(K,s,a),n(s,_a,a),n(s,w,a),n(s,Za,a),h(D,s,a),n(s,ka,a),n(s,O,a),n(s,Ra,a),h(ss,s,a),n(s,Xa,a),h(as,s,a),n(s,$a,a),n(s,ls,a),n(s,Aa,a),h(ns,s,a),n(s,va,a),n(s,ts,a),n(s,Ga,a),h(es,s,a),n(s,Ba,a),h(ps,s,a),n(s,Wa,a),n(s,is,a),n(s,Na,a),h(cs,s,a),n(s,Va,a),n(s,rs,a),n(s,Qa,a),n(s,js,a),n(s,Ea,a),n(s,hs,a),n(s,Fa,a),h(os,s,a),n(s,za,a),n(s,Ms,a),n(s,qa,a),h(ms,s,a),n(s,Ya,a),n(s,xs,a),n(s,Ha,a),h(gs,s,a),n(s,Sa,a),n(s,ds,a),n(s,La,a),n(s,ys,a),n(s,Pa,a),n(s,ws,a),n(s,Ka,a),h(us,s,a),n(s,Da,a),n(s,Js,a),n(s,Oa,a),h(Us,s,a),n(s,sl,a),n(s,Ts,a),n(s,al,a),h(bs,s,a),n(s,ll,a),h(fs,s,a),n(s,nl,a),n(s,Cs,a),n(s,tl,a),h(Is,s,a),n(s,el,a),n(s,_s,a),n(s,pl,a),n(s,Zs,a),n(s,il,a),h(ks,s,a),n(s,cl,a),n(s,Rs,a),n(s,rl,a),h(Xs,s,a),n(s,jl,a),n(s,$s,a),n(s,hl,a),h(As,s,a),n(s,ol,a),n(s,vs,a),n(s,Ml,a),h(Gs,s,a),n(s,ml,a),n(s,Bs,a),n(s,xl,a),h(Ws,s,a),n(s,gl,a),h(Ns,s,a),n(s,dl,a),n(s,Vs,a),n(s,yl,a),n(s,Qs,a),n(s,wl,a),h(Es,s,a),n(s,ul,a),n(s,Fs,a),n(s,Jl,a),h(zs,s,a),n(s,Ul,a),n(s,qs,a),n(s,Tl,a),n(s,Ys,a),n(s,bl,a),h(Hs,s,a),n(s,fl,a),h(Ss,s,a),n(s,Cl,a),n(s,Ps,a),Il=!0},p(s,[a]){const wn={};a&2&&(wn.$$scope={dirty:a,ctx:s}),y.$set(wn)},i(s){Il\|\|(o(U.$$.fragment,s),o(T.$$.fragment,s),o(y.$$.fragment,s),o(Z.$$.fragment,s),o(k.$$.fragment,s),o(R.$$.fragment,s),o(A.$$.fragment,s),o(G.$$.fragment,s),o(B.$$.fragment,s),o(N.$$.fragment,s),o(Q.$$.fragment,s),o(q.$$.fragment,s),o(H.$$.fragment,s),o(L.$$.fragment,s),o(K.$$.fragment,s),o(D.$$.fragment,s),o(ss.$$.fragment,s),o(as.$$.fragment,s),o(ns.$$.fragment,s),o(es.$$.fragment,s),o(ps.$$.fragment,s),o(cs.$$.fragment,s),o(os.$$.fragment,s),o(ms.$$.fragment,s),o(gs.$$.fragment,s),o(us.$$.fragment,s),o(Us.$$.fragment,s),o(bs.$$.fragment,s),o(fs.$$.fragment,s),o(Is.$$.fragment,s),o(ks.$$.fragment,s),o(Xs.$$.fragment,s),o(As.$$.fragment,s),o(Gs.$$.fragment,s),o(Ws.$$.fragment,s),o(Ns.$$.fragment,s),o(Es.$$.fragment,s),o(zs.$$.fragment,s),o(Hs.$$.fragment,s),o(Ss.$$.fragment,s),Il=!0)},o(s){M(U.$$.fragment,s),M(T.$$.fragment,s),M(y.$$.fragment,s),M(Z.$$.fragment,s),M(k.$$.fragment,s),M(R.$$.fragment,s),M(A.$$.fragment,s),M(G.$$.fragment,s),M(B.$$.fragment,s),M(N.$$.fragment,s),M(Q.$$.fragment,s),M(q.$$.fragment,s),M(H.$$.fragment,s),M(L.$$.fragment,s),M(K.$$.fragment,s),M(D.$$.fragment,s),M(ss.$$.fragment,s),M(as.$$.fragment,s),M(ns.$$.fragment,s),M(es.$$.fragment,s),M(ps.$$.fragment,s),M(cs.$$.fragment,s),M(os.$$.fragment,s),M(ms.$$.fragment,s),M(gs.$$.fragment,s),M(us.$$.fragment,s),M(Us.$$.fragment,s),M(bs.$$.fragment,s),M(fs.$$.fragment,s),M(Is.$$.fragment,s),M(ks.$$.fragment,s),M(Xs.$$.fragment,s),M(As.$$.fragment,s),M(Gs.$$.fragment,s),M(Ws.$$.fragment,s),M(Ns.$$.fragment,s),M(Es.$$.fragment,s),M(zs.$$.fragment,s),M(Hs.$$.fragment,s),M(Ss.$$.fragment,s),Il=!1},d(s){s&&(l(J),l(d),l(Ls),l(Ds),l(Os),l(b),l(sa),l(f),l(aa),l(C),l(la),l(na),l(I),l(ta),l(_),l(ea),l(pa),l(ia),l(ca),l(X),l(ra),l($),l(ja),l(ha),l(v),l(oa),l(Ma),l(ma),l(W),l(xa),l(ga),l(V),l(da),l(ya),l(E),l(wa),l(F),l(ua),l(z),l(Ja),l(Ua),l(Y),l(Ta),l(ba),l(S),l(fa),l(Ca),l(P),l(Ia),l(_a),l(w),l(Za),l(ka),l(O),l(Ra),l(Xa),l($a),l(ls),l(Aa),l(va),l(ts),l(Ga),l(Ba),l(Wa),l(is),l(Na),l(Va),l(rs),l(Qa),l(js),l(Ea),l(hs),l(Fa),l(za),l(Ms),l(qa),l(Ya),l(xs),l(Ha),l(Sa),l(ds),l(La),l(ys),l(Pa),l(ws),l(Ka),l(Da),l(Js),l(Oa),l(sl),l(Ts),l(al),l(ll),l(nl),l(Cs),l(tl),l(el),l(_s),l(pl),l(Zs),l(il),l(cl),l(Rs),l(rl),l(jl),l($s),l(hl),l(ol),l(vs),l(Ml),l(ml),l(Bs),l(xl),l(gl),l(dl),l(Vs),l(yl),l(Qs),l(wl),l(ul),l(Fs),l(Jl),l(Ul),l(qs),l(Tl),l(Ys),l(bl),l(fl),l(Cl),l(Ps)),l(g),m(U,s),m(T,s),m(y,s),m(Z,s),m(k,s),m(R,s),m(A,s),m(G,s),m(B,s),m(N,s),m(Q,s),m(q,s),m(H,s),m(L,s),m(K,s),m(D,s),m(ss,s),m(as,s),m(ns,s),m(es,s),m(ps,s),m(cs,s),m(os,s),m(ms,s),m(gs,s),m(us,s),m(Us,s),m(bs,s),m(fs,s),m(Is,s),m(ks,s),m(Xs,s),m(As,s),m(Gs,s),m(Ws,s),m(Ns,s),m(Es,s),m(zs,s),m(Hs,s),m(Ss,s)}}}const $n='{"title":"Document Question Answering","local":"document-question-answering","sections":[{"title":"Load the data","local":"load-the-data","sections":[],"depth":2},{"title":"Preprocess the data","local":"preprocess-the-data","sections":[{"title":"Preprocessing document images","local":"preprocessing-document-images","sections":[],"depth":3},{"title":"Preprocessing text data","local":"preprocessing-text-data","sections":[],"depth":3}],"depth":2},{"title":"Evaluation","local":"evaluation","sections":[],"depth":2},{"title":"Train","local":"train","sections":[],"depth":2},{"title":"Inference","local":"inference","sections":[],"depth":2}],"depth":1}';function An(Ks){return Un(()=>{new URLSearchParams(window.location.search).get("fw")}),[]}class Qn extends bn{constructor(g){super(),fn(this,g,An,Xn,Jn,{})}}export{Qn as component};

Xet Storage Details

Size:: 89.8 kB
Xet hash:: cc039616c8f0e184273155a796fd3ec179a176cc75c6255a422bb0ee6f73bfea

Xet efficiently stores files, intelligently splitting them into unique chunks and accelerating uploads and downloads. More info.