transformers/pr_36049/ar/_app/immutable/nodes/12.a4ec18e4.js

import{s as fe,n as Me,o as ye}from"../chunks/scheduler.5eb9d175.js";import{S as ge,i as je,g as r,s as n,r as i,A as ke,h as p,f as s,c as a,j as oe,u as o,x as c,k as ce,y as ue,a as l,v as f,d as M,t as y,w as g}from"../chunks/index.fcdcb606.js";import{C as D}from"../chunks/CodeBlock.a7036e06.js";import{H as ee,E as $e}from"../chunks/EditOnGithub.98bf070f.js";function he(te){let m,F,C,I,j,N,k,se='يعتمد <code>PreTrainedTokenizerFast</code> على مكتبة <a href="https://huggingface.co/docs/tokenizers" rel="nofollow">🤗 Tokenizers</a>. يمكن تحميل المجزئات اللغويين الذين تم الحصول عليهم من مكتبة 🤗 Tokenizers ببساطة شديدة في 🤗 Transformers.',P,u,le="قبل الدخول في التفاصيل، دعونا نبدأ أولاً بإنشاء مُجزىء لغوي تجريبي في بضع سطور:",Q,$,W,h,ne="الآن لدينا مُجزىء لغوي مدرب على الملفات التي حددناها. يمكننا إما الاستمرار في استخدامه في وقت التشغيل هذا، أو حفظه في ملف JSON لإعادة استخدامه لاحقًا.",E,d,G,T,ae="دعونا نرى كيف يمكننا الاستفادة من كائن (مُجزئ النصوص) في مكتبة 🤗 Transformers. تسمح فئة <code>PreTrainedTokenizerFast</code> سهولة إنشاء <em>tokenizer</em>، من خلال قبول كائن <em>المُجزئ النصوص</em>  مُهيّأ مُسبقًا كمعامل:",X,b,q,z,re='يمكن الآن استخدام هذا الكائن مع جميع الطرق المُشتركة بين مُجزّئي النّصوص  لـ 🤗 Transformers! انتقل إلى <a href="main_classes/tokenizer">صفحة مُجزّئ  النّصوص</a> لمزيد من المعلومات.',R,U,H,Z,pe="لتحميل مُجزّئ النص من ملف JSON، دعونا نبدأ أولاً بحفظ مُجزّئ النّصوص:",x,w,S,J,me="يمكن تمرير المسار الذي حفظنا به هذا الملف إلى طريقة تهيئة <code>PreTrainedTokenizerFast</code> باستخدام المُعامل  <code>tokenizer_file</code>:",L,V,A,_,ie='يمكن الآن استخدام هذا الكائن مع جميع الطرق التي تشترك فيها مُجزّئي  النّصوص لـ 🤗 Transformers! انتقل إلى <a href="main_classes/tokenizer">صفحة مُجزّئ النص</a> لمزيد من المعلومات.',Y,B,K,v,O;return j=new ee({props:{title:"استخدام مجزئيات النصوص من 🤗 Tokenizers",local:"استخدام-مجزئيات-النصوص-من--tokenizers",headingTag:"h1"}}),$=new D({props:{code:"ZnJvbSUyMHRva2VuaXplcnMlMjBpbXBvcnQlMjBUb2tlbml6ZXIlMEFmcm9tJTIwdG9rZW5pemVycy5tb2RlbHMlMjBpbXBvcnQlMjBCUEUlMEFmcm9tJTIwdG9rZW5pemVycy50cmFpbmVycyUyMGltcG9ydCUyMEJwZVRyYWluZXIlMEFmcm9tJTIwdG9rZW5pemVycy5wcmVfdG9rZW5pemVycyUyMGltcG9ydCUyMFdoaXRlc3BhY2UlMEElMEF0b2tlbml6ZXIlMjAlM0QlMjBUb2tlbml6ZXIoQlBFKHVua190b2tlbiUzRCUyMiU1QlVOSyU1RCUyMikpJTBBdHJhaW5lciUyMCUzRCUyMEJwZVRyYWluZXIoc3BlY2lhbF90b2tlbnMlM0QlNUIlMjIlNUJVTkslNUQlMjIlMkMlMjAlMjIlNUJDTFMlNUQlMjIlMkMlMjAlMjIlNUJTRVAlNUQlMjIlMkMlMjAlMjIlNUJQQUQlNUQlMjIlMkMlMjAlMjIlNUJNQVNLJTVEJTIyJTVEKSUwQSUwQXRva2VuaXplci5wcmVfdG9rZW5pemVyJTIwJTNEJTIwV2hpdGVzcGFjZSgpJTBBZmlsZXMlMjAlM0QlMjAlNUIuLi4lNUQlMEF0b2tlbml6ZXIudHJhaW4oZmlsZXMlMkMlMjB0cmFpbmVyKQ==",highlighted:`<span class="hljs-meta">&gt;&gt;&gt; </span><span class="hljs-keyword">from</span> tokenizers <span class="hljs-keyword">import</span> Tokenizer
<span class="hljs-meta">&gt;&gt;&gt; </span><span class="hljs-keyword">from</span> tokenizers.models <span class="hljs-keyword">import</span> BPE
<span class="hljs-meta">&gt;&gt;&gt; </span><span class="hljs-keyword">from</span> tokenizers.trainers <span class="hljs-keyword">import</span> BpeTrainer
<span class="hljs-meta">&gt;&gt;&gt; </span><span class="hljs-keyword">from</span> tokenizers.pre_tokenizers <span class="hljs-keyword">import</span> Whitespace

<span class="hljs-meta">&gt;&gt;&gt; </span>tokenizer = Tokenizer(BPE(unk_token=<span class="hljs-string">&quot;[UNK]&quot;</span>))
<span class="hljs-meta">&gt;&gt;&gt; </span>trainer = BpeTrainer(special_tokens=[<span class="hljs-string">&quot;[UNK]&quot;</span>, <span class="hljs-string">&quot;[CLS]&quot;</span>, <span class="hljs-string">&quot;[SEP]&quot;</span>, <span class="hljs-string">&quot;[PAD]&quot;</span>, <span class="hljs-string">&quot;[MASK]&quot;</span>])

<span class="hljs-meta">&gt;&gt;&gt; </span>tokenizer.pre_tokenizer = Whitespace()
<span class="hljs-meta">&gt;&gt;&gt; </span>files = [...]
<span class="hljs-meta">&gt;&gt;&gt; </span>tokenizer.train(files, trainer)`,wrap:!1}}),d=new ee({props:{title:"تحميل مُجزئ  النّصوص  مُباشرةً",local:"تحميل-مجزئ-النصوص-مباشرة",headingTag:"h2"}}),b=new D({props:{code:"ZnJvbSUyMHRyYW5zZm9ybWVycyUyMGltcG9ydCUyMFByZVRyYWluZWRUb2tlbml6ZXJGYXN0JTBBJTBBZmFzdF90b2tlbml6ZXIlMjAlM0QlMjBQcmVUcmFpbmVkVG9rZW5pemVyRmFzdCh0b2tlbml6ZXJfb2JqZWN0JTNEdG9rZW5pemVyKQ==",highlighted:`<span class="hljs-meta">&gt;&gt;&gt; </span><span class="hljs-keyword">from</span> transformers <span class="hljs-keyword">import</span> PreTrainedTokenizerFast

<span class="hljs-meta">&gt;&gt;&gt; </span>fast_tokenizer = PreTrainedTokenizerFast(tokenizer_object=tokenizer)`,wrap:!1}}),U=new ee({props:{title:"التحميل من ملف JSON",local:"التحميل-من-ملف-json",headingTag:"h2"}}),w=new D({props:{code:"dG9rZW5pemVyLnNhdmUoJTIydG9rZW5pemVyLmpzb24lMjIp",highlighted:'<span class="hljs-meta">&gt;&gt;&gt; </span>tokenizer.save(<span class="hljs-string">&quot;tokenizer.json&quot;</span>)',wrap:!1}}),V=new D({props:{code:"ZnJvbSUyMHRyYW5zZm9ybWVycyUyMGltcG9ydCUyMFByZVRyYWluZWRUb2tlbml6ZXJGYXN0JTBBJTBBZmFzdF90b2tlbml6ZXIlMjAlM0QlMjBQcmVUcmFpbmVkVG9rZW5pemVyRmFzdCh0b2tlbml6ZXJfZmlsZSUzRCUyMnRva2VuaXplci5qc29uJTIyKQ==",highlighted:`<span class="hljs-meta">&gt;&gt;&gt; </span><span class="hljs-keyword">from</span> transformers <span class="hljs-keyword">import</span> PreTrainedTokenizerFast

<span class="hljs-meta">&gt;&gt;&gt; </span>fast_tokenizer = PreTrainedTokenizerFast(tokenizer_file=<span class="hljs-string">&quot;tokenizer.json&quot;</span>)`,wrap:!1}}),B=new $e({props:{source:"https://github.com/huggingface/transformers/blob/main/docs/source/ar/fast_tokenizers.md"}}),{c(){m=r("meta"),F=n(),C=r("p"),I=n(),i(j.$$.fragment),N=n(),k=r("p"),k.innerHTML=se,P=n(),u=r("p"),u.textContent=le,Q=n(),i($.$$.fragment),W=n(),h=r("p"),h.textContent=ne,E=n(),i(d.$$.fragment),G=n(),T=r("p"),T.innerHTML=ae,X=n(),i(b.$$.fragment),q=n(),z=r("p"),z.innerHTML=re,R=n(),i(U.$$.fragment),H=n(),Z=r("p"),Z.textContent=pe,x=n(),i(w.$$.fragment),S=n(),J=r("p"),J.innerHTML=me,L=n(),i(V.$$.fragment),A=n(),_=r("p"),_.innerHTML=ie,Y=n(),i(B.$$.fragment),K=n(),v=r("p"),this.h()},l(e){const t=ke("svelte-u9bgzb",document.head);m=p(t,"META",{name:!0,content:!0}),t.forEach(s),F=a(e),C=p(e,"P",{}),oe(C).forEach(s),I=a(e),o(j.$$.fragment,e),N=a(e),k=p(e,"P",{"data-svelte-h":!0}),c(k)!=="svelte-jihytm"&&(k.innerHTML=se),P=a(e),u=p(e,"P",{"data-svelte-h":!0}),c(u)!=="svelte-1uiqb7i"&&(u.textContent=le),Q=a(e),o($.$$.fragment,e),W=a(e),h=p(e,"P",{"data-svelte-h":!0}),c(h)!=="svelte-1ytzj3t"&&(h.textContent=ne),E=a(e),o(d.$$.fragment,e),G=a(e),T=p(e,"P",{"data-svelte-h":!0}),c(T)!=="svelte-4a01qc"&&(T.innerHTML=ae),X=a(e),o(b.$$.fragment,e),q=a(e),z=p(e,"P",{"data-svelte-h":!0}),c(z)!=="svelte-18w1nzu"&&(z.innerHTML=re),R=a(e),o(U.$$.fragment,e),H=a(e),Z=p(e,"P",{"data-svelte-h":!0}),c(Z)!=="svelte-1kc6l63"&&(Z.textContent=pe),x=a(e),o(w.$$.fragment,e),S=a(e),J=p(e,"P",{"data-svelte-h":!0}),c(J)!=="svelte-k5a65d"&&(J.innerHTML=me),L=a(e),o(V.$$.fragment,e),A=a(e),_=p(e,"P",{"data-svelte-h":!0}),c(_)!=="svelte-co2t5m"&&(_.innerHTML=ie),Y=a(e),o(B.$$.fragment,e),K=a(e),v=p(e,"P",{}),oe(v).forEach(s),this.h()},h(){ce(m,"name","hf:doc:metadata"),ce(m,"content",de)},m(e,t){ue(document.head,m),l(e,F,t),l(e,C,t),l(e,I,t),f(j,e,t),l(e,N,t),l(e,k,t),l(e,P,t),l(e,u,t),l(e,Q,t),f($,e,t),l(e,W,t),l(e,h,t),l(e,E,t),f(d,e,t),l(e,G,t),l(e,T,t),l(e,X,t),f(b,e,t),l(e,q,t),l(e,z,t),l(e,R,t),f(U,e,t),l(e,H,t),l(e,Z,t),l(e,x,t),f(w,e,t),l(e,S,t),l(e,J,t),l(e,L,t),f(V,e,t),l(e,A,t),l(e,_,t),l(e,Y,t),f(B,e,t),l(e,K,t),l(e,v,t),O=!0},p:Me,i(e){O||(M(j.$$.fragment,e),M($.$$.fragment,e),M(d.$$.fragment,e),M(b.$$.fragment,e),M(U.$$.fragment,e),M(w.$$.fragment,e),M(V.$$.fragment,e),M(B.$$.fragment,e),O=!0)},o(e){y(j.$$.fragment,e),y($.$$.fragment,e),y(d.$$.fragment,e),y(b.$$.fragment,e),y(U.$$.fragment,e),y(w.$$.fragment,e),y(V.$$.fragment,e),y(B.$$.fragment,e),O=!1},d(e){e&&(s(F),s(C),s(I),s(N),s(k),s(P),s(u),s(Q),s(W),s(h),s(E),s(G),s(T),s(X),s(q),s(z),s(R),s(H),s(Z),s(x),s(S),s(J),s(L),s(A),s(_),s(Y),s(K),s(v)),s(m),g(j,e),g($,e),g(d,e),g(b,e),g(U,e),g(w,e),g(V,e),g(B,e)}}}const de='{"title":"استخدام مجزئيات النصوص من 🤗 Tokenizers","local":"استخدام-مجزئيات-النصوص-من--tokenizers","sections":[{"title":"تحميل مُجزئ  النّصوص  مُباشرةً","local":"تحميل-مجزئ-النصوص-مباشرة","sections":[],"depth":2},{"title":"التحميل من ملف JSON","local":"التحميل-من-ملف-json","sections":[],"depth":2}],"depth":1}';function Te(te){return ye(()=>{new URLSearchParams(window.location.search).get("fw")}),[]}class we extends ge{constructor(m){super(),je(this,m,Te,he,fe,{})}}export{we as component};