course/pr_1149/te/_app/immutable/nodes/17.97d2ff01.js

import{s as gs,o as vs,n as Ts}from"../chunks/scheduler.cc52f4b9.js";import{S as ws,i as xs,e as a,s as l,c as m,h as js,a as p,d as n,b as i,f as ks,g as f,j as r,l as Fe,m as Cs,n as s,o as u,p as o,q as $,r as M}from"../chunks/index.bd400c31.js";import{T as Js}from"../chunks/Tip.272e6bd8.js";import{C as hs,H as d,E as _s}from"../chunks/MermaidChart.svelte_svelte_type_style_lang.25fe1ea6.js";import{Y as Ne}from"../chunks/Youtube.4afc5ee9.js";import{C as y}from"../chunks/CodeBlock.1794e33c.js";import{C as zs}from"../chunks/CourseFloatingBanner.6f780cc4.js";import{F as Hs}from"../chunks/FrameworkSwitchCourse.e8e44fa0.js";function Us(Xe){let b,k="✏️ <strong>ప్రయత్నించండి!</strong> సెక్షన్ 2 లో ఉపయోగించిన రెండు వాక్యాలపై (<code>&quot;I&#39;ve been waiting for a HuggingFace course my whole life.&quot;</code> మరియు <code>&quot;I hate this so much!&quot;</code>) ఈ చివరి రెండు దశలను (tokenization మరియు input IDs గా మార్పు) మళ్లీ చేయండి. మీరు ముందుగా చూసినట్లే అదే input IDs వస్తున్నాయో లేదో తనిఖీ చేయండి!";return{c(){b=a("p"),b.innerHTML=k},l(c){b=p(c,"P",{"data-svelte-h":!0}),r(b)!=="svelte-h6ayva"&&(b.innerHTML=k)},m(c,g){s(c,b,g)},p:Ts,d(c){c&&n(b)}}}function Ls(Xe){let b,k,c,g,v,Ye,C,Ke,J,Oe,h,et,_,tt,z,jn=`టోకనైజర్లు NLP పైప్‌లైన్‌లోని ముఖ్య భాగాల్లో ఒకటి. వీటి లక్ష్యం ఒక్కటే: టెక్స్ట్‌ను మోడల్ ప్రాసెస్ చేయగలిగే డేటాగా మార్చడం. మోడళ్లు సంఖ్యలతోనే పని చేయగలవు, కాబట్టి టోకనైజర్లు మన టెక్స్ట్ ఇన్‌పుట్‌లను సంఖ్యాత్మక డేటాగా మారుస్తాయి.<br/>
ఈ విభాగంలో, టోకనైజేషన్ పైప్‌లైన్‌లో నిజానికి ఏమి జరుగుతుందో పరిశీలిద్దాం.`,nt,H,Cn="NLP పనుల్లో సాధారణంగా ప్రాసెస్ చేయబడే డేటా raw text. ఉదాహరణకు:",st,U,lt,L,Jn="అయితే, మోడళ్లు సంఖ్యలను మాత్రమే ప్రాసెస్ చేయగలవు కాబట్టి, raw text‌ను సంఖ్యలుగా మార్చే మార్గాన్ని కనుగొనాలి. అదే టోకనైజర్ చేసే పని, మరియు దీన్ని చేయడానికి అనేక పద్ధతులు ఉన్నాయి. లక్ష్యం ఏమిటంటే, మోడల్‌కి ఎక్కువ అర్థమయ్యే — సాధ్యమైతే, అత్యంత చిన్న — ప్రతినిధిని (representation) కనుగొనడం.",it,I,hn="ఇప్పుడు కొన్ని టోకనైజేషన్ అల్గోరిథమ్‌ల ఉదాహరణలను చూసి, టోకనైజేషన్ గురించి మీకు ఉండొచ్చిన కొన్ని ప్రశ్నలకు సమాధానాలు కనుగొనడానికి ప్రయత్నిద్దాం.",at,Z,pt,P,rt,D,_n=`మెదట గుర్తొచ్చే టోకనైజర్ రకం <em>word-based</em> టోకనైజర్. కొద్దిపాటి నియమాలతో సులభంగా సెటప్ చేయవచ్చు, ఉపయోగించడం కూడా తేలిక, మరియు చాలా సందర్భాల్లో బాగానే ఫలితాలు ఇస్తుంది.<br/>
ఉదాహరణకు, క్రింది బొమ్మలో లక్ష్యం ఏమిటంటే, raw text ను పదాలుగా విభజించి, ప్రతి పదానికి సంఖ్యాత్మక ప్రతినిధిని కనుగొనడం:`,mt,T,zn='<img class="block dark:hidden" src="https://huggingface.co/datasets/huggingface-course/documentation-images/resolve/main/en/chapter2/word_based_tokenization.svg" alt="పదాల ఆధారంగా టోకనైజేషన్ చేసిన ఒక ఉదాహరణ."/> <img class="hidden dark:block" src="https://huggingface.co/datasets/huggingface-course/documentation-images/resolve/main/en/chapter2/word_based_tokenization-dark.svg" alt="పదాల ఆధారంగా టోకనైజేషన్ చేసిన ఒక ఉదాహరణ."/>',ft,V,Hn="టెక్స్ట్‌ను విభజించడానికి విభిన్న పద్ధతులు ఉన్నాయి. ఉదాహరణకు, Python లో <code>split()</code> ఫంక్షన్‌ను ఉపయోగించి, whitespace ఆధారంగా పదాలుగా విభజించవచ్చు:",ut,E,ot,A,$t,Q,Un="కొన్ని word tokenizers పంక్చుయేషన్ కోసం అదనపు నియమాలను కూడా కలిగి ఉంటాయి. ఇటువంటి టోకనైజర్‌తో మనకు చాలా పెద్ద “vocabulary” రావచ్చు — ఇక్కడ vocabulary అంటే మన corpus లో ఉన్న అన్ని స్వతంత్ర tokens సంఖ్య.",Mt,W,Ln="ప్రతీ పదానికి ఒక ID కేటాయిస్తారు; అది 0 నుండి vocabulary పరిమాణం వరకు ఉంటుంది. మోడల్ ప్రతి పదాన్ని గుర్తించడానికి ఈ IDs ను ఉపయోగిస్తుంది.",bt,B,In=`ఒక భాషలోని అన్ని పదాలను word-based టోకనైజర్ ద్వారా కవర్ చేయాలంటే, ప్రతి పదానికి ఒక్కో identifier ఉండాలి; ఇది చాలా పెద్ద సంఖ్యలో tokens‌ను ఉత్పత్తి చేస్తుంది. ఉదాహరణకు, ఆంగ్లంలో 500,000 కంటే ఎక్కువ పదాలు ఉన్నాయి, కాబట్టి ప్రతి పదాన్ని ఒక input ID కి మ్యాప్ చేయడానికి అంతటి IDs ను నిర్వహించాలి.<br/>
ఇదంతా కాకుండా, “dog” మరియు “dogs” లాంటి పదాలను మోడల్ మొదట్లో పూర్తిగా వేర్వేరుగా చూస్తుంది — “dog” మరియు “dogs” పరస్పర సంబంధం లేకుండా కనిపిస్తాయి. ఇదే విషయం “run” మరియు “running” వంటి ఇతర పదాలకు కూడా వర్తిస్తుంది.`,ct,G,Zn="చివరగా, vocabulary లో లేని పదాలను సూచించడానికి ఒక ప్రత్యేక token అవసరం. దీన్ని సాధారణంగా “unknown” token అంటారు, ” [UNK] ” లేదా ”<unk>” వంటివి. టోకనైజర్ చాలా ఎక్కువ unknown tokens ఉత్పత్తి చేస్తూ ఉంటే, అది మంచిది కాదు — ఎందుకంటే అది ఆ పదానికి సరైన ప్రతినిధిని కనుగొనలేకపోయింది, మధ్యలో సమాచారం కోల్పోతున్నామన్నమాట. కాబట్టి vocabulary రూపొందించేప్పుడు లక్ష్యం ఏమిటంటే, tokenizer వీలైనంత తక్కువ పదాలను unknown token గా మార్చేలా ఉండాలి.",yt,R,Pn="ఇలాంటి unknown tokens సంఖ్యను తగ్గించడానికి, మనం ఒక స్థాయి లోతుగా వెళ్లి <em>character-based</em> టోకనైజర్‌ను ఉపయోగించవచ్చు.",dt,q,kt,X,gt,S,Dn="Character-based టోకనైజర్లు టెక్స్ట్‌ను పదాల కంటే, అక్షరాలుగా విభజిస్తాయి. దీనికి రెండు ప్రధాన ప్రయోజనాలు ఉన్నాయి:",vt,F,Vn="<li>vocabulary చాలా చిన్నదిగా ఉంటుంది.</li> <li>out-of-vocabulary (unknown) tokens చాలా తక్కువగా ఉంటాయి, ఎందుకంటే ప్రతి పదాన్ని అక్షరాల నుంచి నిర్మించవచ్చు.</li>",Tt,N,En="కానీ ఇక్కడ కూడా spaces మరియు పంక్చుయేషన్ గురించి కొన్ని ప్రశ్నలు వస్తాయి:",wt,w,An='<img class="block dark:hidden" src="https://huggingface.co/datasets/huggingface-course/documentation-images/resolve/main/en/chapter2/character_based_tokenization.svg" alt="అక్షరాల ఆధారంగా టోకనైజేషన్ చేసిన ఒక ఉదాహరణ."/> <img class="hidden dark:block" src="https://huggingface.co/datasets/huggingface-course/documentation-images/resolve/main/en/chapter2/character_based_tokenization-dark.svg" alt="అక్షరాల ఆధారంగా టోకనైజేషన్ చేసిన ఒక ఉదాహరణ."/>',xt,Y,Qn=`ఈ విధానం కూడా పరిపూర్ణం కాదు. ప్రతినిధి ఇప్పుడు పదాల ఆధారంగా కాకుండా అక్షరాల ఆధారంగా ఉందని గమనించండి; సహజంగానే చూసుకుంటే, ఒక్కో అక్షరం అంత అర్థవంతం కాకపోవచ్చు, కానీ ఒక్కో పదం మాత్రం సాధారణంగా అర్థవంతంగానే ఉంటుంది.<br/>
అయితే ఇది కూడా భాషపై ఆధారపడి ఉంటుంది — ఉదాహరణకు, చైనీస్‌లో ఒక్కో అక్షరమే చాలా సమాచారం కలిగిఉంటుంది, కానీ లాటిన్ లిపి భాషల్లో అది తక్కువ.`,jt,K,Wn="మరికొక విషయం ఏమిటంటే, ఈ విధానంతో మన మోడల్ ప్రాసెస్ చేయాల్సిన tokens సంఖ్య చాలా పెరుగుతుంది: word-based టోకనైజర్‌లో ఒక పదానికి ఒకే token ఉంటే, character-based టోకనైజర్‌లో అదే పదం సులభంగా 10 లేదా అంతకంటే ఎక్కువ tokens గా మారిపోతుంది.",Ct,O,Bn="ఇద్దరిలోనూ ఉన్న మంచితనాన్ని పొందడానికి, మూడో పద్ధతిని ఉపయోగించవచ్చు: <em>subword tokenization</em>.",Jt,ee,ht,te,_t,ne,Gn=`Subword టోకనైజేషన్ అల్గోరిథమ్‌ల ప్రాథమిక సూత్రం ఏమిటంటే:<br/>
తరచుగా వాడే పదాలను చిన్న subwords గా విభజించకూడదు, కానీ అరుదుగా వచ్చే పదాలను అర్థవంతమైన subwords గా విభజించాలి.`,zt,se,Rn="ఉదాహరణకు, “annoyingly” అనే పదం అరుదుగా వస్తుంది, కాబట్టి దాన్ని “annoying” మరియు “ly” గా విభజించవచ్చు. ఇవి రెండూ సొంతంగా subwords గా ఎక్కువగా కనిపించే అవకాశం ఉంది, అలాగే “annoying” + “ly” కలయిక “annoyingly” అనే భావాన్ని కూడా నిలుపుతుంది.",Ht,le,qn="“Let’s do tokenization!” అనే వాక్యానికి ఒక subword టోకనైజేషన్ అల్గోరిథమ్ ఈ విధంగా టోకనైజ్ చేస్తుందనుకోండి:",Ut,x,Xn='<img class="block dark:hidden" src="https://huggingface.co/datasets/huggingface-course/documentation-images/resolve/main/en/chapter2/bpe_subword.svg" alt="సబ్‌వర్డ్ టోకనైజేషన్ అల్గోరిథమ్ యొక్క ఒక ఉదాహరణ."/> <img class="hidden dark:block" src="https://huggingface.co/datasets/huggingface-course/documentation-images/resolve/main/en/chapter2/bpe_subword-dark.svg" alt="సబ్‌వర్డ్ టోకనైజేషన్ అల్గోరిథమ్ యొక్క ఒక ఉదాహరణ."/>',Lt,ie,Sn=`ఇలాంటి subwords మంచి semantic అర్థాన్ని ఇస్తాయి. ఉదాహరణలో “tokenization” ను “token” మరియు “ization” గా విభజించారు — ఇవి రెండూ semantic meaning కలిగిన tokens, అలాగే space-efficient కూడా (పొడవైన పదాన్ని సూచించడానికి కేవలం రెండు tokens సరిపోతాయి).<br/>
దీంతో చిన్న vocabularies తోనే మంచి coverage పొందగలం, unknown tokens కూడా దాదాపు ఉండవు.`,It,ae,Fn="ఈ విధానం Turkish లాంటి agglutinative భాషల్లో మరింత ఉపయోగకరంగా ఉంటుంది, ఎందుకంటే అక్కడ subwords ను కలిపి చాలా పొడవైన సమిష్టి పదాలు సులభంగా తయారు చేయవచ్చు.",Zt,pe,Pt,re,Nn="అందుబాటులో ఇంకా చాలా tokenization పద్ధతులు ఉండటం ఆశ్చర్యకరం కాదు. కొన్ని ముఖ్యమైనవి:",Dt,me,Yn="<li>Byte-level BPE — GPT-2 లో ఉపయోగించిన పద్ధతి</li> <li>WordPiece — BERT లో ఉపయోగించబడింది</li> <li>SentencePiece లేదా Unigram — కొన్ని multilingual మోడళ్లలో ఉపయోగిస్తారు</li>",Vt,fe,Kn="ఇప్పటికి, టోకనైజర్‌లు ఎలా పనిచేస్తాయో అర్థం చేసుకుని, API తో పని చేయడానికి మీ వద్ద సరిపడిన పునాదులు ఉన్నాయి.",Et,ue,At,oe,On=`టోకనైజర్లను లోడ్ చేయడం, సేవ్ చేయడం కూడా మోడళ్ల మాదిరిగానే సులభం. నిజానికి, ఇవి కూడా అదే రెండు పద్ధతులపై ఆధారపడి ఉంటాయి: <code>from_pretrained()</code> మరియు <code>save_pretrained()</code>.<br/>
ఈ పద్ధతులు టోకనైజర్ ఉపయోగించే అల్గోరిథమ్ (మోడల్ యొక్క <em>architecture</em> లాంటిది) తో పాటు దాని vocabulary (మోడల్ <em>weights</em> లాంటిది) ను కూడా లోడ్ చేయడం లేదా సేవ్ చేయడం చేస్తాయి.`,Qt,$e,es="BERT తో ప్రీట్రైన్ చేయబడిన అదే checkpoint కు సంబంధించిన BERT tokenizer ను లోడ్ చేయడం, మోడల్ లోడ్ చేయడంలా ఉంటుంది, కానీ ఇక్కడ మనం <code>BertTokenizer</code> క్లాస్‌ను ఉపయోగిస్తాము:",Wt,Me,Bt,be,ts="<code>AutoModel</code> మాదిరిగానే, <code>AutoTokenizer</code> క్లాస్ కూడా checkpoint పేరును ఆధారంగా తీసుకుని, లైబ్రరీలోని సరైన tokenizer క్లాస్‌ను ఎంచుకుంటుంది, మరియు ఏ checkpoint తోనైనా నేరుగా ఉపయోగించవచ్చు:",Gt,ce,Rt,ye,ns="ఇప్పుడు గత విభాగంలో చూసినట్లే tokenizer ను ఉపయోగించవచ్చు:",qt,de,Xt,ke,St,ge,ss="టోకనైజర్‌ను సేవ్ చేయడం కూడా మోడల్ సేవ్ చేసినట్లే ఉంటుంది:",Ft,ve,Nt,Te,ls=`<code>token_type_ids</code> గురించి <a href="/course/chapter3">Chapter 3</a> లో మరింతగా మాట్లాడతాం, అలాగే <code>attention_mask</code> కీ గురించి కాస్త తర్వాత వివరిస్తాము.<br/>
ముందుగా, <code>input_ids</code> ఎలా రూపొందించబడతాయో చూద్దాం. అందుకు tokenizer లోని intermediate methods ను పరిశీలించాలి.`,Yt,we,Kt,xe,Ot,je,is="టెక్స్ట్‌ను సంఖ్యలుగా మార్చే ప్రక్రియను <em>encoding</em> అంటారు. ఇది రెండు దశల్లో జరుగుతుంది: ముందుగా tokenization, తరువాత వాటిని input IDs గా మార్చడం.",en,Ce,as="ముందు చూశినట్లుగా, మొదటి దశలో టెక్స్ట్‌ను పదాలుగా (లేదా పద భాగాలుగా, punctuation చిహ్నాలుగా మొదలైనవి) విభజిస్తారు; వీటినే సాధారణంగా <em>tokens</em> అంటారు. ఈ ప్రక్రియ ఎలా జరగాలి అన్నదానికి అనేక నియమాలు ఉండవచ్చు, అందుకే మనం tokenizer ను instantiate చేయేటప్పుడు మోడల్ పేరును ఇస్తాం — మోడల్ ప్రీట్రైనింగ్ సమయంలో ఉపయోగించిన అదే నియమాలను ఇక్కడ కూడా ఉపయోగించడానికి.",tn,Je,ps=`రెండవ దశలో, ఆ tokens ను సంఖ్యలుగా మార్చుతాం, తద్వారా వాటితో టెన్సర్‌ను నిర్మించి మోడల్‌కు పంపగలం. దీని కోసం tokenizer వద్ద ఒక <em>vocabulary</em> ఉంటుంది — <code>from_pretrained()</code> పద్ధతితో instantiate చేసినప్పుడు డౌన్‌లోడ్ అయ్యే భాగం ఇదే.<br/>
ఇక్కడ కూడా, మోడల్ ప్రీట్రైనింగ్ సమయంలో ఉపయోగించిన అదే vocabulary ను ఉపయోగించాలి.`,nn,he,rs="ఈ రెండు దశలను మెరుగ్గా అర్థం చేసుకోవడానికి, వాటిని వేర్వేరుగా పరిశీలిద్దాం. గమనించాల్సిన విషయం ఏమిటంటే, ఇక్కడ మనం tokenization పైప్‌లైన్‌లోని భాగాలను విడివిడిగా చూపే కొన్ని methods ను ఉపయోగిస్తాము, intermediate ఫలితాలను చూడటానికి. కానీ ఆచరణలో, మీరు ముందున్న సెక్షన్ 2 లో చూపినట్లుగా, మీ ఇన్‌పుట్‌లపై tokenizer ను నేరుగా కాల్ చేయాల్సిందే.",sn,_e,ln,ze,ms="టోకనైజేషన్ ప్రక్రియ tokenizer యొక్క <code>tokenize()</code> పద్ధతి ద్వారా జరుగుతుంది:",an,He,pn,Ue,fs="ఈ పద్ధతి ఫలితంగా stringల జాబితా వస్తుంది — ఇవే tokens:",rn,Le,mn,Ie,us="ఈ tokenizer ఒక subword tokenizer: ఇది తన vocabularyలో ఉన్న subwords వచ్చే వరకు పదాలను చిన్న భాగాలుగా విభజిస్తుంది. ఇక్కడ <code>transformer</code> అనే పదం <code>transform</code> మరియు <code>##er</code> అనే రెండు tokens గా విభజించబడింది.",fn,Ze,un,Pe,os="Tokens ను input IDs గా మార్చడం tokenizer లోని <code>convert_tokens_to_ids()</code> పద్ధతి ద్వారా జరుగుతుంది:",on,De,$n,Ve,Mn,Ee,$s="ఈ outputs ను సరైన framework tensor గా మార్చిన తర్వాత, ఇవి ఈ అధ్యాయంలో ముందుగా చూసినట్లుగానే మోడల్‌కు ఇన్‌పుట్‌లుగా ఉపయోగించవచ్చు.",bn,j,cn,Ae,yn,Qe,Ms="<em>Decoding</em> అంటే పక్కదారి — vocabulary indices నుంచి మళ్లీ string కు రావడం. ఇది <code>decode()</code> పద్ధతి ద్వారా చేయవచ్చు:",dn,We,kn,Be,gn,Ge,bs=`<code>decode</code> పద్ధతి indices ను tokens గా మాత్రమే మార్చదు;<br/>
ముందు ఒకే పదానికి చెందిన subword tokens ను మళ్లీ కలిపి, చదవగలిగే వాక్యంగా మార్చుతుంది.<br/>
ఈ ప్రవర్తన, text జనరేషన్ చేసే మోడళ్లతో పని చేస్తున్నప్పుడు (prompt నుంచి text ఉత్పత్తి చేయడం, లేదా translation, summarization వంటి sequence-to-sequence సమస్యల్లో) చాలా ఉపయోగకరంగా ఉంటుంది.`,vn,Re,cs=`ఇప్పటికే టోకనైజర్ చేయగలిగే atomic operations — tokenization, IDs కు మార్పు, మరియు IDs ను తిరిగి string గా మార్చడం — మీకు అర్థమై ఉండాలి.<br/>
అయితే ఇది ఐస్‌బర్గ్ పైభాగం మాత్రమే. తదుపరి విభాగంలో, ఈ విధానాన్ని గరిష్ట స్థాయికి తీసుకెళ్లి, దానివల్ల వచ్చే పరిమితులను ఎలా అధిగమించాలో చూస్తాం.`,Tn,qe,wn,Se,xn;return v=new Hs({props:{fw:Xe[0]}}),C=new hs({props:{containerStyle:"float: right; margin-left: 10px; display: inline-flex; position: relative; z-index: 10;"}}),J=new d({props:{title:"టోకనైజర్లు",local:"tokenizers",headingTag:"h1"}}),h=new zs({props:{chapter:2,classNames:"absolute z-10 right-0 top-0",notebooks:[{label:"Google Colab",value:"https://colab.research.google.com/github/huggingface/notebooks/blob/master/course/en/chapter2/section4_pt.ipynb"},{label:"Aws Studio",value:"https://studiolab.sagemaker.aws/import/github/huggingface/notebooks/blob/master/course/en/chapter2/section4_pt.ipynb"}]}}),_=new Ne({props:{id:"VFp38yj8h3A"}}),U=new y({props:{code:"SmltJTIwSGVuc29uJTIwd2FzJTIwYSUyMHB1cHBldGVlcg==",highlighted:'Jim Henson was <span class="hljs-selector-tag">a</span> puppeteer',wrap:!1}}),Z=new d({props:{title:"పదాల ఆధారంగా",local:"word-based",headingTag:"h2"}}),P=new Ne({props:{id:"nhJxYji1aho"}}),E=new y({props:{code:"dG9rZW5pemVkX3RleHQlMjAlM0QlMjAlMjJKaW0lMjBIZW5zb24lMjB3YXMlMjBhJTIwcHVwcGV0ZWVyJTIyLnNwbGl0KCklMEFwcmludCh0b2tlbml6ZWRfdGV4dCk=",highlighted:`tokenized_text = <span class="hljs-string">&quot;Jim Henson was a puppeteer&quot;</span>.split()
<span class="hljs-built_in">print</span>(tokenized_text)`,wrap:!1}}),A=new y({props:{code:"JTVCJ0ppbSclMkMlMjAnSGVuc29uJyUyQyUyMCd3YXMnJTJDJTIwJ2EnJTJDJTIwJ3B1cHBldGVlciclNUQ=",highlighted:'[<span class="hljs-string">&#x27;Jim&#x27;</span>, <span class="hljs-string">&#x27;Henson&#x27;</span>, <span class="hljs-string">&#x27;was&#x27;</span>, <span class="hljs-string">&#x27;a&#x27;</span>, <span class="hljs-string">&#x27;puppeteer&#x27;</span>]',wrap:!1}}),q=new d({props:{title:"అక్షరాల ఆధారంగా",local:"character-based",headingTag:"h2"}}),X=new Ne({props:{id:"ssLq_EK2jLE"}}),ee=new d({props:{title:"సబ్‌వర్డ్ టోకనైజేషన్",local:"subword-tokenization",headingTag:"h2"}}),te=new Ne({props:{id:"zHvTiHr506c"}}),pe=new d({props:{title:"ఇంకా చాలా!",local:"and-more",headingTag:"h3"}}),ue=new d({props:{title:"లోడ్ చేయడం మరియు సేవ్ చేయడం",local:"loading-and-saving",headingTag:"h2"}}),Me=new y({props:{code:"ZnJvbSUyMHRyYW5zZm9ybWVycyUyMGltcG9ydCUyMEJlcnRUb2tlbml6ZXIlMEElMEF0b2tlbml6ZXIlMjAlM0QlMjBCZXJ0VG9rZW5pemVyLmZyb21fcHJldHJhaW5lZCglMjJiZXJ0LWJhc2UtY2FzZWQlMjIp",highlighted:`<span class="hljs-keyword">from</span> transformers <span class="hljs-keyword">import</span> BertTokenizer

tokenizer = BertTokenizer.from_pretrained(<span class="hljs-string">&quot;bert-base-cased&quot;</span>)`,wrap:!1}}),ce=new y({props:{code:"ZnJvbSUyMHRyYW5zZm9ybWVycyUyMGltcG9ydCUyMEF1dG9Ub2tlbml6ZXIlMEElMEF0b2tlbml6ZXIlMjAlM0QlMjBBdXRvVG9rZW5pemVyLmZyb21fcHJldHJhaW5lZCglMjJiZXJ0LWJhc2UtY2FzZWQlMjIp",highlighted:`<span class="hljs-keyword">from</span> transformers <span class="hljs-keyword">import</span> AutoTokenizer

tokenizer = AutoTokenizer.from_pretrained(<span class="hljs-string">&quot;bert-base-cased&quot;</span>)`,wrap:!1}}),de=new y({props:{code:"dG9rZW5pemVyKCUyMlVzaW5nJTIwYSUyMFRyYW5zZm9ybWVyJTIwbmV0d29yayUyMGlzJTIwc2ltcGxlJTIyKQ==",highlighted:'tokenizer(<span class="hljs-string">&quot;Using a Transformer network is simple&quot;</span>)',wrap:!1}}),ke=new y({props:{code:"JTdCJ2lucHV0X2lkcyclM0ElMjAlNUIxMDElMkMlMjA3OTkzJTJDJTIwMTcwJTJDJTIwMTEzMDMlMkMlMjAxMjAwJTJDJTIwMjQ0MyUyQyUyMDExMTAlMkMlMjAzMDE0JTJDJTIwMTAyJTVEJTJDJTBBJTIwJ3Rva2VuX3R5cGVfaWRzJyUzQSUyMCU1QjAlMkMlMjAwJTJDJTIwMCUyQyUyMDAlMkMlMjAwJTJDJTIwMCUyQyUyMDAlMkMlMjAwJTJDJTIwMCU1RCUyQyUwQSUyMCdhdHRlbnRpb25fbWFzayclM0ElMjAlNUIxJTJDJTIwMSUyQyUyMDElMkMlMjAxJTJDJTIwMSUyQyUyMDElMkMlMjAxJTJDJTIwMSUyQyUyMDElNUQlN0Q=",highlighted:`{<span class="hljs-string">&#x27;input_ids&#x27;</span>: [<span class="hljs-number">101</span>, <span class="hljs-number">7993</span>, <span class="hljs-number">170</span>, <span class="hljs-number">11303</span>, <span class="hljs-number">1200</span>, <span class="hljs-number">2443</span>, <span class="hljs-number">1110</span>, <span class="hljs-number">3014</span>, <span class="hljs-number">102</span>],
 <span class="hljs-string">&#x27;token_type_ids&#x27;</span>: [<span class="hljs-number">0</span>, <span class="hljs-number">0</span>, <span class="hljs-number">0</span>, <span class="hljs-number">0</span>, <span class="hljs-number">0</span>, <span class="hljs-number">0</span>, <span class="hljs-number">0</span>, <span class="hljs-number">0</span>, <span class="hljs-number">0</span>],
 <span class="hljs-string">&#x27;attention_mask&#x27;</span>: [<span class="hljs-number">1</span>, <span class="hljs-number">1</span>, <span class="hljs-number">1</span>, <span class="hljs-number">1</span>, <span class="hljs-number">1</span>, <span class="hljs-number">1</span>, <span class="hljs-number">1</span>, <span class="hljs-number">1</span>, <span class="hljs-number">1</span>]}`,wrap:!1}}),ve=new y({props:{code:"dG9rZW5pemVyLnNhdmVfcHJldHJhaW5lZCglMjJkaXJlY3Rvcnlfb25fbXlfY29tcHV0ZXIlMjIp",highlighted:'tokenizer.save_pretrained(<span class="hljs-string">&quot;directory_on_my_computer&quot;</span>)',wrap:!1}}),we=new d({props:{title:"Encoding",local:"encoding",headingTag:"h2"}}),xe=new Ne({props:{id:"Yffk5aydLzg"}}),_e=new d({props:{title:"Tokenization",local:"tokenization",headingTag:"h3"}}),He=new y({props:{code:"ZnJvbSUyMHRyYW5zZm9ybWVycyUyMGltcG9ydCUyMEF1dG9Ub2tlbml6ZXIlMEElMEF0b2tlbml6ZXIlMjAlM0QlMjBBdXRvVG9rZW5pemVyLmZyb21fcHJldHJhaW5lZCglMjJiZXJ0LWJhc2UtY2FzZWQlMjIpJTBBJTBBc2VxdWVuY2UlMjAlM0QlMjAlMjJVc2luZyUyMGElMjBUcmFuc2Zvcm1lciUyMG5ldHdvcmslMjBpcyUyMHNpbXBsZSUyMiUwQXRva2VucyUyMCUzRCUyMHRva2VuaXplci50b2tlbml6ZShzZXF1ZW5jZSklMEElMEFwcmludCh0b2tlbnMp",highlighted:`<span class="hljs-keyword">from</span> transformers <span class="hljs-keyword">import</span> AutoTokenizer

tokenizer = AutoTokenizer.from_pretrained(<span class="hljs-string">&quot;bert-base-cased&quot;</span>)

sequence = <span class="hljs-string">&quot;Using a Transformer network is simple&quot;</span>
tokens = tokenizer.tokenize(sequence)

<span class="hljs-built_in">print</span>(tokens)`,wrap:!1}}),Le=new y({props:{code:"JTVCJ1VzaW5nJyUyQyUyMCdhJyUyQyUyMCd0cmFuc2Zvcm0nJTJDJTIwJyUyMyUyM2VyJyUyQyUyMCduZXR3b3JrJyUyQyUyMCdpcyclMkMlMjAnc2ltcGxlJyU1RA==",highlighted:'[<span class="hljs-string">&#x27;Using&#x27;</span>, <span class="hljs-string">&#x27;a&#x27;</span>, <span class="hljs-string">&#x27;transform&#x27;</span>, <span class="hljs-string">&#x27;##er&#x27;</span>, <span class="hljs-string">&#x27;network&#x27;</span>, <span class="hljs-string">&#x27;is&#x27;</span>, <span class="hljs-string">&#x27;simple&#x27;</span>]',wrap:!1}}),Ze=new d({props:{title:"Tokens నుండి input IDs వరకు",local:"from-tokens-to-input-ids",headingTag:"h3"}}),De=new y({props:{code:"aWRzJTIwJTNEJTIwdG9rZW5pemVyLmNvbnZlcnRfdG9rZW5zX3RvX2lkcyh0b2tlbnMpJTBBJTBBcHJpbnQoaWRzKQ==",highlighted:`ids = tokenizer.convert_tokens_to_ids(tokens)

<span class="hljs-built_in">print</span>(ids)`,wrap:!1}}),Ve=new y({props:{code:"JTVCNzk5MyUyQyUyMDE3MCUyQyUyMDExMzAzJTJDJTIwMTIwMCUyQyUyMDI0NDMlMkMlMjAxMTEwJTJDJTIwMzAxNCU1RA==",highlighted:'[<span class="hljs-number">7993</span>, <span class="hljs-number">170</span>, <span class="hljs-number">11303</span>, <span class="hljs-number">1200</span>, <span class="hljs-number">2443</span>, <span class="hljs-number">1110</span>, <span class="hljs-number">3014</span>]',wrap:!1}}),j=new Js({props:{$$slots:{default:[Us]},$$scope:{ctx:Xe}}}),Ae=new d({props:{title:"Decoding",local:"decoding",headingTag:"h2"}}),We=new y({props:{code:"ZGVjb2RlZF9zdHJpbmclMjAlM0QlMjB0b2tlbml6ZXIuZGVjb2RlKCU1Qjc5OTMlMkMlMjAxNzAlMkMlMjAxMTMwMyUyQyUyMDEyMDAlMkMlMjAyNDQzJTJDJTIwMTExMCUyQyUyMDMwMTQlNUQpJTBBcHJpbnQoZGVjb2RlZF9zdHJpbmcp",highlighted:`decoded_string = tokenizer.decode([<span class="hljs-number">7993</span>, <span class="hljs-number">170</span>, <span class="hljs-number">11303</span>, <span class="hljs-number">1200</span>, <span class="hljs-number">2443</span>, <span class="hljs-number">1110</span>, <span class="hljs-number">3014</span>])
<span class="hljs-built_in">print</span>(decoded_string)`,wrap:!1}}),Be=new y({props:{code:"J1VzaW5nJTIwYSUyMFRyYW5zZm9ybWVyJTIwbmV0d29yayUyMGlzJTIwc2ltcGxlJw==",highlighted:'<span class="hljs-string">&#x27;Using a Transformer network is simple&#x27;</span>',wrap:!1}}),qe=new _s({props:{source:"https://github.com/huggingface/course/blob/main/chapters/te/chapter2/4.mdx"}}),{c(){b=a("meta"),k=l(),c=a("p"),g=l(),m(v.$$.fragment),Ye=l(),m(C.$$.fragment),Ke=l(),m(J.$$.fragment),Oe=l(),m(h.$$.fragment),et=l(),m(_.$$.fragment),tt=l(),z=a("p"),z.innerHTML=jn,nt=l(),H=a("p"),H.textContent=Cn,st=l(),m(U.$$.fragment),lt=l(),L=a("p"),L.textContent=Jn,it=l(),I=a("p"),I.textContent=hn,at=l(),m(Z.$$.fragment),pt=l(),m(P.$$.fragment),rt=l(),D=a("p"),D.innerHTML=_n,mt=l(),T=a("div"),T.innerHTML=zn,ft=l(),V=a("p"),V.innerHTML=Hn,ut=l(),m(E.$$.fragment),ot=l(),m(A.$$.fragment),$t=l(),Q=a("p"),Q.textContent=Un,Mt=l(),W=a("p"),W.textContent=Ln,bt=l(),B=a("p"),B.innerHTML=In,ct=l(),G=a("p"),G.textContent=Zn,yt=l(),R=a("p"),R.innerHTML=Pn,dt=l(),m(q.$$.fragment),kt=l(),m(X.$$.fragment),gt=l(),S=a("p"),S.textContent=Dn,vt=l(),F=a("ul"),F.innerHTML=Vn,Tt=l(),N=a("p"),N.textContent=En,wt=l(),w=a("div"),w.innerHTML=An,xt=l(),Y=a("p"),Y.innerHTML=Qn,jt=l(),K=a("p"),K.textContent=Wn,Ct=l(),O=a("p"),O.innerHTML=Bn,Jt=l(),m(ee.$$.fragment),ht=l(),m(te.$$.fragment),_t=l(),ne=a("p"),ne.innerHTML=Gn,zt=l(),se=a("p"),se.textContent=Rn,Ht=l(),le=a("p"),le.textContent=qn,Ut=l(),x=a("div"),x.innerHTML=Xn,Lt=l(),ie=a("p"),ie.innerHTML=Sn,It=l(),ae=a("p"),ae.textContent=Fn,Zt=l(),m(pe.$$.fragment),Pt=l(),re=a("p"),re.textContent=Nn,Dt=l(),me=a("ul"),me.innerHTML=Yn,Vt=l(),fe=a("p"),fe.textContent=Kn,Et=l(),m(ue.$$.fragment),At=l(),oe=a("p"),oe.innerHTML=On,Qt=l(),$e=a("p"),$e.innerHTML=es,Wt=l(),m(Me.$$.fragment),Bt=l(),be=a("p"),be.innerHTML=ts,Gt=l(),m(ce.$$.fragment),Rt=l(),ye=a("p"),ye.textContent=ns,qt=l(),m(de.$$.fragment),Xt=l(),m(ke.$$.fragment),St=l(),ge=a("p"),ge.textContent=ss,Ft=l(),m(ve.$$.fragment),Nt=l(),Te=a("p"),Te.innerHTML=ls,Yt=l(),m(we.$$.fragment),Kt=l(),m(xe.$$.fragment),Ot=l(),je=a("p"),je.innerHTML=is,en=l(),Ce=a("p"),Ce.innerHTML=as,tn=l(),Je=a("p"),Je.innerHTML=ps,nn=l(),he=a("p"),he.textContent=rs,sn=l(),m(_e.$$.fragment),ln=l(),ze=a("p"),ze.innerHTML=ms,an=l(),m(He.$$.fragment),pn=l(),Ue=a("p"),Ue.textContent=fs,rn=l(),m(Le.$$.fragment),mn=l(),Ie=a("p"),Ie.innerHTML=us,fn=l(),m(Ze.$$.fragment),un=l(),Pe=a("p"),Pe.innerHTML=os,on=l(),m(De.$$.fragment),$n=l(),m(Ve.$$.fragment),Mn=l(),Ee=a("p"),Ee.textContent=$s,bn=l(),m(j.$$.fragment),cn=l(),m(Ae.$$.fragment),yn=l(),Qe=a("p"),Qe.innerHTML=Ms,dn=l(),m(We.$$.fragment),kn=l(),m(Be.$$.fragment),gn=l(),Ge=a("p"),Ge.innerHTML=bs,vn=l(),Re=a("p"),Re.innerHTML=cs,Tn=l(),m(qe.$$.fragment),wn=l(),Se=a("p"),this.h()},l(e){const t=js("svelte-u9bgzb",document.head);b=p(t,"META",{name:!0,content:!0}),t.forEach(n),k=i(e),c=p(e,"P",{}),ks(c).forEach(n),g=i(e),f(v.$$.fragment,e),Ye=i(e),f(C.$$.fragment,e),Ke=i(e),f(J.$$.fragment,e),Oe=i(e),f(h.$$.fragment,e),et=i(e),f(_.$$.fragment,e),tt=i(e),z=p(e,"P",{"data-svelte-h":!0}),r(z)!=="svelte-11xzotb"&&(z.innerHTML=jn),nt=i(e),H=p(e,"P",{"data-svelte-h":!0}),r(H)!=="svelte-1e65ell"&&(H.textContent=Cn),st=i(e),f(U.$$.fragment,e),lt=i(e),L=p(e,"P",{"data-svelte-h":!0}),r(L)!=="svelte-1895m8n"&&(L.textContent=Jn),it=i(e),I=p(e,"P",{"data-svelte-h":!0}),r(I)!=="svelte-zdywxt"&&(I.textContent=hn),at=i(e),f(Z.$$.fragment,e),pt=i(e),f(P.$$.fragment,e),rt=i(e),D=p(e,"P",{"data-svelte-h":!0}),r(D)!=="svelte-11v1v5y"&&(D.innerHTML=_n),mt=i(e),T=p(e,"DIV",{class:!0,"data-svelte-h":!0}),r(T)!=="svelte-1od1rn"&&(T.innerHTML=zn),ft=i(e),V=p(e,"P",{"data-svelte-h":!0}),r(V)!=="svelte-rrnbyi"&&(V.innerHTML=Hn),ut=i(e),f(E.$$.fragment,e),ot=i(e),f(A.$$.fragment,e),$t=i(e),Q=p(e,"P",{"data-svelte-h":!0}),r(Q)!=="svelte-128bj3k"&&(Q.textContent=Un),Mt=i(e),W=p(e,"P",{"data-svelte-h":!0}),r(W)!=="svelte-kxioru"&&(W.textContent=Ln),bt=i(e),B=p(e,"P",{"data-svelte-h":!0}),r(B)!=="svelte-fda8ap"&&(B.innerHTML=In),ct=i(e),G=p(e,"P",{"data-svelte-h":!0}),r(G)!=="svelte-1oi0yct"&&(G.textContent=Zn),yt=i(e),R=p(e,"P",{"data-svelte-h":!0}),r(R)!=="svelte-1clmx8z"&&(R.innerHTML=Pn),dt=i(e),f(q.$$.fragment,e),kt=i(e),f(X.$$.fragment,e),gt=i(e),S=p(e,"P",{"data-svelte-h":!0}),r(S)!=="svelte-4pm7g6"&&(S.textContent=Dn),vt=i(e),F=p(e,"UL",{"data-svelte-h":!0}),r(F)!=="svelte-13g7yt6"&&(F.innerHTML=Vn),Tt=i(e),N=p(e,"P",{"data-svelte-h":!0}),r(N)!=="svelte-7e4fep"&&(N.textContent=En),wt=i(e),w=p(e,"DIV",{class:!0,"data-svelte-h":!0}),r(w)!=="svelte-1im06bx"&&(w.innerHTML=An),xt=i(e),Y=p(e,"P",{"data-svelte-h":!0}),r(Y)!=="svelte-lsgf0t"&&(Y.innerHTML=Qn),jt=i(e),K=p(e,"P",{"data-svelte-h":!0}),r(K)!=="svelte-jyvwfg"&&(K.textContent=Wn),Ct=i(e),O=p(e,"P",{"data-svelte-h":!0}),r(O)!=="svelte-1agfldf"&&(O.innerHTML=Bn),Jt=i(e),f(ee.$$.fragment,e),ht=i(e),f(te.$$.fragment,e),_t=i(e),ne=p(e,"P",{"data-svelte-h":!0}),r(ne)!=="svelte-kjplz8"&&(ne.innerHTML=Gn),zt=i(e),se=p(e,"P",{"data-svelte-h":!0}),r(se)!=="svelte-46e1v8"&&(se.textContent=Rn),Ht=i(e),le=p(e,"P",{"data-svelte-h":!0}),r(le)!=="svelte-he16mk"&&(le.textContent=qn),Ut=i(e),x=p(e,"DIV",{class:!0,"data-svelte-h":!0}),r(x)!=="svelte-g5eb4z"&&(x.innerHTML=Xn),Lt=i(e),ie=p(e,"P",{"data-svelte-h":!0}),r(ie)!=="svelte-1r77ua0"&&(ie.innerHTML=Sn),It=i(e),ae=p(e,"P",{"data-svelte-h":!0}),r(ae)!=="svelte-1qsbeze"&&(ae.textContent=Fn),Zt=i(e),f(pe.$$.fragment,e),Pt=i(e),re=p(e,"P",{"data-svelte-h":!0}),r(re)!=="svelte-n5lg65"&&(re.textContent=Nn),Dt=i(e),me=p(e,"UL",{"data-svelte-h":!0}),r(me)!=="svelte-te8c38"&&(me.innerHTML=Yn),Vt=i(e),fe=p(e,"P",{"data-svelte-h":!0}),r(fe)!=="svelte-13ggx20"&&(fe.textContent=Kn),Et=i(e),f(ue.$$.fragment,e),At=i(e),oe=p(e,"P",{"data-svelte-h":!0}),r(oe)!=="svelte-and9mz"&&(oe.innerHTML=On),Qt=i(e),$e=p(e,"P",{"data-svelte-h":!0}),r($e)!=="svelte-19od2l7"&&($e.innerHTML=es),Wt=i(e),f(Me.$$.fragment,e),Bt=i(e),be=p(e,"P",{"data-svelte-h":!0}),r(be)!=="svelte-1p993ay"&&(be.innerHTML=ts),Gt=i(e),f(ce.$$.fragment,e),Rt=i(e),ye=p(e,"P",{"data-svelte-h":!0}),r(ye)!=="svelte-xjbr5f"&&(ye.textContent=ns),qt=i(e),f(de.$$.fragment,e),Xt=i(e),f(ke.$$.fragment,e),St=i(e),ge=p(e,"P",{"data-svelte-h":!0}),r(ge)!=="svelte-4l21ns"&&(ge.textContent=ss),Ft=i(e),f(ve.$$.fragment,e),Nt=i(e),Te=p(e,"P",{"data-svelte-h":!0}),r(Te)!=="svelte-iqtpqg"&&(Te.innerHTML=ls),Yt=i(e),f(we.$$.fragment,e),Kt=i(e),f(xe.$$.fragment,e),Ot=i(e),je=p(e,"P",{"data-svelte-h":!0}),r(je)!=="svelte-1sfmta8"&&(je.innerHTML=is),en=i(e),Ce=p(e,"P",{"data-svelte-h":!0}),r(Ce)!=="svelte-op7v1f"&&(Ce.innerHTML=as),tn=i(e),Je=p(e,"P",{"data-svelte-h":!0}),r(Je)!=="svelte-x45v42"&&(Je.innerHTML=ps),nn=i(e),he=p(e,"P",{"data-svelte-h":!0}),r(he)!=="svelte-1llcaez"&&(he.textContent=rs),sn=i(e),f(_e.$$.fragment,e),ln=i(e),ze=p(e,"P",{"data-svelte-h":!0}),r(ze)!=="svelte-g0l82d"&&(ze.innerHTML=ms),an=i(e),f(He.$$.fragment,e),pn=i(e),Ue=p(e,"P",{"data-svelte-h":!0}),r(Ue)!=="svelte-1yjpgpt"&&(Ue.textContent=fs),rn=i(e),f(Le.$$.fragment,e),mn=i(e),Ie=p(e,"P",{"data-svelte-h":!0}),r(Ie)!=="svelte-d1bry2"&&(Ie.innerHTML=us),fn=i(e),f(Ze.$$.fragment,e),un=i(e),Pe=p(e,"P",{"data-svelte-h":!0}),r(Pe)!=="svelte-1yejtcm"&&(Pe.innerHTML=os),on=i(e),f(De.$$.fragment,e),$n=i(e),f(Ve.$$.fragment,e),Mn=i(e),Ee=p(e,"P",{"data-svelte-h":!0}),r(Ee)!=="svelte-1fsfgs5"&&(Ee.textContent=$s),bn=i(e),f(j.$$.fragment,e),cn=i(e),f(Ae.$$.fragment,e),yn=i(e),Qe=p(e,"P",{"data-svelte-h":!0}),r(Qe)!=="svelte-1tnt3qp"&&(Qe.innerHTML=Ms),dn=i(e),f(We.$$.fragment,e),kn=i(e),f(Be.$$.fragment,e),gn=i(e),Ge=p(e,"P",{"data-svelte-h":!0}),r(Ge)!=="svelte-z9ls3p"&&(Ge.innerHTML=bs),vn=i(e),Re=p(e,"P",{"data-svelte-h":!0}),r(Re)!=="svelte-1dwzwjp"&&(Re.innerHTML=cs),Tn=i(e),f(qe.$$.fragment,e),wn=i(e),Se=p(e,"P",{}),ks(Se).forEach(n),this.h()},h(){Fe(b,"name","hf:doc:metadata"),Fe(b,"content",Is),Fe(T,"class","flex justify-center"),Fe(w,"class","flex justify-center"),Fe(x,"class","flex justify-center")},m(e,t){Cs(document.head,b),s(e,k,t),s(e,c,t),s(e,g,t),u(v,e,t),s(e,Ye,t),u(C,e,t),s(e,Ke,t),u(J,e,t),s(e,Oe,t),u(h,e,t),s(e,et,t),u(_,e,t),s(e,tt,t),s(e,z,t),s(e,nt,t),s(e,H,t),s(e,st,t),u(U,e,t),s(e,lt,t),s(e,L,t),s(e,it,t),s(e,I,t),s(e,at,t),u(Z,e,t),s(e,pt,t),u(P,e,t),s(e,rt,t),s(e,D,t),s(e,mt,t),s(e,T,t),s(e,ft,t),s(e,V,t),s(e,ut,t),u(E,e,t),s(e,ot,t),u(A,e,t),s(e,$t,t),s(e,Q,t),s(e,Mt,t),s(e,W,t),s(e,bt,t),s(e,B,t),s(e,ct,t),s(e,G,t),s(e,yt,t),s(e,R,t),s(e,dt,t),u(q,e,t),s(e,kt,t),u(X,e,t),s(e,gt,t),s(e,S,t),s(e,vt,t),s(e,F,t),s(e,Tt,t),s(e,N,t),s(e,wt,t),s(e,w,t),s(e,xt,t),s(e,Y,t),s(e,jt,t),s(e,K,t),s(e,Ct,t),s(e,O,t),s(e,Jt,t),u(ee,e,t),s(e,ht,t),u(te,e,t),s(e,_t,t),s(e,ne,t),s(e,zt,t),s(e,se,t),s(e,Ht,t),s(e,le,t),s(e,Ut,t),s(e,x,t),s(e,Lt,t),s(e,ie,t),s(e,It,t),s(e,ae,t),s(e,Zt,t),u(pe,e,t),s(e,Pt,t),s(e,re,t),s(e,Dt,t),s(e,me,t),s(e,Vt,t),s(e,fe,t),s(e,Et,t),u(ue,e,t),s(e,At,t),s(e,oe,t),s(e,Qt,t),s(e,$e,t),s(e,Wt,t),u(Me,e,t),s(e,Bt,t),s(e,be,t),s(e,Gt,t),u(ce,e,t),s(e,Rt,t),s(e,ye,t),s(e,qt,t),u(de,e,t),s(e,Xt,t),u(ke,e,t),s(e,St,t),s(e,ge,t),s(e,Ft,t),u(ve,e,t),s(e,Nt,t),s(e,Te,t),s(e,Yt,t),u(we,e,t),s(e,Kt,t),u(xe,e,t),s(e,Ot,t),s(e,je,t),s(e,en,t),s(e,Ce,t),s(e,tn,t),s(e,Je,t),s(e,nn,t),s(e,he,t),s(e,sn,t),u(_e,e,t),s(e,ln,t),s(e,ze,t),s(e,an,t),u(He,e,t),s(e,pn,t),s(e,Ue,t),s(e,rn,t),u(Le,e,t),s(e,mn,t),s(e,Ie,t),s(e,fn,t),u(Ze,e,t),s(e,un,t),s(e,Pe,t),s(e,on,t),u(De,e,t),s(e,$n,t),u(Ve,e,t),s(e,Mn,t),s(e,Ee,t),s(e,bn,t),u(j,e,t),s(e,cn,t),u(Ae,e,t),s(e,yn,t),s(e,Qe,t),s(e,dn,t),u(We,e,t),s(e,kn,t),u(Be,e,t),s(e,gn,t),s(e,Ge,t),s(e,vn,t),s(e,Re,t),s(e,Tn,t),u(qe,e,t),s(e,wn,t),s(e,Se,t),xn=!0},p(e,[t]){const ys={};t&1&&(ys.fw=e[0]),v.$set(ys);const ds={};t&2&&(ds.$$scope={dirty:t,ctx:e}),j.$set(ds)},i(e){xn||(o(v.$$.fragment,e),o(C.$$.fragment,e),o(J.$$.fragment,e),o(h.$$.fragment,e),o(_.$$.fragment,e),o(U.$$.fragment,e),o(Z.$$.fragment,e),o(P.$$.fragment,e),o(E.$$.fragment,e),o(A.$$.fragment,e),o(q.$$.fragment,e),o(X.$$.fragment,e),o(ee.$$.fragment,e),o(te.$$.fragment,e),o(pe.$$.fragment,e),o(ue.$$.fragment,e),o(Me.$$.fragment,e),o(ce.$$.fragment,e),o(de.$$.fragment,e),o(ke.$$.fragment,e),o(ve.$$.fragment,e),o(we.$$.fragment,e),o(xe.$$.fragment,e),o(_e.$$.fragment,e),o(He.$$.fragment,e),o(Le.$$.fragment,e),o(Ze.$$.fragment,e),o(De.$$.fragment,e),o(Ve.$$.fragment,e),o(j.$$.fragment,e),o(Ae.$$.fragment,e),o(We.$$.fragment,e),o(Be.$$.fragment,e),o(qe.$$.fragment,e),xn=!0)},o(e){$(v.$$.fragment,e),$(C.$$.fragment,e),$(J.$$.fragment,e),$(h.$$.fragment,e),$(_.$$.fragment,e),$(U.$$.fragment,e),$(Z.$$.fragment,e),$(P.$$.fragment,e),$(E.$$.fragment,e),$(A.$$.fragment,e),$(q.$$.fragment,e),$(X.$$.fragment,e),$(ee.$$.fragment,e),$(te.$$.fragment,e),$(pe.$$.fragment,e),$(ue.$$.fragment,e),$(Me.$$.fragment,e),$(ce.$$.fragment,e),$(de.$$.fragment,e),$(ke.$$.fragment,e),$(ve.$$.fragment,e),$(we.$$.fragment,e),$(xe.$$.fragment,e),$(_e.$$.fragment,e),$(He.$$.fragment,e),$(Le.$$.fragment,e),$(Ze.$$.fragment,e),$(De.$$.fragment,e),$(Ve.$$.fragment,e),$(j.$$.fragment,e),$(Ae.$$.fragment,e),$(We.$$.fragment,e),$(Be.$$.fragment,e),$(qe.$$.fragment,e),xn=!1},d(e){e&&(n(k),n(c),n(g),n(Ye),n(Ke),n(Oe),n(et),n(tt),n(z),n(nt),n(H),n(st),n(lt),n(L),n(it),n(I),n(at),n(pt),n(rt),n(D),n(mt),n(T),n(ft),n(V),n(ut),n(ot),n($t),n(Q),n(Mt),n(W),n(bt),n(B),n(ct),n(G),n(yt),n(R),n(dt),n(kt),n(gt),n(S),n(vt),n(F),n(Tt),n(N),n(wt),n(w),n(xt),n(Y),n(jt),n(K),n(Ct),n(O),n(Jt),n(ht),n(_t),n(ne),n(zt),n(se),n(Ht),n(le),n(Ut),n(x),n(Lt),n(ie),n(It),n(ae),n(Zt),n(Pt),n(re),n(Dt),n(me),n(Vt),n(fe),n(Et),n(At),n(oe),n(Qt),n($e),n(Wt),n(Bt),n(be),n(Gt),n(Rt),n(ye),n(qt),n(Xt),n(St),n(ge),n(Ft),n(Nt),n(Te),n(Yt),n(Kt),n(Ot),n(je),n(en),n(Ce),n(tn),n(Je),n(nn),n(he),n(sn),n(ln),n(ze),n(an),n(pn),n(Ue),n(rn),n(mn),n(Ie),n(fn),n(un),n(Pe),n(on),n($n),n(Mn),n(Ee),n(bn),n(cn),n(yn),n(Qe),n(dn),n(kn),n(gn),n(Ge),n(vn),n(Re),n(Tn),n(wn),n(Se)),n(b),M(v,e),M(C,e),M(J,e),M(h,e),M(_,e),M(U,e),M(Z,e),M(P,e),M(E,e),M(A,e),M(q,e),M(X,e),M(ee,e),M(te,e),M(pe,e),M(ue,e),M(Me,e),M(ce,e),M(de,e),M(ke,e),M(ve,e),M(we,e),M(xe,e),M(_e,e),M(He,e),M(Le,e),M(Ze,e),M(De,e),M(Ve,e),M(j,e),M(Ae,e),M(We,e),M(Be,e),M(qe,e)}}}const Is='{"title":"టోకనైజర్లు","local":"tokenizers","sections":[{"title":"పదాల ఆధారంగా","local":"word-based","sections":[],"depth":2},{"title":"అక్షరాల ఆధారంగా","local":"character-based","sections":[],"depth":2},{"title":"సబ్‌వర్డ్ టోకనైజేషన్","local":"subword-tokenization","sections":[{"title":"ఇంకా చాలా!","local":"and-more","sections":[],"depth":3}],"depth":2},{"title":"లోడ్ చేయడం మరియు సేవ్ చేయడం","local":"loading-and-saving","sections":[],"depth":2},{"title":"Encoding","local":"encoding","sections":[{"title":"Tokenization","local":"tokenization","sections":[],"depth":3},{"title":"Tokens నుండి input IDs వరకు","local":"from-tokens-to-input-ids","sections":[],"depth":3}],"depth":2},{"title":"Decoding","local":"decoding","sections":[],"depth":2}],"depth":1}';function Zs(Xe,b,k){let c="pt";return vs(()=>{const g=new URLSearchParams(window.location.search);k(0,c=g.get("fw")||"pt")}),[c]}class Gs extends ws{constructor(b){super(),xs(this,b,Zs,Ls,gs,{})}}export{Gs as component};