course/pr_1139/my/_app/immutable/nodes/67.76e86efe.js

import{s as Ee,n as qe,o as Me}from"../chunks/scheduler.893fe8c9.js";import{S as Re,i as Ce,e as D,s as o,c as s,h as Se,a as G,d as n,b as r,f as ve,g as a,j as _e,k as Te,l as Be,m as i,n as l,t as m,o as g,p}from"../chunks/index.b1df2166.js";import{C as Le,H as $,E as Ue}from"../chunks/MermaidChart.svelte_svelte_type_style_lang.6c99a5ee.js";import{C as We}from"../chunks/CourseFloatingBanner.c1c08878.js";import{Q as u}from"../chunks/Question.ea6d4cb0.js";function Xe(ye){let f,O,H,Q,d,V,c,j,x,J,k,he="ဒီအခန်းမှာ သင်ယူခဲ့တာတွေကို စစ်ဆေးကြည့်ရအောင်။",K,z,Y,w,Z,b,ee,y,te,h,ne,P,ie,v,oe,_,re,T,se,E,ae,q,le,M,me,R,ge,C,pe,S,$e,B,ue,L,fe,U,de,W,ce,X,xe,N,ke,A,Pe="<li><strong>Tokenizer</strong>: စာသား (သို့မဟုတ် အခြားဒေတာ) ကို AI မော်ဒယ်များ စီမံဆောင်ရွက်နိုင်ရန် tokens တွေအဖြစ် ပိုင်းခြားပေးသည့် ကိရိယာ သို့မဟုတ် လုပ်ငန်းစဉ်။</li> <li><strong>Pretrain</strong>: Model တစ်ခုကို အကြီးစားဒေတာများဖြင့် အစောပိုင်းကတည်းက လေ့ကျင့်ထားခြင်း။</li> <li><strong>Dataset</strong>: AI မော်ဒယ်တွေ လေ့ကျင့်ဖို့အတွက် အသုံးပြုတဲ့ ဒေတာအစုအဝေးတစ်ခုပါ။</li> <li><strong>Fine-tune</strong>: ကြိုတင်လေ့ကျင့်ထားပြီးသား (pre-trained) မော်ဒယ်တစ်ခုကို သီးခြားလုပ်ငန်းတစ်ခု (specific task) အတွက် အနည်းငယ်သော ဒေတာနဲ့ ထပ်မံလေ့ကျင့်ပေးခြင်းကို ဆိုလိုပါတယ်။</li> <li><strong>Compute Resources</strong>: ကွန်ပျူတာ၏ တွက်ချက်နိုင်စွမ်း (CPU, GPU, RAM)။</li> <li><strong>Generator</strong>: Python တွင် iteration လုပ်နိုင်သော object တစ်ခုဖြစ်ပြီး ၎င်းသည် အရာအားလုံးကို memory ထဲသို့ တစ်ပြိုင်နက်တည်း သိမ်းဆည်းမထားဘဲ လိုအပ်သလို တန်ဖိုးများကို ထုတ်ပေးသည်။</li> <li><strong><code>train_new_from_iterator()</code></strong>: 🤗 Tokenizers library မှ tokenizer အသစ်တစ်ခုကို iterator (ဥပမာ- generator) မှ data ကို အသုံးပြု၍ လေ့ကျင့်သော method။</li> <li><strong>Memory</strong>: ကွန်ပျူတာ၏ RAM (Random Access Memory)။</li> <li><strong>🤗 Datasets Library</strong>: Hugging Face က ထုတ်လုပ်ထားတဲ့ library တစ်ခုဖြစ်ပြီး AI မော်ဒယ်တွေ လေ့ကျင့်ဖို့အတွက် ဒေတာအစုအဝေး (datasets) တွေကို လွယ်လွယ်ကူကူ ဝင်ရောက်ရယူ၊ စီမံခန့်ခွဲပြီး အသုံးပြုနိုင်စေပါတယ်။</li> <li><strong>🤗 Tokenizers Library</strong>: Rust ဘာသာနဲ့ ရေးသားထားတဲ့ Hugging Face library တစ်ခုဖြစ်ပြီး မြန်ဆန်ထိရောက်တဲ့ tokenization ကို လုပ်ဆောင်ပေးသည်။</li> <li><strong>Multiprocessing</strong>: ကွန်ပျူတာ၏ processors အများအပြားကို အသုံးပြု၍ လုပ်ငန်းများကို တစ်ပြိုင်နက်တည်း လုပ်ဆောင်ခြင်း။</li> <li><strong>Language Model</strong>: လူသားဘာသာစကား၏ ဖြန့်ဝေမှုကို နားလည်ရန် လေ့ကျင့်ထားသော AI မော်ဒယ်တစ်ခု။ ၎င်းသည် စာသားထုတ်လုပ်ခြင်း၊ ဘာသာပြန်ခြင်း စသည့်လုပ်ငန်းများတွင် အသုံးပြုနိုင်သည်။</li> <li><strong>“Fast” Tokenizer</strong>: Rust ဘာသာစကားဖြင့် အကောင်အထည်ဖော်ထားသော tokenizer ဖြစ်ပြီး Python-based “slow” tokenizers များထက် အလွန်မြန်ဆန်သည်။</li> <li><strong>“Slow” Tokenizer</strong>: Python ဘာသာစကားဖြင့် အကောင်အထည်ဖော်ထားသော tokenizer။</li> <li><strong>Batch (of inputs)</strong>: မတူညီသော input များစွာကို တစ်ပြိုင်နက်တည်း လုပ်ဆောင်နိုင်ရန် အုပ်စုဖွဲ့ခြင်း။</li> <li><strong>Parallelism</strong>: လုပ်ငန်းများစွာကို တစ်ပြိုင်နက်တည်း လုပ်ဆောင်ခြင်း။</li> <li><strong>Rust</strong>: System programming language တစ်ခုဖြစ်ပြီး performance မြင့်မားသော applications များ တည်ဆောက်ရာတွင် အသုံးပြုသည်။</li> <li><strong>Padding</strong>: input sequences များ၏ အရှည်ကို တူညီစေရန်အတွက် အပို tokens များ ထည့်သွင်းခြင်း။</li> <li><strong>Truncation</strong>: input sequences များကို သတ်မှတ်ထားသော အရှည်တစ်ခုအထိ ဖြတ်တောက်ခြင်း။</li> <li><strong>Offset Mappings</strong>: token တစ်ခုစီသည် မူရင်းစာသား၏ မည်သည့်စတင်ခြင်းနှင့် အဆုံးသတ် character index များကြားတွင် ရှိနေသည်ကို ဖော်ပြသော map။</li> <li><strong><code>token-classification</code> Pipeline</strong>: <code>pipeline()</code> function ကို အသုံးပြု၍ token classification task ကို လုပ်ဆောင်ရန် တည်ဆောက်ထားသော pipeline။</li> <li><strong>Entities</strong>: Named Entity Recognition (NER) တွင် ဖော်ထုတ်ရမည့် အရာများ (ဥပမာ- လူပုဂ္ဂိုလ်၊ နေရာဒေသ၊ အဖွဲ့အစည်း)။</li> <li><strong>Label</strong>: Classification task တစ်ခုတွင် data point တစ်ခုအား သတ်မှတ်ထားသော အမျိုးအစား။</li> <li><strong><code>B-XXX</code> Label</strong>: Named Entity Recognition (NER) တွင် entity အမျိုးအစား <code>XXX</code> ၏ စတင်ခြင်း token ကို ကိုယ်စားပြုသော label (“Beginning” of entity)။</li> <li><strong><code>I-XXX</code> Label</strong>: Named Entity Recognition (NER) တွင် entity အမျိုးအစား <code>XXX</code> ၏ အတွင်းပိုင်း token ကို ကိုယ်စားပြုသော label (“Inside” entity)။</li> <li><strong><code>question-answering</code> Pipeline</strong>: <code>pipeline()</code> function ကို အသုံးပြု၍ question answering task ကို လုပ်ဆောင်ရန် တည်ဆောက်ထားသော pipeline။</li> <li><strong>Contexts</strong>: Question answering task တွင် မေးခွန်းအတွက် အဖြေပါဝင်နိုင်သည့် စာသားအပိုဒ်။</li> <li><strong>Truncate (Context)</strong>: ရှည်လျားသော context ကို model ၏ maximum length အထိ ဖြတ်တောက်ခြင်း။</li> <li><strong>Overlap (Context)</strong>: ရှည်လျားသော context ကို အပိုင်းပိုင်းပိုင်းဖြတ်ရာတွင် အပိုင်းများကြားတွင် တူညီသော စာသားအချို့ ထပ်နေခြင်း။</li> <li><strong>Normalization</strong>: စာသားကို သန့်ရှင်းရေးလုပ်ခြင်း (ဥပမာ- needless whitespace ဖယ်ရှားခြင်း၊ lowercasing, accents ဖယ်ရှားခြင်း)။</li> <li><strong>Data Augmentation</strong>: datasets ၏ အရွယ်အစားနှင့် မတူကွဲပြားမှုကို တိုးမြှင့်ရန်အတွက် လက်ရှိဒေတာကို ပြောင်းလဲခြင်း သို့မဟုတ် ဒေတာအသစ်များ ဖန်တီးခြင်းနည်းလမ်း။</li> <li><strong>Rare Words</strong>: corpus ထဲတွင် အကြိမ်ရေနည်းပါးစွာသာ ပေါ်ပေါက်သော စကားလုံးများ။</li> <li><strong>Post-processing</strong>: Model ၏ output များကို နောက်ဆုံးအသုံးပြုမှုအတွက် ပြင်ဆင်ခြင်း လုပ်ငန်းစဉ်။</li> <li><strong>Embeddings</strong>: စကားလုံးများ၊ စာကြောင်းများ သို့မဟုတ် အခြားဒေတာများကို ဂဏန်းဆိုင်ရာ vector များအဖြစ် ကိုယ်စားပြုခြင်း။</li> <li><strong>Mean (Average)</strong>: ပျမ်းမျှတန်ဖိုး။</li> <li><strong>Standard Deviation (Std)</strong>: data points များသည် mean (ပျမ်းမျှ) မှ မည်မျှကွာဝေးနေသည်ကို တိုင်းတာသော သင်္ချာဆိုင်ရာတန်ဖိုး။</li> <li><strong>Pixel Values</strong>: ပုံရိပ်တစ်ခုရှိ pixel တစ်ခုစီ၏ အရောင် သို့မဟုတ် အလင်းအမှောင် တန်ဖိုးများ။</li> <li><strong>Computer Vision</strong>: ကွန်ပျူတာများကို ပုံရိပ်များ သို့မဟုတ် ဗီဒီယိုများမှ အချက်အလက်များ နားလည်စေရန် သင်ကြားပေးခြင်း။</li> <li><strong>Pre-tokenization</strong>: Subword tokenization မလုပ်ဆောင်မီ စာသားကို ပိုမိုသေးငယ်သော entities (ဥပမာ- words) အဖြစ် အကြိုပိုင်းခြားခြင်း။</li> <li><strong>Subword Tokenizer</strong>: စကားလုံးများကို သေးငယ်သော subword units (ဥပမာ- word pieces, byte-pair encodings) များအဖြစ် ပိုင်းခြားသော tokenizer။</li> <li><strong>Masking (Random Masking)</strong>: data augmentation technique တစ်ခုဖြစ်ပြီး input data အစိတ်အပိုင်းအချို့ကို ကျပန်းဖုံးကွယ်ထားခြင်း။</li> <li><strong>Tokenizer Model</strong>: Tokenization လုပ်ငန်းစဉ်ကို လုပ်ဆောင်ပေးသော model။</li> <li><strong>BPE (Byte-Pair Encoding)</strong>: Subword tokenization algorithm တစ်မျိုး။ small vocabulary မှ စတင်ပြီး အများဆုံးဖြစ်ပေါ်သော tokens တွဲများကို merge လုပ်ခြင်းဖြင့် merge rules များကို သင်ယူသည်။ words များကို characters များအဖြစ် ပိုင်းခြားပြီး merge rules များကို အသုံးပြု၍ subwords များအဖြစ် tokenize လုပ်သည်။</li> <li><strong>Vocabulary</strong>: tokenizer သို့မဟုတ် model တစ်ခုက သိရှိနားလည်ပြီး ကိုင်တွယ်နိုင်သော ထူးခြားသည့် tokens များ စုစုပေါင်း။</li> <li><strong>Merge Rules</strong>: BPE နှင့် WordPiece algorithm များတွင် tokens များကို ပေါင်းစပ်ရန် သင်ယူထားသော စည်းမျဉ်းများ။</li> <li><strong>WordPiece</strong>: Subword tokenization algorithm တစ်မျိုး။ small vocabulary မှ စတင်ပြီး အကြိမ်များစွာ ဖြစ်ပေါ်ပြီး တစ်ဦးချင်းစီ အစိတ်အပိုင်းတွေက နည်းနည်းပဲ ဖြစ်ပေါ်တဲ့ pairs တွေကို အလေးပေးတဲ့ score တစ်ခုကို အမြင့်ဆုံးဖြစ်စေမယ့် tokens တွဲကို merge လုပ်ခြင်းဖြင့် merge rules များကို သင်ယူသည်။ words များကို vocabulary ထဲမှာရှိတဲ့ word ရဲ့ အစကနေ စတင်တဲ့ အရှည်ဆုံး subword ကို ရှာဖွေပြီး၊ ကျန်တဲ့ text အတွက် လုပ်ငန်းစဉ်ကို ထပ်ခါတလဲလဲ လုပ်ဆောင်ခြင်းဖြင့် subwords တွေအဖြစ် tokenize လုပ်သည်။</li> <li><strong>Segmentation</strong>: စာသားတစ်ခုကို သေးငယ်သော အစိတ်အပိုင်းများ (ဥပမာ- tokens) အဖြစ် ပိုင်းခြားခြင်း။</li> <li><strong>Unigram</strong>: Subword tokenization algorithm တစ်မျိုး။ big vocabulary မှ စတင်ပြီး whole corpus ပေါ်မှာ တွက်ချက်ထားတဲ့ loss ကို အနည်းဆုံးဖြစ်စေမယ့် tokens တွေကို ဖယ်ရှားခြင်းဖြင့် vocabulary ကို လိုက်လျောညီထွေဖြစ်အောင် ပြောင်းလဲသည်။ words တွေကို model အရ tokens တွေအဖြစ် အများဆုံး ဖြစ်နိုင်ခြေရှိတဲ့ segmentation ကို ရှာဖွေခြင်းဖြင့် subwords တွေအဖြစ် tokenize လုပ်သည်။</li> <li><strong>Loss (Corpus Loss)</strong>: Model ၏ ခန့်မှန်းချက်များနှင့် အမှန်တကယ် labels များကြား ကွာခြားမှုကို whole corpus တစ်ခုလုံးအတွက် တိုင်းတာသော တန်ဖိုး။</li>",ze,F,we,I,be;return d=new Le({props:{containerStyle:"float: right; margin-left: 10px; display: inline-flex; position: relative; z-index: 10;"}}),c=new $({props:{title:"အခန်း (၆) ဆိုင်ရာ မေးခွန်းများ",local:"end-of-chapter-quiz",headingTag:"h1"}}),x=new We({props:{chapter:6,classNames:"absolute z-10 right-0 top-0"}}),z=new $({props:{title:"၁။ Tokenizer အသစ်တစ်ခုကို ဘယ်အချိန်မှာ train လုပ်သင့်သလဲ။",local:"၁-tokenizer-အသစတစခက-ဘယအခနမ-train-လပသငသလ",headingTag:"h3"}}),w=new u({props:{choices:[{text:"သင့် dataset က လက်ရှိ pretrained model တစ်ခုက အသုံးပြုတဲ့ dataset နဲ့ ဆင်တူပြီး၊ model အသစ်တစ်ခုကို pretrain လုပ်ချင်တဲ့အခါ။",explain:"ဒီကိစ္စမှာ၊ အချိန်နဲ့ compute resources တွေကို ချွေတာဖို့အတွက်၊ pretrained model ရဲ့ tokenizer တူတူကို အသုံးပြုပြီး အဲဒီ model ကို fine-tune လုပ်တာက ပိုကောင်းတဲ့ ရွေးချယ်မှုဖြစ်ပါလိမ့်မယ်။"},{text:"သင့် dataset က လက်ရှိ pretrained model တစ်ခုက အသုံးပြုတဲ့ dataset နဲ့ ဆင်တူပြီး၊ ဒီ pretrained model ကို အသုံးပြုပြီး model အသစ်တစ်ခုကို fine-tune လုပ်ချင်တဲ့အခါ။",explain:"pretrained model တစ်ခုကနေ model တစ်ခုကို fine-tune လုပ်ဖို့အတွက်၊ သင်ဟာ အမြဲတမ်း tokenizer တူတူကို အသုံးပြုသင့်ပါတယ်။"},{text:"သင့် dataset က လက်ရှိ pretrained model တစ်ခုက အသုံးပြုတဲ့ dataset နဲ့ ကွဲပြားပြီး၊ model အသစ်တစ်ခုကို pretrain လုပ်ချင်တဲ့အခါ။",explain:"မှန်ပါတယ်။ ဒီကိစ္စမှာ tokenizer တူတူကို အသုံးပြုခြင်းက အကျိုးကျေးဇူး မရှိပါဘူး။",correct:!0},{text:"သင့် dataset က လက်ရှိ pretrained model တစ်ခုက အသုံးပြုတဲ့ dataset နဲ့ ကွဲပြားပြီး၊ ဒီ pretrained model ကို အသုံးပြုပြီး model အသစ်တစ်ခုကို fine-tune လုပ်ချင်တဲ့အခါ။",explain:"pretrained model တစ်ခုကနေ model တစ်ခုကို fine-tune လုပ်ဖို့အတွက်၊ သင်ဟာ အမြဲတမ်း tokenizer တူတူကို အသုံးပြုသင့်ပါတယ်။"}]}}),b=new $({props:{title:"၂။ train_new_from_iterator() ကို အသုံးပြုတဲ့အခါ list of lists of texts တွေနဲ့ နှိုင်းယှဉ်ရင် generator of lists of texts တွေကို အသုံးပြုခြင်းရဲ့ အကျိုးကျေးဇူးက ဘာလဲ။",local:"၂-trainnewfromiterator-က-အသပတအခ-list-of-lists-of-texts-တန-နငယဉရင-generator-of-lists-of-texts-တက-အသပခငရ-အကကဇက-ဘလ",headingTag:"h3"}}),y=new u({props:{choices:[{text:"ဒါက <code>train_new_from_iterator()</code> method က လက်ခံတဲ့ တစ်ခုတည်းသော အမျိုးအစားပါ။",explain:"list of lists of texts တွေက generator of lists of texts တွေရဲ့ သီးခြားအမျိုးအစားတစ်ခုဖြစ်တာကြောင့်၊ method က ဒါကိုလည်း လက်ခံပါလိမ့်မယ်။ ထပ်ကြိုးစားပါ။"},{text:"dataset တစ်ခုလုံးကို memory ထဲကို တစ်ပြိုင်နက်တည်း loading လုပ်တာကို ရှောင်ရှားပါလိမ့်မယ်။",explain:"မှန်ပါတယ်။ texts တွေရဲ့ batch တစ်ခုစီကို သင် iterate လုပ်တဲ့အခါ memory ကနေ release လုပ်ပါလိမ့်မယ်၊ ပြီးတော့ သင် 🤗 Datasets ကို သင့် texts တွေကို သိမ်းဆည်းဖို့ အသုံးပြုရင် အကျိုးကျေးဇူးက အထူးသဖြင့် မြင်သာပါလိမ့်မယ်။",correct:!0},{text:"ဒါက 🤗 Tokenizers library ကို multiprocessing အသုံးပြုနိုင်စေပါလိမ့်မယ်။",explain:"မဟုတ်ပါဘူး၊ ဒါက ဘယ်လိုပဲဖြစ်ဖြစ် multiprocessing ကို အသုံးပြုပါလိမ့်မယ်။"},{text:"သင် train လုပ်တဲ့ tokenizer က ပိုကောင်းတဲ့ texts တွေကို ထုတ်လုပ်ပါလိမ့်မယ်။",explain:"tokenizer က text ကို ထုတ်လုပ်တာ မဟုတ်ပါဘူး -- သင် ဒါကို language model နဲ့ မှားနေတာလား။"}]}}),h=new $({props:{title:"၃။ “Fast” tokenizer တစ်ခုကို အသုံးပြုခြင်းရဲ့ အကျိုးကျေးဇူးတွေက ဘာတွေလဲ။",local:"၃-fast-tokenizer-တစခက-အသပခငရ-အကကဇတက-ဘတလ",headingTag:"h3"}}),P=new u({props:{choices:[{text:"inputs အများအပြားကို batch အလိုက် စုစည်းပြီး လုပ်ဆောင်တဲ့အခါ slow tokenizer ထက် ပိုမြန်မြန် လုပ်ဆောင်နိုင်ပါတယ်။",explain:"မှန်ပါတယ်။ Rust မှာ implement လုပ်ထားတဲ့ parallelism ကြောင့်၊ inputs batches တွေပေါ်မှာ ပိုမြန်ပါလိမ့်မယ်။ တခြားဘယ်အကျိုးကျေးဇူးကို သင်စဉ်းစားနိုင်သေးလဲ။",correct:!0},{text:"Fast tokenizers တွေက ၎င်းတို့ရဲ့ slow counterparts တွေထက် အမြဲတမ်း ပိုမြန်မြန် tokenize လုပ်ပါတယ်။",explain:"fast tokenizer က text တစ်ခုတည်း ဒါမှမဟုတ် နည်းနည်းပဲ ပေးတဲ့အခါ ပိုနှေးနိုင်ပါတယ်၊ ဘာလို့လဲဆိုတော့ parallelism ကို အသုံးပြုလို့ မရလို့ပါ။"},{text:"ဒါက padding နဲ့ truncation ကို အသုံးပြုနိုင်ပါတယ်။",explain:"မှန်ပါတယ်၊ ဒါပေမယ့် slow tokenizers တွေလည်း အဲဒါကို လုပ်ပါတယ်။"},{text:"ဒါက tokens တွေကို ၎င်းတို့ကို ဖန်တီးခဲ့တဲ့ text span နဲ့ map လုပ်နိုင်စေတဲ့ ထပ်ဆောင်း features တွေ ရှိပါတယ်။",explain:"ဟုတ်ပါတယ်။ ဒါတွေကို offset mappings လို့ ခေါ်ပါတယ်။ ဒါပေမယ့် ဒါတစ်ခုတည်းသော အကျိုးကျေးဇူးတော့ မဟုတ်ပါဘူး။",correct:!0}]}}),v=new $({props:{title:"၄။ token-classification pipeline က tokens အများအပြားကို ဖြန့်ကျက်ထားတဲ့ entities တွေကို ဘယ်လို ကိုင်တွယ်ဖြေရှင်းလဲ။",local:"၄-token-classification-pipeline-က-tokens-အမအပက-ဖနကကထတ-entities-တက-ဘယလ-ကငတယဖရငလ",headingTag:"h3"}}),_=new u({props:{choices:[{text:"တူညီတဲ့ label ရှိတဲ့ entities တွေကို entity တစ်ခုတည်းအဖြစ် ပေါင်းစပ်ပါတယ်။",explain:"ဒါက အရာတွေကို နည်းနည်းလေး ရိုးရှင်းလွန်းအောင် ပြောတာပါပဲ။ ထပ်ကြိုးစားပါ။"},{text:"entity ရဲ့ အစအတွက် label တစ်ခုနဲ့ entity ရဲ့ ဆက်လက်ဖြစ်ပေါ်မှုအတွက် label တစ်ခု ရှိပါတယ်။",explain:"မှန်ပါတယ်။",correct:!0},{text:"ပေးထားတဲ့ word တစ်ခုမှာ၊ ပထမဆုံး token မှာ entity ရဲ့ label ရှိနေသရွေ့၊ word တစ်ခုလုံးကို အဲဒီ entity နဲ့ label လုပ်ထားတယ်လို့ သတ်မှတ်ပါတယ်။",explain:"ဒါက entities တွေကို ကိုင်တွယ်တဲ့ strategy တစ်ခုပါ။ ဒီနေရာမှာ တခြားဘယ်အဖြေတွေက သက်ဆိုင်လဲ။",correct:!0},{text:"token တစ်ခုမှာ ပေးထားတဲ့ entity ရဲ့ label ရှိနေတဲ့အခါ၊ အဲဒီနောက်မှာ လိုက်လာတဲ့ တူညီတဲ့ label ရှိတဲ့ တခြား token မှန်သမျှကို entity အသစ်တစ်ခုရဲ့ အစအဖြစ် label မလုပ်ထားသရွေ့ တူညီတဲ့ entity ရဲ့ အစိတ်အပိုင်းအဖြစ် သတ်မှတ်ပါတယ်။",explain:"ဒါက entities တွေကို အတူတကွ အုပ်စုဖွဲ့ဖို့ အသုံးအများဆုံး နည်းလမ်းပါ -- ဒါပေမယ့် ဒါတစ်ခုတည်းတော့ အဖြေမှန် မဟုတ်ပါဘူး။",correct:!0}]}}),T=new $({props:{title:"၅။ question-answering pipeline က ရှည်လျားတဲ့ contexts တွေကို ဘယ်လို ကိုင်တွယ်ဖြေရှင်းလဲ။",local:"၅-question-answering-pipeline-က-ရညလတ-contexts-တက-ဘယလ-ကငတယဖရငလ",headingTag:"h3"}}),E=new u({props:{choices:[{text:"ဒါက တကယ်တမ်း ကိုင်တွယ်ဖြေရှင်းတာ မဟုတ်ပါဘူး၊ ဘာလို့လဲဆိုတော့ model က လက်ခံတဲ့ အမြင့်ဆုံးအရှည်မှာ ရှည်လျားတဲ့ context ကို truncate လုပ်လို့ပါ။",explain:"ရှည်လျားတဲ့ contexts တွေကို ကိုင်တွယ်ဖို့ သင်အသုံးပြုနိုင်တဲ့ trick တစ်ခုရှိပါတယ်။ ဒါက ဘာလဲဆိုတာ သင်မှတ်မိလား။"},{text:"ဒါက context ကို အစိတ်အပိုင်းများစွာအဖြစ် ပိုင်းခြားပြီး ရရှိတဲ့ ရလဒ်တွေကို ပျမ်းမျှယူပါတယ်။",explain:"မဟုတ်ပါဘူး၊ အဖြေမပါဝင်တဲ့ context အစိတ်အပိုင်းအချို့ရှိနေမှာဖြစ်တာကြောင့် ရလဒ်တွေကို ပျမ်းမျှယူတာ အဓိပ္ပာယ်ရှိမှာ မဟုတ်ပါဘူး။"},{text:"ဒါက context ကို အစိတ်အပိုင်းများစွာအဖြစ် ပိုင်းခြားပြီး (overlap ပါဝင်ပြီး) အစိတ်အပိုင်းတစ်ခုစီမှာ အဖြေအတွက် အမြင့်ဆုံး score ကို ရှာဖွေပါတယ်။",explain:"ဒါက မှန်ကန်တဲ့ အဖြေပါ!",correct:!0},{text:"ဒါက context ကို အစိတ်အပိုင်းများစွာအဖြစ် ပိုင်းခြားပြီး (ထိရောက်မှုအတွက် overlap မပါဘဲ) အစိတ်အပိုင်းတစ်ခုစီမှာ အဖြေအတွက် အမြင့်ဆုံး score ကို ရှာဖွေပါတယ်။",explain:"မဟုတ်ပါဘူး၊ အဖြေက အစိတ်အပိုင်းနှစ်ခုကြားမှာ ကွဲသွားနိုင်တဲ့ အခြေအနေကို ရှောင်ရှားဖို့အတွက် အစိတ်အပိုင်းတွေကြားမှာ overlap အချို့ ပါဝင်ပါတယ်။"}]}}),q=new $({props:{title:"၆။ Normalization ဆိုတာ ဘာလဲ။",local:"၆-normalization-ဆတ-ဘလ",headingTag:"h3"}}),M=new u({props:{choices:[{text:"ဒါက tokenizer က ကနဦးအဆင့်တွေမှာ texts တွေပေါ်မှာ လုပ်ဆောင်တဲ့ မည်သည့် သန့်ရှင်းရေးမဆို။",explain:"မှန်ပါတယ်။ ဥပမာ- accents တွေ ဒါမှမဟုတ် whitespace တွေ ဖယ်ရှားတာ၊ ဒါမှမဟုတ် inputs တွေကို lowercasing လုပ်တာ ပါဝင်နိုင်ပါတယ်။",correct:!0},{text:"ဒါက data augmentation technique တစ်ခုဖြစ်ပြီး ရှားပါးတဲ့ words တွေကို ဖယ်ရှားခြင်းဖြင့် text ကို ပိုမို normal ဖြစ်အောင် လုပ်ဆောင်တာပါ။",explain:"ဒါက မမှန်ပါဘူး! ထပ်ကြိုးစားပါ။"},{text:"ဒါက tokenizer က special tokens တွေကို ထည့်သွင်းတဲ့ နောက်ဆုံး post-processing အဆင့်ပါ။",explain:"အဲဒီအဆင့်ကို ရိုးရှင်းစွာ post-processing လို့ခေါ်ပါတယ်။"},{text:"ဒါက embeddings တွေကို mean 0 နဲ့ standard deviation 1 ဖြစ်အောင်၊ mean ကို နှုတ်ပြီး std နဲ့ ပိုင်းခြင်းဖြင့် လုပ်ဆောင်တာပါ။",explain:"အဲဒီလုပ်ငန်းစဉ်ကို computer vision မှာ pixel values တွေပေါ်မှာ အသုံးပြုတဲ့အခါ normalization လို့ အများအားဖြင့် ခေါ်ပါတယ်၊ ဒါပေမယ့် NLP မှာ normalization ရဲ့ အဓိပ္ပာယ် မဟုတ်ပါဘူး။"}]}}),R=new $({props:{title:"၇။ Subword tokenizer အတွက် pre-tokenization ဆိုတာဘာလဲ။",local:"၇-subword-tokenizer-အတက-pre-tokenization-ဆတဘလ",headingTag:"h3"}}),C=new u({props:{choices:[{text:"ဒါက tokenization မတိုင်မီ အဆင့်ဖြစ်ပြီး data augmentation (random masking လိုမျိုး) ကို အသုံးပြုတာပါ။",explain:"မဟုတ်ပါဘူး၊ အဲဒီအဆင့်က preprocessing ရဲ့ အစိတ်အပိုင်းတစ်ခုပါ။"},{text:"ဒါက tokenization မတိုင်မီ အဆင့်ဖြစ်ပြီး လိုအပ်တဲ့ သန့်ရှင်းရေးလုပ်ငန်းတွေကို text ပေါ်မှာ အသုံးပြုတာပါ။",explain:"မဟုတ်ပါဘူး၊ ဒါက normalization အဆင့်ပါ။"},{text:"ဒါက tokenizer model ကို အသုံးမပြုမီ အဆင့်ဖြစ်ပြီး input ကို words တွေအဖြစ် ပိုင်းခြားဖို့ပါ။",explain:"ဒါက မှန်ကန်တဲ့ အဖြေပါ!",correct:!0},{text:"ဒါက tokenizer model ကို အသုံးမပြုမီ အဆင့်ဖြစ်ပြီး input ကို tokens တွေအဖြစ် ပိုင်းခြားဖို့ပါ။",explain:"မဟုတ်ပါဘူး၊ tokens တွေအဖြစ် ပိုင်းခြားတာက tokenizer model ရဲ့ အလုပ်ပါ။"}]}}),S=new $({props:{title:"၈။ BPE tokenization model နဲ့ သက်ဆိုင်တဲ့ စာကြောင်းတွေကို ရွေးချယ်ပါ။",local:"၈-bpe-tokenization-model-န-သကဆငတ-စကငတက-ရခယပ",headingTag:"h3"}}),B=new u({props:{choices:[{text:"BPE ဟာ small vocabulary ကနေ စတင်ပြီး merge rules တွေကို သင်ယူတဲ့ subword tokenization algorithm တစ်ခုပါ။",explain:"ဟုတ်ပါတယ်။",correct:!0},{text:"BPE ဟာ big vocabulary ကနေ စတင်ပြီး ၎င်းကနေ tokens တွေကို တဖြည်းဖြည်း ဖယ်ရှားတဲ့ subword tokenization algorithm တစ်ခုပါ။",explain:"မဟုတ်ပါဘူး၊ ဒါက တခြား tokenization algorithm တစ်ခုက ချဉ်းကပ်တဲ့ နည်းလမ်းပါ။"},{text:"BPE tokenizers တွေက အကြိမ်အများဆုံး ဖြစ်ပေါ်တဲ့ tokens တွဲကို merge လုပ်ခြင်းဖြင့် merge rules တွေကို သင်ယူပါတယ်။",explain:"မှန်ပါတယ်!",correct:!0},{text:"BPE tokenizer က merge rule တစ်ခုကို အကြိမ်များစွာ ဖြစ်ပေါ်ပြီး တစ်ဦးချင်းစီ အစိတ်အပိုင်းတွေက နည်းနည်းပဲ ဖြစ်ပေါ်တဲ့ pairs တွေကို အလေးပေးတဲ့ score တစ်ခုကို အမြင့်ဆုံးဖြစ်စေမယ့် tokens တွဲကို merge လုပ်ခြင်းဖြင့် သင်ယူပါတယ်။",explain:"မဟုတ်ပါဘူး၊ ဒါက တခြား tokenization algorithm တစ်ခုက အသုံးချတဲ့ strategy ပါ။"},{text:"BPE က words တွေကို characters တွေအဖြစ် ပိုင်းခြားပြီး merge rules တွေကို အသုံးပြုခြင်းဖြင့် subwords တွေအဖြစ် tokenize လုပ်ပါတယ်။",explain:"မှန်ပါတယ်!",correct:!0},{text:"BPE က words တွေကို vocabulary ထဲမှာရှိတဲ့ word ရဲ့ အစကနေ စတင်တဲ့ အရှည်ဆုံး subword ကို ရှာဖွေပြီး၊ ကျန်တဲ့ text အတွက် လုပ်ငန်းစဉ်ကို ထပ်ခါတလဲလဲ လုပ်ဆောင်ခြင်းဖြင့် subwords တွေအဖြစ် tokenize လုပ်ပါတယ်။",explain:"မဟုတ်ပါဘူး၊ ဒါက တခြား tokenization algorithm တစ်ခုရဲ့ လုပ်ဆောင်ပုံပါ။"}]}}),L=new $({props:{title:"၉။ WordPiece tokenization model နဲ့ သက်ဆိုင်တဲ့ စာကြောင်းတွေကို ရွေးချယ်ပါ။",local:"၉-wordpiece-tokenization-model-န-သကဆငတ-စကငတက-ရခယပ",headingTag:"h3"}}),U=new u({props:{choices:[{text:"WordPiece ဟာ small vocabulary ကနေ စတင်ပြီး merge rules တွေကို သင်ယူတဲ့ subword tokenization algorithm တစ်ခုပါ။",explain:"ဟုတ်ပါတယ်။",correct:!0},{text:"WordPiece ဟာ big vocabulary ကနေ စတင်ပြီး ၎င်းကနေ tokens တွေကို တဖြည်းဖြည်း ဖယ်ရှားတဲ့ subword tokenization algorithm တစ်ခုပါ။",explain:"မဟုတ်ပါဘူး၊ ဒါက တခြား tokenization algorithm တစ်ခုက ချဉ်းကပ်တဲ့ နည်းလမ်းပါ။"},{text:"WordPiece tokenizers တွေက အကြိမ်အများဆုံး ဖြစ်ပေါ်တဲ့ tokens တွဲကို merge လုပ်ခြင်းဖြင့် merge rules တွေကို သင်ယူပါတယ်။",explain:"မဟုတ်ပါဘူး၊ ဒါက တခြား tokenization algorithm တစ်ခုက အသုံးချတဲ့ strategy ပါ။"},{text:"WordPiece tokenizer က merge rule တစ်ခုကို အကြိမ်များစွာ ဖြစ်ပေါ်ပြီး တစ်ဦးချင်းစီ အစိတ်အပိုင်းတွေက နည်းနည်းပဲ ဖြစ်ပေါ်တဲ့ pairs တွေကို အလေးပေးတဲ့ score တစ်ခုကို အမြင့်ဆုံးဖြစ်စေမယ့် tokens တွဲကို merge လုပ်ခြင်းဖြင့် သင်ယူပါတယ်။",explain:"မှန်ပါတယ်!",correct:!0},{text:"WordPiece က words တွေကို model အရ tokens တွေအဖြစ် အများဆုံး ဖြစ်နိုင်ခြေရှိတဲ့ segmentation ကို ရှာဖွေခြင်းဖြင့် subwords တွေအဖြစ် tokenize လုပ်ပါတယ်။",explain:"မဟုတ်ပါဘူး၊ ဒါက တခြား tokenization algorithm ရဲ့ လုပ်ဆောင်ပုံပါ။"},{text:"WordPiece က words တွေကို vocabulary ထဲမှာရှိတဲ့ word ရဲ့ အစကနေ စတင်တဲ့ အရှည်ဆုံး subword ကို ရှာဖွေပြီး၊ ကျန်တဲ့ text အတွက် လုပ်ငန်းစဉ်ကို ထပ်ခါတလဲလဲ လုပ်ဆောင်ခြင်းဖြင့် subwords တွေအဖြစ် tokenize လုပ်ပါတယ်။",explain:"ဟုတ်ပါတယ်၊ WordPiece က encoding လုပ်ဆောင်ပုံပါပဲ။",correct:!0}]}}),W=new $({props:{title:"၁၀။ Unigram tokenization model နဲ့ သက်ဆိုင်တဲ့ စာကြောင်းတွေကို ရွေးချယ်ပါ။",local:"၁၀-unigram-tokenization-model-န-သကဆငတ-စကငတက-ရခယပ",headingTag:"h3"}}),X=new u({props:{choices:[{text:"Unigram ဟာ small vocabulary ကနေ စတင်ပြီး merge rules တွေကို သင်ယူတဲ့ subword tokenization algorithm တစ်ခုပါ။",explain:"မဟုတ်ပါဘူး၊ ဒါက တခြား tokenization algorithm တစ်ခုက ချဉ်းကပ်တဲ့ နည်းလမ်းပါ။"},{text:"Unigram ဟာ big vocabulary ကနေ စတင်ပြီး ၎င်းကနေ tokens တွေကို တဖြည်းဖြည်း ဖယ်ရှားတဲ့ subword tokenization algorithm တစ်ခုပါ။",explain:"မှန်ပါတယ်!",correct:!0},{text:"Unigram က vocabulary ကို whole corpus ပေါ်မှာ တွက်ချက်ထားတဲ့ loss ကို အနည်းဆုံးဖြစ်အောင် လုပ်ဆောင်ခြင်းဖြင့် ၎င်းရဲ့ vocabulary ကို လိုက်လျောညီထွေဖြစ်အောင် ပြောင်းလဲပါတယ်။",explain:"မှန်ပါတယ်!",correct:!0},{text:"Unigram က အကြိမ်အများဆုံး ဖြစ်ပေါ်တဲ့ subwords တွေကို ထိန်းသိမ်းထားခြင်းဖြင့် ၎င်းရဲ့ vocabulary ကို လိုက်လျောညီထွေဖြစ်အောင် ပြောင်းလဲပါတယ်။",explain:"မဟုတ်ပါဘူး၊ ဒါက မမှန်ပါဘူး။"},{text:"Unigram က words တွေကို model အရ tokens တွေအဖြစ် အများဆုံး ဖြစ်နိုင်ခြေရှိတဲ့ segmentation ကို ရှာဖွေခြင်းဖြင့် subwords တွေအဖြစ် tokenize လုပ်ပါတယ်။",explain:"မှန်ပါတယ်!",correct:!0},{text:"Unigram က words တွေကို characters တွေအဖြစ် ပိုင်းခြားပြီး၊ merge rules တွေကို အသုံးပြုခြင်းဖြင့် subwords တွေအဖြစ် tokenize လုပ်ပါတယ်။",explain:"မဟုတ်ပါဘူး၊ ဒါက တခြား tokenization algorithm ရဲ့ လုပ်ဆောင်ပုံပါ။"}]}}),N=new $({props:{title:"ဝေါဟာရ ရှင်းလင်းချက် (Glossary)",local:"ဝဟရ-ရငလငခက-glossary",headingTag:"h2"}}),F=new Ue({props:{source:"https://github.com/huggingface/course/blob/main/chapters/my/chapter6/10.mdx"}}),{c(){f=D("meta"),O=o(),H=D("p"),Q=o(),s(d.$$.fragment),V=o(),s(c.$$.fragment),j=o(),s(x.$$.fragment),J=o(),k=D("p"),k.textContent=he,K=o(),s(z.$$.fragment),Y=o(),s(w.$$.fragment),Z=o(),s(b.$$.fragment),ee=o(),s(y.$$.fragment),te=o(),s(h.$$.fragment),ne=o(),s(P.$$.fragment),ie=o(),s(v.$$.fragment),oe=o(),s(_.$$.fragment),re=o(),s(T.$$.fragment),se=o(),s(E.$$.fragment),ae=o(),s(q.$$.fragment),le=o(),s(M.$$.fragment),me=o(),s(R.$$.fragment),ge=o(),s(C.$$.fragment),pe=o(),s(S.$$.fragment),$e=o(),s(B.$$.fragment),ue=o(),s(L.$$.fragment),fe=o(),s(U.$$.fragment),de=o(),s(W.$$.fragment),ce=o(),s(X.$$.fragment),xe=o(),s(N.$$.fragment),ke=o(),A=D("ul"),A.innerHTML=Pe,ze=o(),s(F.$$.fragment),we=o(),I=D("p"),this.h()},l(e){const t=Se("svelte-u9bgzb",document.head);f=G(t,"META",{name:!0,content:!0}),t.forEach(n),O=r(e),H=G(e,"P",{}),ve(H).forEach(n),Q=r(e),a(d.$$.fragment,e),V=r(e),a(c.$$.fragment,e),j=r(e),a(x.$$.fragment,e),J=r(e),k=G(e,"P",{"data-svelte-h":!0}),_e(k)!=="svelte-f3za2x"&&(k.textContent=he),K=r(e),a(z.$$.fragment,e),Y=r(e),a(w.$$.fragment,e),Z=r(e),a(b.$$.fragment,e),ee=r(e),a(y.$$.fragment,e),te=r(e),a(h.$$.fragment,e),ne=r(e),a(P.$$.fragment,e),ie=r(e),a(v.$$.fragment,e),oe=r(e),a(_.$$.fragment,e),re=r(e),a(T.$$.fragment,e),se=r(e),a(E.$$.fragment,e),ae=r(e),a(q.$$.fragment,e),le=r(e),a(M.$$.fragment,e),me=r(e),a(R.$$.fragment,e),ge=r(e),a(C.$$.fragment,e),pe=r(e),a(S.$$.fragment,e),$e=r(e),a(B.$$.fragment,e),ue=r(e),a(L.$$.fragment,e),fe=r(e),a(U.$$.fragment,e),de=r(e),a(W.$$.fragment,e),ce=r(e),a(X.$$.fragment,e),xe=r(e),a(N.$$.fragment,e),ke=r(e),A=G(e,"UL",{"data-svelte-h":!0}),_e(A)!=="svelte-6xhemi"&&(A.innerHTML=Pe),ze=r(e),a(F.$$.fragment,e),we=r(e),I=G(e,"P",{}),ve(I).forEach(n),this.h()},h(){Te(f,"name","hf:doc:metadata"),Te(f,"content",Ne)},m(e,t){Be(document.head,f),i(e,O,t),i(e,H,t),i(e,Q,t),l(d,e,t),i(e,V,t),l(c,e,t),i(e,j,t),l(x,e,t),i(e,J,t),i(e,k,t),i(e,K,t),l(z,e,t),i(e,Y,t),l(w,e,t),i(e,Z,t),l(b,e,t),i(e,ee,t),l(y,e,t),i(e,te,t),l(h,e,t),i(e,ne,t),l(P,e,t),i(e,ie,t),l(v,e,t),i(e,oe,t),l(_,e,t),i(e,re,t),l(T,e,t),i(e,se,t),l(E,e,t),i(e,ae,t),l(q,e,t),i(e,le,t),l(M,e,t),i(e,me,t),l(R,e,t),i(e,ge,t),l(C,e,t),i(e,pe,t),l(S,e,t),i(e,$e,t),l(B,e,t),i(e,ue,t),l(L,e,t),i(e,fe,t),l(U,e,t),i(e,de,t),l(W,e,t),i(e,ce,t),l(X,e,t),i(e,xe,t),l(N,e,t),i(e,ke,t),i(e,A,t),i(e,ze,t),l(F,e,t),i(e,we,t),i(e,I,t),be=!0},p:qe,i(e){be||(m(d.$$.fragment,e),m(c.$$.fragment,e),m(x.$$.fragment,e),m(z.$$.fragment,e),m(w.$$.fragment,e),m(b.$$.fragment,e),m(y.$$.fragment,e),m(h.$$.fragment,e),m(P.$$.fragment,e),m(v.$$.fragment,e),m(_.$$.fragment,e),m(T.$$.fragment,e),m(E.$$.fragment,e),m(q.$$.fragment,e),m(M.$$.fragment,e),m(R.$$.fragment,e),m(C.$$.fragment,e),m(S.$$.fragment,e),m(B.$$.fragment,e),m(L.$$.fragment,e),m(U.$$.fragment,e),m(W.$$.fragment,e),m(X.$$.fragment,e),m(N.$$.fragment,e),m(F.$$.fragment,e),be=!0)},o(e){g(d.$$.fragment,e),g(c.$$.fragment,e),g(x.$$.fragment,e),g(z.$$.fragment,e),g(w.$$.fragment,e),g(b.$$.fragment,e),g(y.$$.fragment,e),g(h.$$.fragment,e),g(P.$$.fragment,e),g(v.$$.fragment,e),g(_.$$.fragment,e),g(T.$$.fragment,e),g(E.$$.fragment,e),g(q.$$.fragment,e),g(M.$$.fragment,e),g(R.$$.fragment,e),g(C.$$.fragment,e),g(S.$$.fragment,e),g(B.$$.fragment,e),g(L.$$.fragment,e),g(U.$$.fragment,e),g(W.$$.fragment,e),g(X.$$.fragment,e),g(N.$$.fragment,e),g(F.$$.fragment,e),be=!1},d(e){e&&(n(O),n(H),n(Q),n(V),n(j),n(J),n(k),n(K),n(Y),n(Z),n(ee),n(te),n(ne),n(ie),n(oe),n(re),n(se),n(ae),n(le),n(me),n(ge),n(pe),n($e),n(ue),n(fe),n(de),n(ce),n(xe),n(ke),n(A),n(ze),n(we),n(I)),n(f),p(d,e),p(c,e),p(x,e),p(z,e),p(w,e),p(b,e),p(y,e),p(h,e),p(P,e),p(v,e),p(_,e),p(T,e),p(E,e),p(q,e),p(M,e),p(R,e),p(C,e),p(S,e),p(B,e),p(L,e),p(U,e),p(W,e),p(X,e),p(N,e),p(F,e)}}}const Ne='{"title":"အခန်း (၆) ဆိုင်ရာ မေးခွန်းများ","local":"end-of-chapter-quiz","sections":[{"title":"၁။ Tokenizer အသစ်တစ်ခုကို ဘယ်အချိန်မှာ train လုပ်သင့်သလဲ။","local":"၁-tokenizer-အသစတစခက-ဘယအခနမ-train-လပသငသလ","sections":[],"depth":3},{"title":"၂။ train_new_from_iterator() ကို အသုံးပြုတဲ့အခါ list of lists of texts တွေနဲ့ နှိုင်းယှဉ်ရင် generator of lists of texts တွေကို အသုံးပြုခြင်းရဲ့ အကျိုးကျေးဇူးက ဘာလဲ။","local":"၂-trainnewfromiterator-က-အသပတအခ-list-of-lists-of-texts-တန-နငယဉရင-generator-of-lists-of-texts-တက-အသပခငရ-အကကဇက-ဘလ","sections":[],"depth":3},{"title":"၃။ “Fast” tokenizer တစ်ခုကို အသုံးပြုခြင်းရဲ့ အကျိုးကျေးဇူးတွေက ဘာတွေလဲ။","local":"၃-fast-tokenizer-တစခက-အသပခငရ-အကကဇတက-ဘတလ","sections":[],"depth":3},{"title":"၄။ token-classification pipeline က tokens အများအပြားကို ဖြန့်ကျက်ထားတဲ့ entities တွေကို ဘယ်လို ကိုင်တွယ်ဖြေရှင်းလဲ။","local":"၄-token-classification-pipeline-က-tokens-အမအပက-ဖနကကထတ-entities-တက-ဘယလ-ကငတယဖရငလ","sections":[],"depth":3},{"title":"၅။ question-answering pipeline က ရှည်လျားတဲ့ contexts တွေကို ဘယ်လို ကိုင်တွယ်ဖြေရှင်းလဲ။","local":"၅-question-answering-pipeline-က-ရညလတ-contexts-တက-ဘယလ-ကငတယဖရငလ","sections":[],"depth":3},{"title":"၆။ Normalization ဆိုတာ ဘာလဲ။","local":"၆-normalization-ဆတ-ဘလ","sections":[],"depth":3},{"title":"၇။ Subword tokenizer အတွက် pre-tokenization ဆိုတာဘာလဲ။","local":"၇-subword-tokenizer-အတက-pre-tokenization-ဆတဘလ","sections":[],"depth":3},{"title":"၈။ BPE tokenization model နဲ့ သက်ဆိုင်တဲ့ စာကြောင်းတွေကို ရွေးချယ်ပါ။","local":"၈-bpe-tokenization-model-န-သကဆငတ-စကငတက-ရခယပ","sections":[],"depth":3},{"title":"၉။ WordPiece tokenization model နဲ့ သက်ဆိုင်တဲ့ စာကြောင်းတွေကို ရွေးချယ်ပါ။","local":"၉-wordpiece-tokenization-model-န-သကဆငတ-စကငတက-ရခယပ","sections":[],"depth":3},{"title":"၁၀။ Unigram tokenization model နဲ့ သက်ဆိုင်တဲ့ စာကြောင်းတွေကို ရွေးချယ်ပါ။","local":"၁၀-unigram-tokenization-model-န-သကဆငတ-စကငတက-ရခယပ","sections":[],"depth":3},{"title":"ဝေါဟာရ ရှင်းလင်းချက် (Glossary)","local":"ဝဟရ-ရငလငခက-glossary","sections":[],"depth":2}],"depth":1}';function Ae(ye){return Me(()=>{new URLSearchParams(window.location.search).get("fw")}),[]}class Oe extends Re{constructor(f){super(),Ce(this,f,Ae,Xe,Ee,{})}}export{Oe as component};