course/pr_1183/my/_app/immutable/nodes/10.4e4fcb59.js

import{s as Gn,a as Cn,n as jn,o as On}from"../chunks/scheduler.893fe8c9.js";import{S as Un,i as In,e as i,s as a,c,q as w,H as y,h as Qn,a as r,d as s,b as l,f as Ut,g,j as m,r as T,u as L,k as x,l as $,m as n,n as d,t as h,o as u,p as f}from"../chunks/index.b1df2166.js";import{C as Kn,H as v,E as Nn}from"../chunks/MermaidChart.svelte_svelte_type_style_lang.659f2e87.js";import{Y as qs}from"../chunks/Youtube.ec5d7916.js";import{C as Fn}from"../chunks/CourseFloatingBanner.c1c08878.js";function Vn(Hs){let M,It,jt,Qt,R,Kt,z,Nt,S,Ft,D,Ps="ယခင်အပိုင်းတွေမှာ Transformer architecture အကြောင်းကို မိတ်ဆက်ပေးခဲ့ပြီး ဒီမော်ဒယ်တွေက လုပ်ငန်းတာဝန်အမျိုးမျိုးကို ဘယ်လိုဖြေရှင်းပေးနိုင်လဲဆိုတာကို လေ့လာခဲ့ပါတယ်။ အခုတော့ Transformer မော်ဒယ်တွေရဲ့ အဓိက architectured ပုံစံသုံးမျိုးကို ပိုမိုနက်နဲစွာ လေ့လာပြီး တစ်ခုချင်းစီကို ဘယ်အချိန်မှာ အသုံးပြုသင့်လဲဆိုတာကို နားလည်အောင် လုပ်ဆောင်ကြပါစို့။ ထို့နောက်၊ အဲဒီ architecture တွေကို မတူညီတဲ့ ဘာသာစကားလုပ်ငန်းတာဝန်တွေမှာ ဘယ်လိုအသုံးပြုလဲဆိုတာကို ကြည့်ရှုခဲ့ကြပါတယ်။",Vt,G,As="ဒီအပိုင်းမှာတော့ Transformer မော်ဒယ်တွေရဲ့ အဓိက architectured ပုံစံသုံးမျိုးကို ပိုမိုနက်နဲစွာ လေ့လာပြီး တစ်ခုချင်းစီကို ဘယ်အချိန်မှာ အသုံးပြုသင့်လဲဆိုတာကို နားလည်အောင် လုပ်ဆောင်သွားပါမယ်။",Yt,C,Bs="<p>Transformer မော်ဒယ်အများစုဟာ architecture သုံးမျိုးထဲက တစ်ခုကို အသုံးပြုတယ်ဆိုတာ သတိရပါ။ အဲဒါတွေကတော့ encoder-only, decoder-only, ဒါမှမဟုတ် encoder-decoder (sequence-to-sequence) တို့ ဖြစ်ပါတယ်။ ဒီကွာခြားချက်တွေကို နားလည်ထားခြင်းက သင့်ရဲ့ သီးခြားလုပ်ငန်းတာဝန်အတွက် မှန်ကန်တဲ့ မော်ဒယ်ကို ရွေးချယ်နိုင်ဖို့ ကူညီပါလိမ့်မယ်။</p>",Jt,j,Wt,O,Xt,U,Rs="Encoder မော်ဒယ်တွေဟာ Transformer မော်ဒယ်ရဲ့ encoder အပိုင်းကိုသာ အသုံးပြုပါတယ်။ အဆင့်တိုင်းမှာ attention layers တွေက မူလစာကြောင်းထဲက စကားလုံးအားလုံးကို ဝင်ရောက်ကြည့်ရှုနိုင်ပါတယ်။ ဒီမော်ဒယ်တွေကို “bi-directional” attention ရှိတယ်လို့ မကြာခဏ ဖော်ပြလေ့ရှိပြီး <em>auto-encoding models</em> လို့လည်း ခေါ်ကြပါတယ်။",Zt,I,zs="ဒီမော်ဒယ်တွေရဲ့ pretraining က များသောအားဖြင့် ပေးထားတဲ့ စာကြောင်းတစ်ခုကို တစ်နည်းတစ်ဖုံ ဖျက်ဆီးပြီး (ဥပမာ- ကျပန်းစကားလုံးတွေကို ဝှက်ထားခြင်းဖြင့်) မူလစာကြောင်းကို ရှာဖွေခြင်း သို့မဟုတ် ပြန်လည်တည်ဆောက်ခြင်းတို့ကို မော်ဒယ်ကို တာဝန်ပေးခြင်းအပေါ် အခြေခံပါတယ်။",te,Q,Ss="Encoder မော်ဒယ်တွေဟာ စာကြောင်းအပြည့်အစုံကို နားလည်ဖို့ လိုအပ်တဲ့ လုပ်ငန်းတာဝန်များအတွက် အသင့်တော်ဆုံးဖြစ်ပြီး ဥပမာအားဖြင့် sentence classification, named entity recognition (နဲ့ ပိုမိုယေဘုယျအားဖြင့် word classification) နဲ့ extractive question answering တို့ပဲ ဖြစ်ပါတယ်။",ee,k,Ds='<p>”<a href="/chapter1/5">🤗 Transformers တွေက လုပ်ငန်းတာဝန်တွေကို ဘယ်လိုဖြေရှင်းပေးလဲ။</a>” မှာ ကျွန်တော်တို့ မြင်တွေ့ခဲ့ရသလို BERT လို encoder မော်ဒယ်တွေဟာ စာသားကို နားလည်ရာမှာ ထူးချွန်ပါတယ်။ ဘာကြောင့်လဲဆိုတော့ ၎င်းတို့ဟာ input တစ်ခုလုံးရဲ့ အကြောင်းအရာ (context) ကို နှစ်ဖက်စလုံးကနေ ကြည့်ရှုနိုင်လို့ပါ။ ဒါကြောင့် input တစ်ခုလုံးရဲ့ နားလည်မှုက အရေးကြီးတဲ့ လုပ်ငန်းတာဝန်တွေအတွက် ၎င်းတို့ဟာ အကောင်းဆုံးပါပဲ။</p>',se,K,Gs="ဒီမော်ဒယ်မိသားစုရဲ့ ကိုယ်စားပြုမော်ဒယ်တွေကတော့:",ne,N,js='<li><a href="https://huggingface.co/docs/transformers/model_doc/bert" rel="nofollow">BERT</a></li> <li><a href="https://huggingface.co/docs/transformers/model_doc/distilbert" rel="nofollow">DistilBERT</a></li> <li><a href="https://huggingface.co/docs/transformers/en/model_doc/modernbert" rel="nofollow">ModernBERT</a></li>',ae,F,le,V,ie,Y,Os="Decoder မော်ဒယ်တွေဟာ Transformer မော်ဒယ်ရဲ့ decoder အပိုင်းကိုသာ အသုံးပြုပါတယ်။ အဆင့်တိုင်းမှာ ပေးထားတဲ့ စကားလုံးတစ်ခုအတွက် attention layers တွေက စာကြောင်းထဲမှာ အရင်ရှိနေတဲ့ စကားလုံးတွေကိုသာ ဝင်ရောက်ကြည့်ရှုနိုင်ပါတယ်။ ဒီမော်ဒယ်တွေကို မကြာခဏ <em>auto-regressive models</em> လို့ ခေါ်ကြပါတယ်။",re,J,Us="Decoder မော်ဒယ်တွေရဲ့ pretraining က များသောအားဖြင့် စာကြောင်းထဲက နောက်ထပ်စကားလုံးကို ခန့်မှန်းခြင်းအပေါ် အခြေခံပါတယ်။",me,W,Is="ဒီမော်ဒယ်တွေဟာ စာသားဖန်တီးခြင်း (text generation) နဲ့ပတ်သက်တဲ့ လုပ်ငန်းတာဝန်တွေအတွက် အသင့်တော်ဆုံး ဖြစ်ပါတယ်။",pe,E,Qs='<p>GPT လို decoder မော်ဒယ်တွေကို တစ်ကြိမ်လျှင် token တစ်ခုချင်းစီကို ခန့်မှန်းခြင်းဖြင့် စာသားတွေ ဖန်တီးဖို့ ဒီဇိုင်းထုတ်ထားပါတယ်။ ”<a href="/chapter1/5">🤗 Transformers တွေက လုပ်ငန်းတာဝန်တွေကို ဘယ်လိုဖြေရှင်းပေးလဲ။</a>” မှာ ကျွန်တော်တို့ လေ့လာခဲ့ရသလို၊ ၎င်းတို့ဟာ ယခင် tokens တွေကိုသာ မြင်နိုင်တာကြောင့် ဖန်တီးမှုဆိုင်ရာ စာသားဖန်တီးခြင်းအတွက် အလွန်ကောင်းမွန်ပေမယ့် bi-directional နားလည်မှု လိုအပ်တဲ့ လုပ်ငန်းတာဝန်တွေအတွက်တော့ သိပ်မသင့်လျော်ပါဘူး။</p>',oe,X,Ks="ဒီမော်ဒယ်မိသားစုရဲ့ ကိုယ်စားပြုမော်ဒယ်တွေကတော့:",ce,Z,Ns='<li><a href="https://huggingface.co/HuggingFaceTB/SmolLM2-1.7B-Instruct" rel="nofollow">Hugging Face SmolLM Series</a></li> <li><a href="https://huggingface.co/docs/transformers/en/model_doc/llama4" rel="nofollow">Meta’s Llama Series</a></li> <li><a href="https://huggingface.co/docs/transformers/main/en/model_doc/gemma3" rel="nofollow">Google’s Gemma Series</a></li> <li><a href="https://huggingface.co/deepseek-ai/DeepSeek-V3" rel="nofollow">DeepSeek’s V3</a></li>',ge,tt,de,et,Fs="ခေတ်မီ Large Language Models (LLMs) အများစုဟာ decoder-only architecture ကို အသုံးပြုပါတယ်။ ဒီမော်ဒယ်တွေဟာ လွန်ခဲ့တဲ့ နှစ်အနည်းငယ်အတွင်း အရွယ်အစားနဲ့ စွမ်းရည်တွေ သိသိသာသာ ကြီးထွားလာခဲ့ပြီး အကြီးဆုံးမော်ဒယ်အချို့မှာ parameters ဘီလီယံပေါင်း ရာနဲ့ချီ ပါဝင်ပါတယ်။",he,st,Vs="ခေတ်မီ LLMs တွေကို ပုံမှန်အားဖြင့် အဆင့်နှစ်ဆင့်နဲ့ လေ့ကျင့်ပါတယ်။",ue,nt,Ys="<li><strong>Pretraining</strong>: မော်ဒယ်ဟာ များပြားလှတဲ့ စာသားဒေတာတွေပေါ်မှာ နောက်ထပ် token ကို ခန့်မှန်းဖို့ သင်ယူပါတယ်။</li> <li><strong>Instruction tuning</strong>: မော်ဒယ်ဟာ ညွှန်ကြားချက်တွေကို လိုက်နာပြီး အထောက်အကူဖြစ်စေတဲ့ တုံ့ပြန်မှုတွေကို ဖန်တီးဖို့ fine-tune လုပ်ခံရပါတယ်။</li>",fe,at,Js="ဒီချဉ်းကပ်မှုက ကျယ်ပြန့်တဲ့ ခေါင်းစဉ်တွေနဲ့ လုပ်ငန်းတာဝန်မျိုးစုံမှာ လူသားဆန်တဲ့ စာသားတွေကို နားလည်ပြီး ဖန်တီးနိုင်တဲ့ မော်ဒယ်တွေကို ဖြစ်ပေါ်စေခဲ့ပါတယ်။",xe,lt,ve,it,Ws="ခေတ်မီ decoder-based LLMs တွေဟာ အထင်ကြီးစရာကောင်းတဲ့ စွမ်းရည်တွေကို ပြသခဲ့ပါတယ်။",$e,rt,Xs="<thead><tr><th>စွမ်းရည်</th> <th>ဖော်ပြချက်</th> <th>ဥပမာ</th></tr></thead> <tbody><tr><td>စာသားဖန်တီးခြင်း</td> <td>ဆက်စပ်မှုရှိပြီး အကြောင်းအရာနှင့်ကိုက်ညီသော စာသားများ ဖန်တီးခြင်း</td> <td>စာစီစာကုံး၊ ပုံပြင်များ သို့မဟုတ် emails များ ရေးသားခြင်း</td></tr> <tr><td>အကျဉ်းချုပ်ခြင်း</td> <td>စာရွက်စာတမ်းရှည်များကို ပိုမိုတိုတောင်းသော ပုံစံများဖြင့် အကျဉ်းချုံးခြင်း</td> <td>အစီရင်ခံစာများ၏ အနှစ်ချုပ်များ ဖန်တီးခြင်း</td></tr> <tr><td>ဘာသာပြန်ခြင်း</td> <td>ဘာသာစကားများအကြား စာသားများကို ပြောင်းလဲခြင်း</td> <td>အင်္ဂလိပ်မှ စပိန်သို့ ဘာသာပြန်ခြင်း</td></tr> <tr><td>မေးခွန်းဖြေဆိုခြင်း</td> <td>အမှန်တကယ်မေးခွန်းများကို အဖြေပေးခြင်း</td> <td>“ပြင်သစ်နိုင်ငံရဲ့ မြို့တော်က ဘာလဲ”</td></tr> <tr><td>Code ဖန်တီးခြင်း</td> <td>Code snippets များကို ရေးသားခြင်း သို့မဟုတ် ဖြည့်စွက်ခြင်း</td> <td>ဖော်ပြချက်အပေါ် အခြေခံ၍ function တစ်ခု ဖန်တီးခြင်း</td></tr> <tr><td>ဆင်ခြင်တုံတရား</td> <td>ပြဿနာများကို အဆင့်ဆင့်ဖြေရှင်းခြင်း</td> <td>သင်္ချာပြဿနာများ သို့မဟုတ် ယုတ္တိပဟေဠိများ ဖြေရှင်းခြင်း</td></tr> <tr><td>Few-shot learning</td> <td>prompt တွင် ဥပမာအနည်းငယ်မှ သင်ယူခြင်း</td> <td>ဥပမာ ၂-၃ ခုသာ မြင်ပြီးနောက် စာသားများကို အမျိုးအစားခွဲခြားခြင်း</td></tr></tbody>",we,mt,Zs='Hub ပေါ်ရှိ model repo စာမျက်နှာများမှတစ်ဆင့် သင်၏ browser ထဲတွင် decoder-based LLMs များကို တိုက်ရိုက် စမ်းသပ်နိုင်ပါတယ်။ classic <a href="https://huggingface.co/openai-community/gpt2" rel="nofollow">GPT-2</a> (OpenAI ရဲ့ အကောင်းဆုံး open source မော်ဒယ်!) ဥပမာတစ်ခုကတော့ ဒီမှာပါ။',Te,_,tn,ye,pt,Le,ot,_e,ct,en="Encoder-decoder မော်ဒယ်တွေ (သို့မဟုတ် <em>sequence-to-sequence models</em> လို့လည်း ခေါ်ကြပါတယ်) ဟာ Transformer architecture ရဲ့ အစိတ်အပိုင်းနှစ်ခုလုံးကို အသုံးပြုပါတယ်။ အဆင့်တိုင်းမှာ encoder ရဲ့ attention layers တွေက မူလစာကြောင်းထဲက စကားလုံးအားလုံးကို ဝင်ရောက်ကြည့်ရှုနိုင်ပြီး၊ decoder ရဲ့ attention layers တွေကတော့ input ထဲမှာ ပေးထားတဲ့ စကားလုံးတစ်ခုရဲ့ အရင်ရှိနေတဲ့ စကားလုံးတွေကိုသာ ဝင်ရောက်ကြည့်ရှုနိုင်ပါတယ်။",be,gt,sn="ဒီမော်ဒယ်တွေရဲ့ pretraining က ပုံစံအမျိုးမျိုး ရှိနိုင်ပေမယ့် များသောအားဖြင့် input က တစ်နည်းတစ်ဖုံ ဖျက်ဆီးခံထားရတဲ့ စာကြောင်းတစ်ခုကို ပြန်လည်တည်ဆောက်ခြင်း (ဥပမာ- ကျပန်းစကားလုံးတွေကို ဝှက်ထားခြင်းဖြင့်) တို့ ပါဝင်ပါတယ်။ T5 မော်ဒယ်ရဲ့ pretraining ကတော့ စာသားအပိုင်းအစများ (စကားလုံးများစွာ ပါဝင်နိုင်ပါတယ်) ကို mask special token တစ်ခုတည်းနဲ့ အစားထိုးပြီး အဲဒီ mask token က အစားထိုးထားတဲ့ စာသားကို ခန့်မှန်းဖို့ လုပ်ငန်းတာဝန်ပေးခြင်းတို့ ပါဝင်ပါတယ်။",Me,dt,nn="Sequence-to-sequence မော်ဒယ်တွေဟာ ပေးထားတဲ့ input အပေါ် မူတည်ပြီး စာကြောင်းအသစ်တွေ ဖန်တီးခြင်းနဲ့ပတ်သက်တဲ့ လုပ်ငန်းတာဝန်တွေအတွက် အသင့်တော်ဆုံးဖြစ်ပြီး ဥပမာအားဖြင့် summarization, translation, ဒါမှမဟုတ် generative question answering တို့ပဲ ဖြစ်ပါတယ်။",Ce,q,an='<p>”<a href="/chapter1/5">🤗 Transformers တွေက လုပ်ငန်းတာဝန်တွေကို ဘယ်လိုဖြေရှင်းပေးလဲ။</a>” မှာ ကျွန်တော်တို့ မြင်တွေ့ခဲ့ရသလို BART နဲ့ T5 လို encoder-decoder မော်ဒယ်တွေဟာ architecture နှစ်ခုလုံးရဲ့ အားသာချက်တွေကို ပေါင်းစပ်ထားပါတယ်။ encoder က input ကို နှစ်ဖက်စလုံးကနေ နက်ရှိုင်းစွာ နားလည်မှုကို ပေးပြီး၊ decoder ကတော့ သင့်လျော်တဲ့ output စာသားကို ဖန်တီးပေးပါတယ်။ ဒါကြောင့် ဘာသာပြန်ခြင်း ဒါမှမဟုတ် အကျဉ်းချုပ်ခြင်းလို sequence တစ်ခုကို အခြားတစ်ခုသို့ ပြောင်းလဲပေးတဲ့ လုပ်ငန်းတာဝန်တွေအတွက် ၎င်းတို့ဟာ အကောင်းဆုံးပါပဲ။</p>',ke,ht,Ee,ut,ln="Sequence-to-sequence မော်ဒယ်တွေဟာ စာသားတစ်ခုရဲ့ ပုံစံကို အဓိပ္ပာယ်မပျက်စီးစေဘဲ အခြားပုံစံတစ်ခုသို့ ပြောင်းလဲဖို့ လိုအပ်တဲ့ လုပ်ငန်းတာဝန်တွေမှာ ထူးချွန်ပါတယ်။ လက်တွေ့အသုံးချမှုအချို့ကတော့:",qe,ft,rn="<thead><tr><th>အသုံးချမှု</th> <th>ဖော်ပြချက်</th> <th>ဥပမာ မော်ဒယ်</th></tr></thead> <tbody><tr><td>စက်ဘာသာပြန်ခြင်း</td> <td>ဘာသာစကားများအကြား စာသားများကို ပြောင်းလဲခြင်း</td> <td>Marian, T5</td></tr> <tr><td>စာသားအကျဉ်းချုပ်ခြင်း</td> <td>စာသားရှည်များကို အကျဉ်းချုံး ဖန်တီးခြင်း</td> <td>BART, T5</td></tr> <tr><td>ဒေတာမှ စာသားဖန်တီးခြင်း</td> <td>ဖွဲ့စည်းထားသော ဒေတာများကို သဘာဝဘာသာစကားအဖြစ် ပြောင်းလဲခြင်း</td> <td>T5</td></tr> <tr><td>သဒ္ဒါပြင်ဆင်ခြင်း</td> <td>စာသားရှိ သဒ္ဒါအမှားများကို ပြင်ဆင်ခြင်း</td> <td>T5</td></tr> <tr><td>မေးခွန်းဖြေဆိုခြင်း</td> <td>အကြောင်းအရာ (context) အပေါ် အခြေခံ၍ အဖြေများ ဖန်တီးခြင်း</td> <td>BART, T5</td></tr></tbody>",He,xt,mn="ဘာသာပြန်ခြင်းအတွက် sequence-to-sequence မော်ဒယ်ရဲ့ အပြန်အလှန်တုံ့ပြန်နိုင်တဲ့ demo တစ်ခုကတော့ ဒီမှာပါ။",Pe,b,pn,Ae,vt,on="ဒီမော်ဒယ်မိသားစုရဲ့ ကိုယ်စားပြုမော်ဒယ်တွေကတော့:",Be,$t,cn='<li><a href="https://huggingface.co/docs/transformers/model_doc/bart" rel="nofollow">BART</a></li> <li><a href="https://huggingface.co/docs/transformers/model_doc/mbart" rel="nofollow">mBART</a></li> <li><a href="https://huggingface.co/docs/transformers/model_doc/marian" rel="nofollow">Marian</a></li> <li><a href="https://huggingface.co/docs/transformers/model_doc/t5" rel="nofollow">T5</a></li>',Re,wt,ze,Tt,gn="တိကျတဲ့ NLP လုပ်ငန်းတာဝန်တစ်ခုကို လုပ်ဆောင်တဲ့အခါ ဘယ် architecture ကို အသုံးပြုရမယ်ဆိုတာ ဘယ်လိုဆုံးဖြတ်မလဲ။ အောက်ပါကတော့ အမြန်လမ်းညွှန်ချက် ဖြစ်ပါတယ်။",Se,yt,dn="<thead><tr><th>လုပ်ငန်းတာဝန်</th> <th>အကြံပြုထားသော Architecture</th> <th>ဥပမာများ</th></tr></thead> <tbody><tr><td>စာသားခွဲခြားသတ်မှတ်ခြင်း (sentiment, topic)</td> <td>Encoder</td> <td>BERT, RoBERTa</td></tr> <tr><td>စာသားဖန်တီးခြင်း (creative writing)</td> <td>Decoder</td> <td>GPT, LLaMA</td></tr> <tr><td>ဘာသာပြန်ခြင်း</td> <td>Encoder-Decoder</td> <td>T5, BART</td></tr> <tr><td>အကျဉ်းချုပ်ခြင်း</td> <td>Encoder-Decoder</td> <td>BART, T5</td></tr> <tr><td>Named entity recognition</td> <td>Encoder</td> <td>BERT, RoBERTa</td></tr> <tr><td>မေးခွန်းဖြေဆိုခြင်း (extractive)</td> <td>Encoder</td> <td>BERT, RoBERTa</td></tr> <tr><td>မေးခွန်းဖြေဆိုခြင်း (generative)</td> <td>Encoder-Decoder သို့မဟုတ် Decoder</td> <td>T5, GPT</td></tr> <tr><td>Conversational AI</td> <td>Decoder</td> <td>GPT, LLaMA</td></tr></tbody>",De,H,hn="<p>ဘယ်မော်ဒယ်ကို အသုံးပြုရမယ်ဆိုတာ မသေချာတဲ့အခါ အောက်ပါအချက်တွေကို ထည့်သွင်းစဉ်းစားပါ။</p> <ol><li>သင့်လုပ်ငန်းတာဝန်က ဘယ်လိုနားလည်မှုမျိုး လိုအပ်လဲ။ (Bi-directional သို့မဟုတ် Uni-directional)</li> <li>သင်ဟာ စာသားအသစ် ဖန်တီးမှာလား ဒါမှမဟုတ် ရှိပြီးသားစာသားကို ခွဲခြမ်းစိတ်ဖြာမှာလား။</li> <li>Sequence တစ်ခုကို အခြားတစ်ခုသို့ ပြောင်းလဲဖို့ လိုအပ်ပါသလား။</li></ol> <p>ဒီမေးခွန်းတွေရဲ့ အဖြေတွေက သင့်ကို မှန်ကန်တဲ့ architecture ဆီ ဦးတည်စေပါလိမ့်မယ်။</p>",Ge,Lt,je,_t,un="Large Language Models တွေဟာ မကြာသေးခင်နှစ်များအတွင်းမှာ အလျင်အမြန် ဆင့်ကဲပြောင်းလဲလာခဲ့ပြီး မျိုးဆက်သစ်တိုင်းမှာ စွမ်းရည်တွေ သိသိသာသာ တိုးတက်လာခဲ့ပါတယ်။",Oe,bt,Ue,Mt,fn="Transformer မော်ဒယ်အများစုက attention matrix က စတုရန်းပုံ (square) ဖြစ်တဲ့ full attention ကို အသုံးပြုပါတယ်။ စာသားတွေ ရှည်လျားလာတဲ့အခါမှာ ဒါဟာ တွက်ချက်မှုဆိုင်ရာ အဓိက အဟန့်အတားတစ်ခု ဖြစ်နိုင်ပါတယ်။ Longformer နဲ့ Reformer တို့ဟာ ပိုမိုထိရောက်အောင် ကြိုးစားပြီး လေ့ကျင့်မှုမြန်ဆန်စေရန် attention matrix ရဲ့ sparse version ကို အသုံးပြုကြပါတယ်။",Ie,P,xn="<p>Standard attention mechanisms တွေမှာ computational complexity က O(n²) ရှိပါတယ်။ n ဆိုတာ sequence length ပါ။ ဒီဟာက ရှည်လျားလွန်းတဲ့ sequences တွေအတွက် ပြဿနာ ဖြစ်လာပါတယ်။ အောက်မှာဖော်ပြထားတဲ့ specialized attention mechanisms တွေက ဒီကန့်သတ်ချက်ကို ဖြေရှင်းပေးပါတယ်။</p>",Qe,Ct,Ke,kt,vn='<a href="https://huggingface.co/docs/transformers/model_doc/reformer" rel="nofollow">Reformer</a> က LSH attention ကို အသုံးပြုပါတယ်။ softmax(QK^t) မှာ QK^t matrix ရဲ့ အကြီးဆုံး elements (softmax dimension မှာ) တွေကသာ အသုံးဝင်တဲ့ အထောက်အကူတွေကို ပေးပါလိမ့်မယ်။ ဒါကြောင့် Q မှာရှိတဲ့ query q တစ်ခုစီအတွက် q နဲ့ နီးစပ်တဲ့ K မှာရှိတဲ့ key k တွေကိုသာ ထည့်သွင်းစဉ်းစားနိုင်ပါတယ်။ q နဲ့ k နီးစပ်မှုရှိမရှိကို ဆုံးဖြတ်ဖို့ hash function တစ်ခုကို အသုံးပြုပါတယ်။ attention mask ကို လက်ရှိ token ကို ဝှက်ထားဖို့ ပြင်ဆင်ထားပါတယ် (ပထမဆုံး position မှာမှလွဲ၍)။ ဘာလို့လဲဆိုတော့ ဒါဟာ query နဲ့ key ကို တူညီစေပြီး (ဒါကြောင့် အချင်းချင်း အလွန်ဆင်တူပါတယ်)။ hash က ကျပန်းဖြစ်နိုင်တာကြောင့် လက်တွေ့မှာ hash function အများအပြားကို အသုံးပြုပါတယ် (n_rounds parameter နဲ့ ဆုံးဖြတ်ပါတယ်) ပြီးတော့ ၎င်းတို့ကို ပျမ်းမျှယူပါတယ်။',Ne,Et,Fe,qt,$n='<a href="https://huggingface.co/docs/transformers/model_doc/longformer" rel="nofollow">Longformer</a> က local attention ကို အသုံးပြုပါတယ်- များသောအားဖြင့် ဒေသတွင်း အကြောင်းအရာ (ဥပမာ- ဘယ်ဘက်နဲ့ ညာဘက်က tokens နှစ်ခုက ဘာတွေလဲ) က ပေးထားတဲ့ token တစ်ခုအတွက် အရေးယူဖို့ လုံလောက်ပါတယ်။ ဒါ့အပြင် ပြတင်းပေါက်ငယ်တစ်ခုရှိတဲ့ attention layers တွေကို စုစည်းခြင်းဖြင့်၊ နောက်ဆုံး layer က ပြတင်းပေါက်ထဲရှိ tokens တွေထက် ပိုမိုကျယ်ပြန့်တဲ့ receptive field ကို ပိုင်ဆိုင်နိုင်ပြီး စာကြောင်းတစ်ခုလုံးကို ကိုယ်စားပြုတဲ့ အချက်အလက် (representation) ကို တည်ဆောက်နိုင်စေပါတယ်။',Ve,Ht,wn="ကြိုတင်ရွေးချယ်ထားသော input tokens အချို့ကိုလည်း global attention ပေးထားပါတယ်။ ဒီ tokens အနည်းငယ်အတွက် attention matrix က tokens အားလုံးကို ဝင်ရောက်ကြည့်ရှုနိုင်ပြီး ဒီလုပ်ငန်းစဉ်က symmetric ဖြစ်ပါတယ်- အခြား tokens အားလုံးက အဲဒီသီးခြား tokens တွေကို ဝင်ရောက်ကြည့်ရှုနိုင်ပါတယ် (၎င်းတို့ရဲ့ local window ထဲမှာရှိတဲ့ tokens တွေအပြင်)။ ဒါကို စာတမ်းရဲ့ ပုံ 2d မှာ ပြသထားပါတယ်၊ အောက်မှာ attention mask ဥပမာကို ကြည့်ပါ။",Ye,A,Tn='<img scale="50 %" align="center" src="https://huggingface.co/datasets/huggingface/documentation-images/resolve/main/local_attention_mask.png"/>',Je,Pt,yn="parameters နည်းတဲ့ attention matrices တွေကို အသုံးပြုခြင်းအားဖြင့် မော်ဒယ်က sequence length ပိုကြီးတဲ့ inputs တွေကို လက်ခံနိုင်စေပါတယ်။",We,At,Xe,p,B,Ln="Reformer",Es,Ze,kn='<span class="katex"><span class="katex-mathml"><math xmlns="http://www.w3.org/1998/Math/MathML"><semantics><mrow><mi>l</mi></mrow><annotation encoding="application/x-tex">l</annotation></semantics></math></span><span class="katex-html" aria-hidden="true"><span class="base"><span class="strut" style="height:0.6944em;"></span><span class="mord mathnormal" style="margin-right:0.01968em;">l</span></span></span></span>',ts,es,En='<span class="katex"><span class="katex-mathml"><math xmlns="http://www.w3.org/1998/Math/MathML"><semantics><mrow><mi>d</mi></mrow><annotation encoding="application/x-tex">d</annotation></semantics></math></span><span class="katex-html" aria-hidden="true"><span class="base"><span class="strut" style="height:0.6944em;"></span><span class="mord mathnormal">d</span></span></span></span>',ss,ns,qn='<span class="katex"><span class="katex-mathml"><math xmlns="http://www.w3.org/1998/Math/MathML"><semantics><mrow><mi>l</mi></mrow><annotation encoding="application/x-tex">l</annotation></semantics></math></span><span class="katex-html" aria-hidden="true"><span class="base"><span class="strut" style="height:0.6944em;"></span><span class="mord mathnormal" style="margin-right:0.01968em;">l</span></span></span></span>',as,ls,Hn='<span class="katex"><span class="katex-mathml"><math xmlns="http://www.w3.org/1998/Math/MathML"><semantics><mrow><mi>d</mi></mrow><annotation encoding="application/x-tex">d</annotation></semantics></math></span><span class="katex-html" aria-hidden="true"><span class="base"><span class="strut" style="height:0.6944em;"></span><span class="mord mathnormal">d</span></span></span></span>',is,rs,Pn='<span class="katex"><span class="katex-mathml"><math xmlns="http://www.w3.org/1998/Math/MathML"><semantics><mrow><msub><mi>l</mi><mn>1</mn></msub><mo>×</mo><msub><mi>d</mi><mn>1</mn></msub></mrow><annotation encoding="application/x-tex">l_{1} \\times d_{1}</annotation></semantics></math></span><span class="katex-html" aria-hidden="true"><span class="base"><span class="strut" style="height:0.8444em;vertical-align:-0.15em;"></span><span class="mord"><span class="mord mathnormal" style="margin-right:0.01968em;">l</span><span class="msupsub"><span class="vlist-t vlist-t2"><span class="vlist-r"><span class="vlist" style="height:0.3011em;"><span style="top:-2.55em;margin-left:-0.0197em;margin-right:0.05em;"><span class="pstrut" style="height:2.7em;"></span><span class="sizing reset-size6 size3 mtight"><span class="mord mtight"><span class="mord mtight">1</span></span></span></span></span><span class="vlist-s">​</span></span><span class="vlist-r"><span class="vlist" style="height:0.15em;"><span></span></span></span></span></span></span><span class="mspace" style="margin-right:0.2222em;"></span><span class="mbin">×</span><span class="mspace" style="margin-right:0.2222em;"></span></span><span class="base"><span class="strut" style="height:0.8444em;vertical-align:-0.15em;"></span><span class="mord"><span class="mord mathnormal">d</span><span class="msupsub"><span class="vlist-t vlist-t2"><span class="vlist-r"><span class="vlist" style="height:0.3011em;"><span style="top:-2.55em;margin-left:0em;margin-right:0.05em;"><span class="pstrut" style="height:2.7em;"></span><span class="sizing reset-size6 size3 mtight"><span class="mord mtight"><span class="mord mtight">1</span></span></span></span></span><span class="vlist-s">​</span></span><span class="vlist-r"><span class="vlist" style="height:0.15em;"><span></span></span></span></span></span></span></span></span></span>',ms,ps,An='<span class="katex"><span class="katex-mathml"><math xmlns="http://www.w3.org/1998/Math/MathML"><semantics><mrow><msub><mi>l</mi><mn>2</mn></msub><mo>×</mo><msub><mi>d</mi><mn>2</mn></msub></mrow><annotation encoding="application/x-tex">l_{2} \\times d_{2}</annotation></semantics></math></span><span class="katex-html" aria-hidden="true"><span class="base"><span class="strut" style="height:0.8444em;vertical-align:-0.15em;"></span><span class="mord"><span class="mord mathnormal" style="margin-right:0.01968em;">l</span><span class="msupsub"><span class="vlist-t vlist-t2"><span class="vlist-r"><span class="vlist" style="height:0.3011em;"><span style="top:-2.55em;margin-left:-0.0197em;margin-right:0.05em;"><span class="pstrut" style="height:2.7em;"></span><span class="sizing reset-size6 size3 mtight"><span class="mord mtight"><span class="mord mtight">2</span></span></span></span></span><span class="vlist-s">​</span></span><span class="vlist-r"><span class="vlist" style="height:0.15em;"><span></span></span></span></span></span></span><span class="mspace" style="margin-right:0.2222em;"></span><span class="mbin">×</span><span class="mspace" style="margin-right:0.2222em;"></span></span><span class="base"><span class="strut" style="height:0.8444em;vertical-align:-0.15em;"></span><span class="mord"><span class="mord mathnormal">d</span><span class="msupsub"><span class="vlist-t vlist-t2"><span class="vlist-r"><span class="vlist" style="height:0.3011em;"><span style="top:-2.55em;margin-left:0em;margin-right:0.05em;"><span class="pstrut" style="height:2.7em;"></span><span class="sizing reset-size6 size3 mtight"><span class="mord mtight"><span class="mord mtight">2</span></span></span></span></span><span class="vlist-s">​</span></span><span class="vlist-r"><span class="vlist" style="height:0.15em;"><span></span></span></span></span></span></span></span></span></span>',os,cs,Bn='<span class="katex"><span class="katex-mathml"><math xmlns="http://www.w3.org/1998/Math/MathML"><semantics><mrow><msub><mi>l</mi><mn>1</mn></msub><mo>×</mo><msub><mi>l</mi><mn>2</mn></msub><mo>=</mo><mi>l</mi></mrow><annotation encoding="application/x-tex">l_{1} \\times l_{2} = l</annotation></semantics></math></span><span class="katex-html" aria-hidden="true"><span class="base"><span class="strut" style="height:0.8444em;vertical-align:-0.15em;"></span><span class="mord"><span class="mord mathnormal" style="margin-right:0.01968em;">l</span><span class="msupsub"><span class="vlist-t vlist-t2"><span class="vlist-r"><span class="vlist" style="height:0.3011em;"><span style="top:-2.55em;margin-left:-0.0197em;margin-right:0.05em;"><span class="pstrut" style="height:2.7em;"></span><span class="sizing reset-size6 size3 mtight"><span class="mord mtight"><span class="mord mtight">1</span></span></span></span></span><span class="vlist-s">​</span></span><span class="vlist-r"><span class="vlist" style="height:0.15em;"><span></span></span></span></span></span></span><span class="mspace" style="margin-right:0.2222em;"></span><span class="mbin">×</span><span class="mspace" style="margin-right:0.2222em;"></span></span><span class="base"><span class="strut" style="height:0.8444em;vertical-align:-0.15em;"></span><span class="mord"><span class="mord mathnormal" style="margin-right:0.01968em;">l</span><span class="msupsub"><span class="vlist-t vlist-t2"><span class="vlist-r"><span class="vlist" style="height:0.3011em;"><span style="top:-2.55em;margin-left:-0.0197em;margin-right:0.05em;"><span class="pstrut" style="height:2.7em;"></span><span class="sizing reset-size6 size3 mtight"><span class="mord mtight"><span class="mord mtight">2</span></span></span></span></span><span class="vlist-s">​</span></span><span class="vlist-r"><span class="vlist" style="height:0.15em;"><span></span></span></span></span></span></span><span class="mspace" style="margin-right:0.2778em;"></span><span class="mrel">=</span><span class="mspace" style="margin-right:0.2778em;"></span></span><span class="base"><span class="strut" style="height:0.6944em;"></span><span class="mord mathnormal" style="margin-right:0.01968em;">l</span></span></span></span>',gs,ds,Rn='<span class="katex"><span class="katex-mathml"><math xmlns="http://www.w3.org/1998/Math/MathML"><semantics><mrow><msub><mi>d</mi><mn>1</mn></msub><mo>+</mo><msub><mi>d</mi><mn>2</mn></msub><mo>=</mo><mi>d</mi></mrow><annotation encoding="application/x-tex">d_{1} + d_{2} = d</annotation></semantics></math></span><span class="katex-html" aria-hidden="true"><span class="base"><span class="strut" style="height:0.8444em;vertical-align:-0.15em;"></span><span class="mord"><span class="mord mathnormal">d</span><span class="msupsub"><span class="vlist-t vlist-t2"><span class="vlist-r"><span class="vlist" style="height:0.3011em;"><span style="top:-2.55em;margin-left:0em;margin-right:0.05em;"><span class="pstrut" style="height:2.7em;"></span><span class="sizing reset-size6 size3 mtight"><span class="mord mtight"><span class="mord mtight">1</span></span></span></span></span><span class="vlist-s">​</span></span><span class="vlist-r"><span class="vlist" style="height:0.15em;"><span></span></span></span></span></span></span><span class="mspace" style="margin-right:0.2222em;"></span><span class="mbin">+</span><span class="mspace" style="margin-right:0.2222em;"></span></span><span class="base"><span class="strut" style="height:0.8444em;vertical-align:-0.15em;"></span><span class="mord"><span class="mord mathnormal">d</span><span class="msupsub"><span class="vlist-t vlist-t2"><span class="vlist-r"><span class="vlist" style="height:0.3011em;"><span style="top:-2.55em;margin-left:0em;margin-right:0.05em;"><span class="pstrut" style="height:2.7em;"></span><span class="sizing reset-size6 size3 mtight"><span class="mord mtight"><span class="mord mtight">2</span></span></span></span></span><span class="vlist-s">​</span></span><span class="vlist-r"><span class="vlist" style="height:0.15em;"><span></span></span></span></span></span></span><span class="mspace" style="margin-right:0.2778em;"></span><span class="mrel">=</span><span class="mspace" style="margin-right:0.2778em;"></span></span><span class="base"><span class="strut" style="height:0.6944em;"></span><span class="mord mathnormal">d</span></span></span></span>',hs,us,zn='<span class="katex"><span class="katex-mathml"><math xmlns="http://www.w3.org/1998/Math/MathML"><semantics><mrow><mi>j</mi></mrow><annotation encoding="application/x-tex">j</annotation></semantics></math></span><span class="katex-html" aria-hidden="true"><span class="base"><span class="strut" style="height:0.854em;vertical-align:-0.1944em;"></span><span class="mord mathnormal" style="margin-right:0.05724em;">j</span></span></span></span>',fs,xs,Sn='<span class="katex"><span class="katex-mathml"><math xmlns="http://www.w3.org/1998/Math/MathML"><semantics><mrow><mi>j</mi><mi mathvariant="normal">%</mi><mi>l</mi><mn>1</mn></mrow><annotation encoding="application/x-tex">j \\% l1</annotation></semantics></math></span><span class="katex-html" aria-hidden="true"><span class="base"><span class="strut" style="height:0.9444em;vertical-align:-0.1944em;"></span><span class="mord mathnormal" style="margin-right:0.05724em;">j</span><span class="mord">%</span><span class="mord mathnormal" style="margin-right:0.01968em;">l</span><span class="mord">1</span></span></span></span>',vs,$s,Dn='<span class="katex"><span class="katex-mathml"><math xmlns="http://www.w3.org/1998/Math/MathML"><semantics><mrow><mi>j</mi><mi mathvariant="normal">/</mi><mi mathvariant="normal">/</mi><mi>l</mi><mn>1</mn></mrow><annotation encoding="application/x-tex">j // l1</annotation></semantics></math></span><span class="katex-html" aria-hidden="true"><span class="base"><span class="strut" style="height:1em;vertical-align:-0.25em;"></span><span class="mord mathnormal" style="margin-right:0.05724em;">j</span><span class="mord">//</span><span class="mord mathnormal" style="margin-right:0.01968em;">l</span><span class="mord">1</span></span></span></span>',ws,Ts,Bt,ys,Rt,_n="ဒီအပိုင်းမှာ ကျွန်တော်တို့ Transformer architectures သုံးမျိုးနဲ့ အထူးပြု attention mechanisms အချို့ကို လေ့လာခဲ့ပါတယ်။ ဒီ architecture တွေရဲ့ ကွာခြားချက်တွေကို နားလည်ထားတာက သင့်ရဲ့ သီးခြား NLP လုပ်ငန်းတာဝန်အတွက် မှန်ကန်တဲ့ မော်ဒယ်ကို ရွေးချယ်ဖို့အတွက် အရေးကြီးပါတယ်။",Ls,zt,bn="သင်တန်းမှာ ဆက်လက်လုပ်ဆောင်သွားတဲ့အခါ ဒီမတူညီတဲ့ architecture တွေနဲ့ လက်တွေ့အတွေ့အကြုံတွေ ရရှိလာမှာဖြစ်ပြီး သင့်ရဲ့ သီးခြားလိုအပ်ချက်တွေအတွက် ဘယ်လို fine-tune လုပ်ရမယ်ဆိုတာကို သင်ယူရမှာ ဖြစ်ပါတယ်။ နောက်အပိုင်းမှာတော့ ဒီမော်ဒယ်တွေမှာ ရှိနေတဲ့ ကန့်သတ်ချက်တွေနဲ့ ဘက်လိုက်မှုအချို့ကို လေ့လာသွားမှာဖြစ်ပြီး ၎င်းတို့ကို အသုံးပြုတဲ့အခါ သတိထားသင့်တဲ့ အချက်တွေပဲ ဖြစ်ပါတယ်။",_s,St,bs,Dt,Mn="<li><strong>Architecture</strong>: ကွန်ပျူတာစနစ်တစ်ခု၊ ဆော့ဖ်ဝဲလ်တစ်ခု သို့မဟုတ် မော်ဒယ်တစ်ခု၏ အစိတ်အပိုင်းများ စုစည်းပုံနှင့် ၎င်းတို့အချင်းချင်း ဆက်စပ်လုပ်ဆောင်ပုံကို ဖော်ပြသည့် အခြေခံဒီဇိုင်း သို့မဟုတ် ဖွဲ့စည်းပုံ။</li> <li><strong>Transformer Architecture</strong>: Natural Language Processing (NLP) မှာ အောင်မြင်မှုများစွာရရှိခဲ့တဲ့ deep learning architecture တစ်မျိုးပါ။ ၎င်းတို့ဟာ စာသားတွေထဲက စကားလုံးတွေရဲ့ ဆက်နွယ်မှုတွေကို “attention mechanism” သုံးပြီး နားလည်အောင် သင်ကြားပေးပါတယ်။</li> <li><strong>Encoder-only</strong>: Transformer မော်ဒယ်ရဲ့ encoder အစိတ်အပိုင်းကိုသာ အသုံးပြုထားသော architecture အမျိုးအစား။ စာသားနားလည်မှုလုပ်ငန်းများအတွက် သင့်တော်သည်။</li> <li><strong>Decoder-only</strong>: Transformer မော်ဒယ်ရဲ့ decoder အစိတ်အပိုင်းကိုသာ အသုံးပြုထားသော architecture အမျိုးအစား။ စာသားဖန်တီးမှုလုပ်ငန်းများအတွက် သင့်တော်သည်။</li> <li><strong>Encoder-Decoder (Sequence-to-sequence)</strong>: Transformer မော်ဒယ်ရဲ့ encoder နှင့် decoder နှစ်ခုစလုံးကို အသုံးပြုထားသော architecture အမျိုးအစား။ စာသားတစ်ခုကို အခြားစာသားတစ်ခုအဖြစ် ပြောင်းလဲခြင်းလုပ်ငန်းများ (ဥပမာ- ဘာသာပြန်ခြင်း) အတွက် သင့်တော်သည်။</li> <li><strong>Sentence Classification</strong>: စာကြောင်းတစ်ခုလုံး၏ အဓိပ္ပာယ် သို့မဟုတ် ရည်ရွယ်ချက်ကို အမျိုးအစားခွဲခြားခြင်း (ဥပမာ- စိတ်ခံစားမှု၊ ခေါင်းစဉ်)။</li> <li><strong>Named Entity Recognition (NER)</strong>: စာသားထဲက လူအမည်၊ နေရာအမည်၊ အဖွဲ့အစည်းအမည် စတဲ့ သီးခြားအမည်တွေကို ရှာဖွေဖော်ထုတ်ခြင်း။</li> <li><strong>Word Classification</strong>: စာကြောင်းတစ်ခုရှိ စကားလုံးတစ်လုံးချင်းစီကို ၎င်း၏ သဒ္ဒါ သို့မဟုတ် အခြားအဓိပ္ပာယ်အရ အမျိုးအစားခွဲခြားခြင်း။</li> <li><strong>Extractive Question Answering</strong>: ပေးထားသော စာသားအပိုင်းအစမှ မေးခွန်း၏ အဖြေကို တိုက်ရိုက်ထုတ်ယူခြင်း။</li> <li><strong>Bi-directional Attention</strong>: မော်ဒယ်က စာသားတစ်ခုလုံး၏ အကြောင်းအရာ (context) ကို ရှေ့ဘက်နှင့် နောက်ဘက် နှစ်ဖက်စလုံးမှ ကြည့်ရှုနားလည်နိုင်ခြင်း။</li> <li><strong>Auto-encoding Models</strong>: စာသားကို ဖျက်ဆီးပြီးနောက် မူလစာသားကို ပြန်လည်တည်ဆောက်ရန် သင်ကြားထားသော မော်ဒယ်များ။</li> <li><strong>BERT (Bidirectional Encoder Representations from Transformers)</strong>: Google မှ တီထွင်ထားသော encoder-only Transformer မော်ဒယ်။</li> <li><strong>DistilBERT</strong>: BERT မော်ဒယ်ကို သေးငယ်ပြီး ပိုမိုမြန်ဆန်အောင် ပြုလုပ်ထားသော မော်ဒယ်။</li> <li><strong>Text Generation</strong>: AI မော်ဒယ်များကို အသုံးပြု၍ လူသားကဲ့သို့သော စာသားအသစ်များ ဖန်တီးခြင်း။</li> <li><strong>Auto-regressive Models</strong>: နောက်ထပ် token ကို ခန့်မှန်းရန် ယခင် tokens များကိုသာ အသုံးပြု၍ စာသားများကို တစ်ကြိမ်လျှင် token တစ်ခုချင်းစီ ဖန်တီးသော မော်ဒယ်များ။</li> <li><strong>GPT (Generative Pre-trained Transformer)</strong>: OpenAI မှ တီထွင်ထားသော decoder-only Transformer မော်ဒယ်။</li> <li><strong>Llama</strong>: Meta မှ တီထွင်ထားသော decoder-only Large Language Model (LLM) အမျိုးအစား။</li> <li><strong>Gemma</strong>: Google မှ တီထွင်ထားသော decoder-only Large Language Model (LLM) အမျိုးအစား။</li> <li><strong>DeepSeek</strong>: DeepSeek AI မှ တီထွင်ထားသော decoder-only Large Language Model (LLM) အမျိုးအစား။</li> <li><strong>Pretraining</strong>: မော်ဒယ်ကို များပြားလှသော အထွေထွေဒေတာများဖြင့် အစောပိုင်းသင်ကြားမှု။</li> <li><strong>Instruction Tuning</strong>: မော်ဒယ်ကို သီးခြားညွှန်ကြားချက်များကို လိုက်နာပြီး အထောက်အကူဖြစ်စေသော တုံ့ပြန်မှုများ ထုတ်လုပ်ရန် fine-tune လုပ်ခြင်း။</li> <li><strong>Token</strong>: စာသားကို ပိုင်းခြားထားသော အသေးငယ်ဆုံးယူနစ် (ဥပမာ- စကားလုံး၊ စာလုံးအစိတ်အပိုင်း)။</li> <li><strong>Summarization</strong>: စာသားရှည်များကို အကျဉ်းချုပ်ဖော်ပြခြင်း။</li> <li><strong>Translation</strong>: ဘာသာစကားတစ်ခုမှ အခြားတစ်ခုသို့ စာသားများကို ပြောင်းလဲခြင်း။</li> <li><strong>Generative Question Answering</strong>: မေးခွန်း၏ အဖြေကို ပေးထားသော အကြောင်းအရာ (context) အပေါ် အခြေခံ၍ စာသားအသစ်များ ဖန်တီးခြင်းဖြင့် ထုတ်ပေးခြင်း။</li> <li><strong>BART (Bidirectional and Auto-Regressive Transformers)</strong>: Encoder-Decoder Transformer မော်ဒယ်တစ်မျိုး။</li> <li><strong>T5 (Text-to-Text Transfer Transformer)</strong>: Encoder-Decoder Transformer မော်ဒယ်တစ်မျိုးဖြစ်ပြီး လုပ်ငန်းတာဝန်အားလုံးကို “text-to-text” ပုံစံဖြင့် ဖြေရှင်းရန် ဒီဇိုင်းထုတ်ထားသည်။</li> <li><strong>Marian</strong>: အဓိကအားဖြင့် machine translation အတွက် အသုံးပြုသော encoder-decoder မော်ဒယ်။</li> <li><strong>mBART</strong>: Multilingual BART (ဘာသာစကားမျိုးစုံအတွက် BART)။</li> <li><strong>Data-to-text Generation</strong>: ဖွဲ့စည်းထားသော ဒေတာများကို သဘာဝဘာသာစကားစာသားအဖြစ် ပြောင်းလဲခြင်း။</li> <li><strong>Grammar Correction</strong>: စာသားရှိ သဒ္ဒါအမှားများကို ပြင်ဆင်ခြင်း။</li> <li><strong>Conversational AI</strong>: လူသားများနှင့် သဘာဝဘာသာစကားဖြင့် အပြန်အလှန်ပြောဆိုနိုင်သော AI စနစ်များ။</li> <li><strong>RoBERTa</strong>: BERT ကို ပိုမိုကောင်းမွန်အောင် လေ့ကျင့်ထားသော encoder-only မော်ဒယ်။</li> <li><strong>Attention Matrix</strong>: Transformer မော်ဒယ်များတွင် အသုံးပြုသော matrix တစ်ခုဖြစ်ပြီး input sequence အတွင်းရှိ token များအချင်းချင်း မည်မျှဆက်စပ်နေသည်ကို ဖော်ပြသည်။</li> <li><strong>Computational Bottleneck</strong>: စနစ်တစ်ခု၏ စွမ်းဆောင်ရည်ကို ကန့်သတ်ထားသော အရင်းအမြစ် သို့မဟုတ် လုပ်ငန်းစဉ်။</li> <li><strong>Sparse Attention</strong>: attention matrix ၏ အရေးမကြီးသော အစိတ်အပိုင်းများကို လျစ်လျူရှုခြင်းဖြင့် တွက်ချက်မှု ထိရောက်အောင် ပြုလုပ်ထားသော attention mechanism အမျိုးအစား။</li> <li><strong>LSH (Locality Sensitive Hashing) Attention</strong>: Reformer မော်ဒယ်တွင် အသုံးပြုသော attention အမျိုးအစားဖြစ်ပြီး ဆင်တူသော query နှင့် key များကို ရှာဖွေရန် hash function များကို အသုံးပြုသည်။</li> <li><strong>Longformer</strong>: ရှည်လျားသော input sequences များကို ကိုင်တွယ်နိုင်ရန် local attention နှင့် global attention တို့ကို ပေါင်းစပ်အသုံးပြုထားသော Transformer မော်ဒယ်။</li> <li><strong>Local Attention</strong>: ပေးထားသော token တစ်ခုအတွက် အနီးအနားရှိ tokens များကိုသာ အာရုံစိုက်သော attention mechanism။</li> <li><strong>Receptive Field</strong>: neural network layer တစ်ခု၏ output ယူနစ်တစ်ခုကို လွှမ်းမိုးသော input data ၏ အရွယ်အစား။</li> <li><strong>Global Attention</strong>: အချို့သော input tokens များအတွက် input sequence ရှိ tokens အားလုံးကို အာရုံစိုက်ခွင့်ပြုသော attention mechanism။</li> <li><strong>Axial Positional Encodings</strong>: ရှည်လျားသော sequences များအတွက် positional encoding ကို ပိုမိုထိရောက်အောင် ပြုလုပ်ရန် matrix တစ်ခုကို သေးငယ်သော matrices နှစ်ခုအဖြစ် ခွဲထုတ်ခြင်းနည်းလမ်း။</li> <li><strong>Hidden State</strong>: Transformer မော်ဒယ်များတွင် layer တစ်ခုမှ အခြားတစ်ခုသို့ လက်ဆင့်ကမ်းပေးသော အတွင်းပိုင်း ကိုယ်စားပြုအချက်အလက်။</li> <li><strong>Dimension</strong>: vector သို့မဟုတ် matrix တစ်ခု၏ အတိုင်းအတာအရေအတွက်။</li>",Ms,Gt,Cs,Ot,ks;return R=new Fn({props:{chapter:1,classNames:"absolute z-10 right-0 top-0"}}),z=new Kn({props:{containerStyle:"float: right; margin-left: 10px; display: inline-flex; position: relative; z-index: 10;"}}),S=new v({props:{title:"Transformer Architectures များ",local:"transformer-architectures",headingTag:"h1"}}),j=new v({props:{title:"Encoder မော်ဒယ်များ",local:"encoder-models",headingTag:"h2"}}),O=new qs({props:{id:"MUqNwgPjJvQ"}}),F=new v({props:{title:"Decoder မော်ဒယ်များ",local:"decoder-models",headingTag:"h2"}}),V=new qs({props:{id:"d_ixlCubqQw"}}),tt=new v({props:{title:"ခေတ်မီ Large Language Models (LLMs) များ",local:"ခတမ-large-language-models-llms-မ",headingTag:"h3"}}),lt=new v({props:{title:"ခေတ်မီ LLMs တွေရဲ့ အဓိက စွမ်းရည်များ",local:"ခတမ-llms-တရ-အဓက-စမရညမ",headingTag:"h4"}}),pt=new v({props:{title:"Sequence-to-sequence မော်ဒယ်များ",local:"sequence-to-sequence-models",headingTag:"h2"}}),ot=new qs({props:{id:"0_4KEb08xrE"}}),ht=new v({props:{title:"လက်တွေ့အသုံးချမှုများ",local:"လကတအသခမမ",headingTag:"h3"}}),wt=new v({props:{title:"မှန်ကန်သော Architecture ကို ရွေးချယ်ခြင်း",local:"choosing-the-right-architecture",headingTag:"h2"}}),Lt=new v({props:{title:"LLMs တွေရဲ့ ဆင့်ကဲပြောင်းလဲမှု",local:"llms-တရ-ဆငကပငလမ",headingTag:"h2"}}),bt=new v({props:{title:"Attention Mechanisms",local:"attention-mechanisms",headingTag:"h2"}}),Ct=new v({props:{title:"LSH attention",local:"lsh-attention",headingTag:"h3"}}),Et=new v({props:{title:"Local attention",local:"local-attention",headingTag:"h3"}}),At=new v({props:{title:"Axial positional encodings",local:"axial-positional-encodings",headingTag:"h3"}}),Bt=new v({props:{title:"နိဂုံးချုပ်",local:"conclusion",headingTag:"h2"}}),St=new v({props:{title:"ဝေါဟာရ ရှင်းလင်းချက် (Glossary)",local:"ဝဟရ-ရငလငခက-glossary",headingTag:"h2"}}),Gt=new Nn({props:{source:"https://github.com/huggingface/course/blob/main/chapters/my/chapter1/6.mdx"}}),{c(){M=i("meta"),It=a(),jt=i("p"),Qt=a(),c(R.$$.fragment),Kt=a(),c(z.$$.fragment),Nt=a(),c(S.$$.fragment),Ft=a(),D=i("p"),D.textContent=Ps,Vt=a(),G=i("p"),G.textContent=As,Yt=a(),C=i("blockquote"),C.innerHTML=Bs,Jt=a(),c(j.$$.fragment),Wt=a(),c(O.$$.fragment),Xt=a(),U=i("p"),U.innerHTML=Rs,Zt=a(),I=i("p"),I.textContent=zs,te=a(),Q=i("p"),Q.textContent=Ss,ee=a(),k=i("blockquote"),k.innerHTML=Ds,se=a(),K=i("p"),K.textContent=Gs,ne=a(),N=i("ul"),N.innerHTML=js,ae=a(),c(F.$$.fragment),le=a(),c(V.$$.fragment),ie=a(),Y=i("p"),Y.innerHTML=Os,re=a(),J=i("p"),J.textContent=Us,me=a(),W=i("p"),W.textContent=Is,pe=a(),E=i("blockquote"),E.innerHTML=Qs,oe=a(),X=i("p"),X.textContent=Ks,ce=a(),Z=i("ul"),Z.innerHTML=Ns,ge=a(),c(tt.$$.fragment),de=a(),et=i("p"),et.textContent=Fs,he=a(),st=i("p"),st.textContent=Vs,ue=a(),nt=i("ol"),nt.innerHTML=Ys,fe=a(),at=i("p"),at.textContent=Js,xe=a(),c(lt.$$.fragment),ve=a(),it=i("p"),it.textContent=Ws,$e=a(),rt=i("table"),rt.innerHTML=Xs,we=a(),mt=i("p"),mt.innerHTML=Zs,Te=a(),_=i("iframe"),ye=a(),c(pt.$$.fragment),Le=a(),c(ot.$$.fragment),_e=a(),ct=i("p"),ct.innerHTML=en,be=a(),gt=i("p"),gt.textContent=sn,Me=a(),dt=i("p"),dt.textContent=nn,Ce=a(),q=i("blockquote"),q.innerHTML=an,ke=a(),c(ht.$$.fragment),Ee=a(),ut=i("p"),ut.textContent=ln,qe=a(),ft=i("table"),ft.innerHTML=rn,He=a(),xt=i("p"),xt.textContent=mn,Pe=a(),b=i("iframe"),Ae=a(),vt=i("p"),vt.textContent=on,Be=a(),$t=i("ul"),$t.innerHTML=cn,Re=a(),c(wt.$$.fragment),ze=a(),Tt=i("p"),Tt.textContent=gn,Se=a(),yt=i("table"),yt.innerHTML=dn,De=a(),H=i("blockquote"),H.innerHTML=hn,Ge=a(),c(Lt.$$.fragment),je=a(),_t=i("p"),_t.textContent=un,Oe=a(),c(bt.$$.fragment),Ue=a(),Mt=i("p"),Mt.textContent=fn,Ie=a(),P=i("blockquote"),P.innerHTML=xn,Qe=a(),c(Ct.$$.fragment),Ke=a(),kt=i("p"),kt.innerHTML=vn,Ne=a(),c(Et.$$.fragment),Fe=a(),qt=i("p"),qt.innerHTML=$n,Ve=a(),Ht=i("p"),Ht.textContent=wn,Ye=a(),A=i("div"),A.innerHTML=Tn,Je=a(),Pt=i("p"),Pt.textContent=yn,We=a(),c(At.$$.fragment),Xe=a(),p=i("p"),B=i("a"),B.textContent=Ln,Es=w(" က axial positional encodings တွေကို အသုံးပြုပါတယ်။ ရိုးရာ Transformer မော်ဒယ်တွေမှာ positional encoding E က"),Ze=new y(!1),ts=w(" by"),es=new y(!1),ss=w(" matrix တစ်ခုဖြစ်ပြီး"),ns=new y(!1),as=w(" က sequence length ဖြစ်ကာ"),ls=new y(!1),is=w(" က hidden state ရဲ့ dimension ဖြစ်ပါတယ်။ စာသားတွေ အလွန်ရှည်လျားရင် ဒီ matrix က အလွန်ကြီးမားပြီး GPU ပေါ်မှာ နေရာအများကြီး ယူနိုင်ပါတယ်။ ဒါကို ဖြေလျှော့ဖို့အတွက် axial positional encodings တွေက အဲဒီကြီးမားတဲ့ matrix E ကို E1 နဲ့ E2 ဆိုတဲ့ သေးငယ်တဲ့ matrices နှစ်ခုအဖြစ် ခွဲထုတ်တာကို ဆိုလိုပါတယ်။ E1 နဲ့ E2 ရဲ့ dimensions တွေကတော့"),rs=new y(!1),ms=w(" နဲ့"),ps=new y(!1),os=w(" ဖြစ်ပြီး"),cs=new y(!1),gs=w(" နဲ့"),ds=new y(!1),hs=w(" ဖြစ်ပါတယ်။ (အလျားတွေအတွက် မြှောက်လဒ်နဲ့ဆိုရင် ဒါက အများကြီး သေးငယ်သွားပါလိမ့်မယ်)။ E မှာရှိတဲ့ time step"),us=new y(!1),fs=w(" အတွက် embedding ကို E1 မှာရှိတဲ့ time step"),xs=new y(!1),vs=w(" အတွက် embedding နဲ့ E2 မှာရှိတဲ့ time step"),$s=new y(!1),ws=w(" အတွက် embedding တွေကို ပေါင်းစပ်ခြင်းဖြင့် ရရှိပါတယ်။"),Ts=a(),c(Bt.$$.fragment),ys=a(),Rt=i("p"),Rt.textContent=_n,Ls=a(),zt=i("p"),zt.textContent=bn,_s=a(),c(St.$$.fragment),bs=a(),Dt=i("ul"),Dt.innerHTML=Mn,Ms=a(),c(Gt.$$.fragment),Cs=a(),Ot=i("p"),this.h()},l(t){const e=Qn("svelte-u9bgzb",document.head);M=r(e,"META",{name:!0,content:!0}),e.forEach(s),It=l(t),jt=r(t,"P",{}),Ut(jt).forEach(s),Qt=l(t),g(R.$$.fragment,t),Kt=l(t),g(z.$$.fragment,t),Nt=l(t),g(S.$$.fragment,t),Ft=l(t),D=r(t,"P",{"data-svelte-h":!0}),m(D)!=="svelte-12sf8rp"&&(D.textContent=Ps),Vt=l(t),G=r(t,"P",{"data-svelte-h":!0}),m(G)!=="svelte-1kw852d"&&(G.textContent=As),Yt=l(t),C=r(t,"BLOCKQUOTE",{class:!0,"data-svelte-h":!0}),m(C)!=="svelte-1dgjq2g"&&(C.innerHTML=Bs),Jt=l(t),g(j.$$.fragment,t),Wt=l(t),g(O.$$.fragment,t),Xt=l(t),U=r(t,"P",{"data-svelte-h":!0}),m(U)!=="svelte-12wfnhs"&&(U.innerHTML=Rs),Zt=l(t),I=r(t,"P",{"data-svelte-h":!0}),m(I)!=="svelte-1a5xn8j"&&(I.textContent=zs),te=l(t),Q=r(t,"P",{"data-svelte-h":!0}),m(Q)!=="svelte-5cu2ik"&&(Q.textContent=Ss),ee=l(t),k=r(t,"BLOCKQUOTE",{class:!0,"data-svelte-h":!0}),m(k)!=="svelte-v6bjdq"&&(k.innerHTML=Ds),se=l(t),K=r(t,"P",{"data-svelte-h":!0}),m(K)!=="svelte-18s9ndb"&&(K.textContent=Gs),ne=l(t),N=r(t,"UL",{"data-svelte-h":!0}),m(N)!=="svelte-vv3q6"&&(N.innerHTML=js),ae=l(t),g(F.$$.fragment,t),le=l(t),g(V.$$.fragment,t),ie=l(t),Y=r(t,"P",{"data-svelte-h":!0}),m(Y)!=="svelte-11um338"&&(Y.innerHTML=Os),re=l(t),J=r(t,"P",{"data-svelte-h":!0}),m(J)!=="svelte-1vr2e2t"&&(J.textContent=Us),me=l(t),W=r(t,"P",{"data-svelte-h":!0}),m(W)!=="svelte-1hvnka5"&&(W.textContent=Is),pe=l(t),E=r(t,"BLOCKQUOTE",{class:!0,"data-svelte-h":!0}),m(E)!=="svelte-1w1dgy3"&&(E.innerHTML=Qs),oe=l(t),X=r(t,"P",{"data-svelte-h":!0}),m(X)!=="svelte-18s9ndb"&&(X.textContent=Ks),ce=l(t),Z=r(t,"UL",{"data-svelte-h":!0}),m(Z)!=="svelte-1plq41k"&&(Z.innerHTML=Ns),ge=l(t),g(tt.$$.fragment,t),de=l(t),et=r(t,"P",{"data-svelte-h":!0}),m(et)!=="svelte-9o8tpe"&&(et.textContent=Fs),he=l(t),st=r(t,"P",{"data-svelte-h":!0}),m(st)!=="svelte-ruuxyo"&&(st.textContent=Vs),ue=l(t),nt=r(t,"OL",{"data-svelte-h":!0}),m(nt)!=="svelte-s6si7n"&&(nt.innerHTML=Ys),fe=l(t),at=r(t,"P",{"data-svelte-h":!0}),m(at)!=="svelte-11plfwj"&&(at.textContent=Js),xe=l(t),g(lt.$$.fragment,t),ve=l(t),it=r(t,"P",{"data-svelte-h":!0}),m(it)!=="svelte-1wmywh0"&&(it.textContent=Ws),$e=l(t),rt=r(t,"TABLE",{"data-svelte-h":!0}),m(rt)!=="svelte-1rajyec"&&(rt.innerHTML=Xs),we=l(t),mt=r(t,"P",{"data-svelte-h":!0}),m(mt)!=="svelte-1vyq902"&&(mt.innerHTML=Zs),Te=l(t),_=r(t,"IFRAME",{src:!0,frameborder:!0,width:!0,height:!0}),Ut(_).forEach(s),ye=l(t),g(pt.$$.fragment,t),Le=l(t),g(ot.$$.fragment,t),_e=l(t),ct=r(t,"P",{"data-svelte-h":!0}),m(ct)!=="svelte-1y0gbx9"&&(ct.innerHTML=en),be=l(t),gt=r(t,"P",{"data-svelte-h":!0}),m(gt)!=="svelte-yhsu2k"&&(gt.textContent=sn),Me=l(t),dt=r(t,"P",{"data-svelte-h":!0}),m(dt)!=="svelte-aut367"&&(dt.textContent=nn),Ce=l(t),q=r(t,"BLOCKQUOTE",{class:!0,"data-svelte-h":!0}),m(q)!=="svelte-1kaz64e"&&(q.innerHTML=an),ke=l(t),g(ht.$$.fragment,t),Ee=l(t),ut=r(t,"P",{"data-svelte-h":!0}),m(ut)!=="svelte-qigqke"&&(ut.textContent=ln),qe=l(t),ft=r(t,"TABLE",{"data-svelte-h":!0}),m(ft)!=="svelte-17z7ivn"&&(ft.innerHTML=rn),He=l(t),xt=r(t,"P",{"data-svelte-h":!0}),m(xt)!=="svelte-11omcl6"&&(xt.textContent=mn),Pe=l(t),b=r(t,"IFRAME",{src:!0,frameborder:!0,width:!0,height:!0}),Ut(b).forEach(s),Ae=l(t),vt=r(t,"P",{"data-svelte-h":!0}),m(vt)!=="svelte-18s9ndb"&&(vt.textContent=on),Be=l(t),$t=r(t,"UL",{"data-svelte-h":!0}),m($t)!=="svelte-sn73k4"&&($t.innerHTML=cn),Re=l(t),g(wt.$$.fragment,t),ze=l(t),Tt=r(t,"P",{"data-svelte-h":!0}),m(Tt)!=="svelte-ehqzpm"&&(Tt.textContent=gn),Se=l(t),yt=r(t,"TABLE",{"data-svelte-h":!0}),m(yt)!=="svelte-14gw3d6"&&(yt.innerHTML=dn),De=l(t),H=r(t,"BLOCKQUOTE",{class:!0,"data-svelte-h":!0}),m(H)!=="svelte-mzf320"&&(H.innerHTML=hn),Ge=l(t),g(Lt.$$.fragment,t),je=l(t),_t=r(t,"P",{"data-svelte-h":!0}),m(_t)!=="svelte-1q59e00"&&(_t.textContent=un),Oe=l(t),g(bt.$$.fragment,t),Ue=l(t),Mt=r(t,"P",{"data-svelte-h":!0}),m(Mt)!=="svelte-s2jiuq"&&(Mt.textContent=fn),Ie=l(t),P=r(t,"BLOCKQUOTE",{class:!0,"data-svelte-h":!0}),m(P)!=="svelte-15sfct3"&&(P.innerHTML=xn),Qe=l(t),g(Ct.$$.fragment,t),Ke=l(t),kt=r(t,"P",{"data-svelte-h":!0}),m(kt)!=="svelte-1im6zjd"&&(kt.innerHTML=vn),Ne=l(t),g(Et.$$.fragment,t),Fe=l(t),qt=r(t,"P",{"data-svelte-h":!0}),m(qt)!=="svelte-kd3qtr"&&(qt.innerHTML=$n),Ve=l(t),Ht=r(t,"P",{"data-svelte-h":!0}),m(Ht)!=="svelte-14yrf3n"&&(Ht.textContent=wn),Ye=l(t),A=r(t,"DIV",{class:!0,"data-svelte-h":!0}),m(A)!=="svelte-d4kpls"&&(A.innerHTML=Tn),Je=l(t),Pt=r(t,"P",{"data-svelte-h":!0}),m(Pt)!=="svelte-1xoto04"&&(Pt.textContent=yn),We=l(t),g(At.$$.fragment,t),Xe=l(t),p=r(t,"P",{});var o=Ut(p);B=r(o,"A",{href:!0,rel:!0,"data-svelte-h":!0}),m(B)!=="svelte-1bpx0mm"&&(B.textContent=Ln),Es=T(o," က axial positional encodings တွေကို အသုံးပြုပါတယ်။ ရိုးရာ Transformer မော်ဒယ်တွေမှာ positional encoding E က"),Ze=L(o,!1),ts=T(o," by"),es=L(o,!1),ss=T(o," matrix တစ်ခုဖြစ်ပြီး"),ns=L(o,!1),as=T(o," က sequence length ဖြစ်ကာ"),ls=L(o,!1),is=T(o," က hidden state ရဲ့ dimension ဖြစ်ပါတယ်။ စာသားတွေ အလွန်ရှည်လျားရင် ဒီ matrix က အလွန်ကြီးမားပြီး GPU ပေါ်မှာ နေရာအများကြီး ယူနိုင်ပါတယ်။ ဒါကို ဖြေလျှော့ဖို့အတွက် axial positional encodings တွေက အဲဒီကြီးမားတဲ့ matrix E ကို E1 နဲ့ E2 ဆိုတဲ့ သေးငယ်တဲ့ matrices နှစ်ခုအဖြစ် ခွဲထုတ်တာကို ဆိုလိုပါတယ်။ E1 နဲ့ E2 ရဲ့ dimensions တွေကတော့"),rs=L(o,!1),ms=T(o," နဲ့"),ps=L(o,!1),os=T(o," ဖြစ်ပြီး"),cs=L(o,!1),gs=T(o," နဲ့"),ds=L(o,!1),hs=T(o," ဖြစ်ပါတယ်။ (အလျားတွေအတွက် မြှောက်လဒ်နဲ့ဆိုရင် ဒါက အများကြီး သေးငယ်သွားပါလိမ့်မယ်)။ E မှာရှိတဲ့ time step"),us=L(o,!1),fs=T(o," အတွက် embedding ကို E1 မှာရှိတဲ့ time step"),xs=L(o,!1),vs=T(o," အတွက် embedding နဲ့ E2 မှာရှိတဲ့ time step"),$s=L(o,!1),ws=T(o," အတွက် embedding တွေကို ပေါင်းစပ်ခြင်းဖြင့် ရရှိပါတယ်။"),o.forEach(s),Ts=l(t),g(Bt.$$.fragment,t),ys=l(t),Rt=r(t,"P",{"data-svelte-h":!0}),m(Rt)!=="svelte-8oc28m"&&(Rt.textContent=_n),Ls=l(t),zt=r(t,"P",{"data-svelte-h":!0}),m(zt)!=="svelte-1bav09f"&&(zt.textContent=bn),_s=l(t),g(St.$$.fragment,t),bs=l(t),Dt=r(t,"UL",{"data-svelte-h":!0}),m(Dt)!=="svelte-nowsse"&&(Dt.innerHTML=Mn),Ms=l(t),g(Gt.$$.fragment,t),Cs=l(t),Ot=r(t,"P",{}),Ut(Ot).forEach(s),this.h()},h(){x(M,"name","hf:doc:metadata"),x(M,"content",Yn),x(C,"class","tip"),x(k,"class","tip"),x(E,"class","tip"),Cn(_.src,tn="https://huggingface.co/openai-community/gpt2")||x(_,"src",tn),x(_,"frameborder","0"),x(_,"width","100%"),x(_,"height","450"),x(q,"class","tip"),Cn(b.src,pn="https://course-demos-speech-to-speech-translation.hf.space")||x(b,"src",pn),x(b,"frameborder","0"),x(b,"width","850"),x(b,"height","450"),x(H,"class","tip"),x(P,"class","tip"),x(A,"class","flex justify-center"),x(B,"href","https://huggingface.co/docs/transformers/model_doc/reformer"),x(B,"rel","nofollow"),Ze.a=ts,es.a=ss,ns.a=as,ls.a=is,rs.a=ms,ps.a=os,cs.a=gs,ds.a=hs,us.a=fs,xs.a=vs,$s.a=ws},m(t,e){$(document.head,M),n(t,It,e),n(t,jt,e),n(t,Qt,e),d(R,t,e),n(t,Kt,e),d(z,t,e),n(t,Nt,e),d(S,t,e),n(t,Ft,e),n(t,D,e),n(t,Vt,e),n(t,G,e),n(t,Yt,e),n(t,C,e),n(t,Jt,e),d(j,t,e),n(t,Wt,e),d(O,t,e),n(t,Xt,e),n(t,U,e),n(t,Zt,e),n(t,I,e),n(t,te,e),n(t,Q,e),n(t,ee,e),n(t,k,e),n(t,se,e),n(t,K,e),n(t,ne,e),n(t,N,e),n(t,ae,e),d(F,t,e),n(t,le,e),d(V,t,e),n(t,ie,e),n(t,Y,e),n(t,re,e),n(t,J,e),n(t,me,e),n(t,W,e),n(t,pe,e),n(t,E,e),n(t,oe,e),n(t,X,e),n(t,ce,e),n(t,Z,e),n(t,ge,e),d(tt,t,e),n(t,de,e),n(t,et,e),n(t,he,e),n(t,st,e),n(t,ue,e),n(t,nt,e),n(t,fe,e),n(t,at,e),n(t,xe,e),d(lt,t,e),n(t,ve,e),n(t,it,e),n(t,$e,e),n(t,rt,e),n(t,we,e),n(t,mt,e),n(t,Te,e),n(t,_,e),n(t,ye,e),d(pt,t,e),n(t,Le,e),d(ot,t,e),n(t,_e,e),n(t,ct,e),n(t,be,e),n(t,gt,e),n(t,Me,e),n(t,dt,e),n(t,Ce,e),n(t,q,e),n(t,ke,e),d(ht,t,e),n(t,Ee,e),n(t,ut,e),n(t,qe,e),n(t,ft,e),n(t,He,e),n(t,xt,e),n(t,Pe,e),n(t,b,e),n(t,Ae,e),n(t,vt,e),n(t,Be,e),n(t,$t,e),n(t,Re,e),d(wt,t,e),n(t,ze,e),n(t,Tt,e),n(t,Se,e),n(t,yt,e),n(t,De,e),n(t,H,e),n(t,Ge,e),d(Lt,t,e),n(t,je,e),n(t,_t,e),n(t,Oe,e),d(bt,t,e),n(t,Ue,e),n(t,Mt,e),n(t,Ie,e),n(t,P,e),n(t,Qe,e),d(Ct,t,e),n(t,Ke,e),n(t,kt,e),n(t,Ne,e),d(Et,t,e),n(t,Fe,e),n(t,qt,e),n(t,Ve,e),n(t,Ht,e),n(t,Ye,e),n(t,A,e),n(t,Je,e),n(t,Pt,e),n(t,We,e),d(At,t,e),n(t,Xe,e),n(t,p,e),$(p,B),$(p,Es),Ze.m(kn,p),$(p,ts),es.m(En,p),$(p,ss),ns.m(qn,p),$(p,as),ls.m(Hn,p),$(p,is),rs.m(Pn,p),$(p,ms),ps.m(An,p),$(p,os),cs.m(Bn,p),$(p,gs),ds.m(Rn,p),$(p,hs),us.m(zn,p),$(p,fs),xs.m(Sn,p),$(p,vs),$s.m(Dn,p),$(p,ws),n(t,Ts,e),d(Bt,t,e),n(t,ys,e),n(t,Rt,e),n(t,Ls,e),n(t,zt,e),n(t,_s,e),d(St,t,e),n(t,bs,e),n(t,Dt,e),n(t,Ms,e),d(Gt,t,e),n(t,Cs,e),n(t,Ot,e),ks=!0},p:jn,i(t){ks||(h(R.$$.fragment,t),h(z.$$.fragment,t),h(S.$$.fragment,t),h(j.$$.fragment,t),h(O.$$.fragment,t),h(F.$$.fragment,t),h(V.$$.fragment,t),h(tt.$$.fragment,t),h(lt.$$.fragment,t),h(pt.$$.fragment,t),h(ot.$$.fragment,t),h(ht.$$.fragment,t),h(wt.$$.fragment,t),h(Lt.$$.fragment,t),h(bt.$$.fragment,t),h(Ct.$$.fragment,t),h(Et.$$.fragment,t),h(At.$$.fragment,t),h(Bt.$$.fragment,t),h(St.$$.fragment,t),h(Gt.$$.fragment,t),ks=!0)},o(t){u(R.$$.fragment,t),u(z.$$.fragment,t),u(S.$$.fragment,t),u(j.$$.fragment,t),u(O.$$.fragment,t),u(F.$$.fragment,t),u(V.$$.fragment,t),u(tt.$$.fragment,t),u(lt.$$.fragment,t),u(pt.$$.fragment,t),u(ot.$$.fragment,t),u(ht.$$.fragment,t),u(wt.$$.fragment,t),u(Lt.$$.fragment,t),u(bt.$$.fragment,t),u(Ct.$$.fragment,t),u(Et.$$.fragment,t),u(At.$$.fragment,t),u(Bt.$$.fragment,t),u(St.$$.fragment,t),u(Gt.$$.fragment,t),ks=!1},d(t){t&&(s(It),s(jt),s(Qt),s(Kt),s(Nt),s(Ft),s(D),s(Vt),s(G),s(Yt),s(C),s(Jt),s(Wt),s(Xt),s(U),s(Zt),s(I),s(te),s(Q),s(ee),s(k),s(se),s(K),s(ne),s(N),s(ae),s(le),s(ie),s(Y),s(re),s(J),s(me),s(W),s(pe),s(E),s(oe),s(X),s(ce),s(Z),s(ge),s(de),s(et),s(he),s(st),s(ue),s(nt),s(fe),s(at),s(xe),s(ve),s(it),s($e),s(rt),s(we),s(mt),s(Te),s(_),s(ye),s(Le),s(_e),s(ct),s(be),s(gt),s(Me),s(dt),s(Ce),s(q),s(ke),s(Ee),s(ut),s(qe),s(ft),s(He),s(xt),s(Pe),s(b),s(Ae),s(vt),s(Be),s($t),s(Re),s(ze),s(Tt),s(Se),s(yt),s(De),s(H),s(Ge),s(je),s(_t),s(Oe),s(Ue),s(Mt),s(Ie),s(P),s(Qe),s(Ke),s(kt),s(Ne),s(Fe),s(qt),s(Ve),s(Ht),s(Ye),s(A),s(Je),s(Pt),s(We),s(Xe),s(p),s(Ts),s(ys),s(Rt),s(Ls),s(zt),s(_s),s(bs),s(Dt),s(Ms),s(Cs),s(Ot)),s(M),f(R,t),f(z,t),f(S,t),f(j,t),f(O,t),f(F,t),f(V,t),f(tt,t),f(lt,t),f(pt,t),f(ot,t),f(ht,t),f(wt,t),f(Lt,t),f(bt,t),f(Ct,t),f(Et,t),f(At,t),f(Bt,t),f(St,t),f(Gt,t)}}}const Yn='{"title":"Transformer Architectures များ","local":"transformer-architectures","sections":[{"title":"Encoder မော်ဒယ်များ","local":"encoder-models","sections":[],"depth":2},{"title":"Decoder မော်ဒယ်များ","local":"decoder-models","sections":[{"title":"ခေတ်မီ Large Language Models (LLMs) များ","local":"ခတမ-large-language-models-llms-မ","sections":[{"title":"ခေတ်မီ LLMs တွေရဲ့ အဓိက စွမ်းရည်များ","local":"ခတမ-llms-တရ-အဓက-စမရညမ","sections":[],"depth":4}],"depth":3}],"depth":2},{"title":"Sequence-to-sequence မော်ဒယ်များ","local":"sequence-to-sequence-models","sections":[{"title":"လက်တွေ့အသုံးချမှုများ","local":"လကတအသခမမ","sections":[],"depth":3}],"depth":2},{"title":"မှန်ကန်သော Architecture ကို ရွေးချယ်ခြင်း","local":"choosing-the-right-architecture","sections":[],"depth":2},{"title":"LLMs တွေရဲ့ ဆင့်ကဲပြောင်းလဲမှု","local":"llms-တရ-ဆငကပငလမ","sections":[],"depth":2},{"title":"Attention Mechanisms","local":"attention-mechanisms","sections":[{"title":"LSH attention","local":"lsh-attention","sections":[],"depth":3},{"title":"Local attention","local":"local-attention","sections":[],"depth":3},{"title":"Axial positional encodings","local":"axial-positional-encodings","sections":[],"depth":3}],"depth":2},{"title":"နိဂုံးချုပ်","local":"conclusion","sections":[],"depth":2},{"title":"ဝေါဟာရ ရှင်းလင်းချက် (Glossary)","local":"ဝဟရ-ရငလငခက-glossary","sections":[],"depth":2}],"depth":1}';function Jn(Hs){return On(()=>{new URLSearchParams(window.location.search).get("fw")}),[]}class sa extends Un{constructor(M){super(),In(this,M,Jn,Vn,Gn,{})}}export{sa as component};