course/pr_1130/my/_app/immutable/nodes/50.64c19f83.js

import{s as rt,o as ot}from"../chunks/scheduler.893fe8c9.js";import{S as lt,i as at,e as o,s,c as v,h as gt,a as l,d as i,b as r,f as nt,g as x,j as w,k as K,l as ct,m as n,n as C,t as _,o as A,p as H}from"../chunks/index.b1df2166.js";import{C as mt,H as st,E as ut}from"../chunks/MermaidChart.svelte_svelte_type_style_lang.13a471f4.js";import{C as pt}from"../chunks/CourseFloatingBanner.c1c08878.js";import{F as ft}from"../chunks/FrameworkSwitchCourse.4480e339.js";function dt(J){let a,L,g,k,c,F,p,U,f,z,d,E,h,V="ဒါက ပြည့်စုံလွန်းပါတယ်။ ပထမအခန်းနှစ်ခန်းမှာ သင်ဟာ models တွေနဲ့ tokenizers တွေအကြောင်း သင်ယူခဲ့ပြီး၊ အခုတော့ ခေတ်မီ အကောင်းဆုံးအလေ့အကျင့်တွေကို အသုံးပြုပြီး သင်ရဲ့ကိုယ်ပိုင်ဒေတာအတွက် ၎င်းတို့ကို ဘယ်လို fine-tune လုပ်ရမယ်ဆိုတာ သင်သိသွားပါပြီ။ အနှစ်ချုပ်အနေနဲ့၊ ဒီအခန်းမှာ သင်ဟာ အောက်ပါတို့ကို သင်ယူခဲ့ပါပြီ။",q,$,W='<li><a href="https://huggingface.co/datasets" rel="nofollow">Hub</a> ပေါ်က datasets တွေနဲ့ ခေတ်မီ data processing နည်းလမ်းတွေအကြောင်း သင်ယူခဲ့သည်။</li> <li>dynamic padding နဲ့ data collators တွေကို အသုံးပြုခြင်းအပါအဝင် datasets တွေကို ထိရောက်စွာ load လုပ်ပြီး preprocessing လုပ်နည်းကို သင်ယူခဲ့သည်။</li> <li>နောက်ဆုံးပေါ် features တွေပါဝင်တဲ့ high-level <code>Trainer</code> API ကို အသုံးပြုပြီး fine-tuning နဲ့ evaluation ကို အကောင်အထည်ဖော်ခဲ့သည်။</li> <li>PyTorch နဲ့ အစကနေ အဆုံးထိ ပြည့်စုံတဲ့ custom training loop တစ်ခုကို အကောင်အထည်ဖော်ခဲ့သည်။</li> <li>multiple GPUs ဒါမှမဟုတ် TPUs တွေပေါ်မှာ သင်ရဲ့ training code ကို ချောမွေ့စွာ အလုပ်လုပ်နိုင်စေဖို့ 🤗 Accelerate ကို အသုံးပြုခဲ့သည်။</li> <li>mixed precision training နဲ့ gradient accumulation လိုမျိုး ခေတ်မီ optimization နည်းလမ်းတွေကို အသုံးချခဲ့သည်။</li>',G,m,X='<p>🎉 <strong>ဂုဏ်ယူပါတယ်!</strong> သင်ဟာ transformer models တွေကို fine-tuning လုပ်တဲ့ အခြေခံအချက်တွေကို ကျွမ်းကျင်သွားပါပြီ။ အခု သင်ဟာ လက်တွေ့ ML (Machine Learning) project တွေကို ကိုင်တွယ်ဖို့ အဆင်သင့်ဖြစ်နေပါပြီ!</p> <p>📖 <strong>ဆက်လက်လေ့လာရန်</strong>: သင်၏ အသိပညာကို နက်ရှိုင်းစေရန် ဤအရင်းအမြစ်များကို လေ့လာပါ။</p> <ul><li>သီးခြား NLP (Natural Language Processing) လုပ်ငန်းများအတွက် <a href="https://huggingface.co/docs/transformers/main/en/tasks/sequence_classification" rel="nofollow">🤗 Transformers task guides</a></li> <li>ပြည့်စုံသော notebooks များအတွက် <a href="https://huggingface.co/docs/transformers/main/en/notebooks" rel="nofollow">🤗 Transformers examples</a></li></ul> <p>🚀 <strong>နောက်တစ်ဆင့်များ</strong>:</p> <ul><li>သင်သင်ယူခဲ့သော နည်းလမ်းများကို အသုံးပြုပြီး သင်၏ကိုယ်ပိုင် dataset ပေါ်တွင် fine-tuning လုပ်ကြည့်ပါ။</li> <li><a href="https://huggingface.co/models" rel="nofollow">Hugging Face Hub</a> ပေါ်မှာ ရရှိနိုင်တဲ့ မတူညီတဲ့ model architectures များကို စမ်းသပ်ကြည့်ပါ။</li> <li>သင်၏ project များကို မျှဝေရန်နှင့် အကူအညီရယူရန် <a href="https://discuss.huggingface.co/" rel="nofollow">Hugging Face community</a> သို့ ဝင်ရောက်ပါ။</li></ul>',N,b,Y="ဒါက 🤗 Transformers နဲ့ သင်၏ ခရီးရဲ့ အစသာ ရှိပါသေးတယ်။ နောက်အခန်းမှာတော့ သင်၏ models တွေနဲ့ tokenizers တွေကို လူအဖွဲ့အစည်း (community) နဲ့ ဘယ်လို မျှဝေရမယ်၊ ပြီးတော့ တဖြည်းဖြည်း တိုးတက်နေတဲ့ pretrained models တွေရဲ့ ecosystem ကို ဘယ်လို ပံ့ပိုးပေးရမယ်ဆိုတာကို ကျွန်တော်တို့ လေ့လာသွားပါမယ်။",j,P,Z="ဒီနေရာမှာ သင်တည်ဆောက်ခဲ့တဲ့ ကျွမ်းကျင်မှုတွေ - ဒေတာ preprocessing၊ training configuration၊ evaluation နဲ့ optimization - တွေဟာ မည်သည့် machine learning project အတွက်မဆို အခြေခံကျပါတယ်။ သင် text classification၊ named entity recognition၊ question answering ဒါမှမဟုတ် အခြား NLP လုပ်ငန်းတစ်ခုခုမှာ အလုပ်လုပ်နေသည်ဖြစ်စေ၊ ဒီနည်းလမ်းတွေက သင့်ကို အထောက်အကူပြုပါလိမ့်မယ်။",O,u,tt="<p>💡 <strong>အောင်မြင်မှုအတွက် အကြံပြုချက်များ</strong>:</p> <ul><li>custom training loops တွေကို အကောင်အထည်မဖော်ခင် <code>Trainer</code> API ကို အသုံးပြုပြီး ခိုင်မာတဲ့ baseline တစ်ခုနဲ့ အမြဲတမ်း စတင်ပါ။</li> <li>ပိုမိုကောင်းမွန်တဲ့ starting points တွေအတွက် သင့်လုပ်ငန်းနဲ့ နီးစပ်တဲ့ pretrained models တွေကို ရှာဖွေဖို့ 🤗 Hub ကို အသုံးပြုပါ။</li> <li>သင်၏ training ကို မှန်ကန်တဲ့ evaluation metrics တွေနဲ့ စောင့်ကြည့်ပါ ပြီးတော့ checkpoints တွေကို သိမ်းဆည်းဖို့ မမေ့ပါနဲ့။</li> <li>လူအဖွဲ့အစည်းကို အကျိုးယူပါ - အခြားသူများကို ကူညီရန်နှင့် သင်၏အလုပ်အပေါ် တုံ့ပြန်ချက်ရယူရန် သင်၏ models တွေနဲ့ datasets တွေကို မျှဝေပါ။</li></ul>",B,T,S,y,et="<li><strong>Fine-tuning</strong>: ကြိုတင်လေ့ကျင့်ထားပြီးသား (pre-trained) မော်ဒယ်တစ်ခုကို သီးခြားလုပ်ငန်းတစ်ခု (specific task) အတွက် အနည်းငယ်သော ဒေတာနဲ့ ထပ်မံလေ့ကျင့်ပေးခြင်းကို ဆိုလိုပါတယ်။</li> <li><strong>Models</strong>: Artificial Intelligence (AI) နယ်ပယ်တွင် အချက်အလက်များကို လေ့လာပြီး ခန့်မှန်းချက်များ ပြုလုပ်ရန် ဒီဇိုင်းထုတ်ထားသော သင်္ချာဆိုင်ရာဖွဲ့စည်းပုံများ။</li> <li><strong>Tokenizers</strong>: စာသား (သို့မဟုတ် အခြားဒေတာ) ကို AI မော်ဒယ်များ စီမံဆောင်ရွက်နိုင်ရန် tokens တွေအဖြစ် ပိုင်းခြားပေးသည့် ကိရိယာ သို့မဟုတ် လုပ်ငန်းစဉ်။</li> <li><strong>Hub (Hugging Face Hub)</strong>: AI မော်ဒယ်တွေ၊ datasets တွေနဲ့ demo တွေကို အခြားသူတွေနဲ့ မျှဝေဖို့၊ ရှာဖွေဖို့နဲ့ ပြန်လည်အသုံးပြုဖို့အတွက် အွန်လိုင်း platform တစ်ခု ဖြစ်ပါတယ်။</li> <li><strong>Data Processing Techniques</strong>: ဒေတာများကို model က နားလည်ပြီး လုပ်ဆောင်နိုင်တဲ့ ပုံစံအဖြစ် ပြောင်းလဲပြင်ဆင်ခြင်း နည်းလမ်းများ။</li> <li><strong>Dynamic Padding</strong>: Batch တစ်ခုအတွင်းရှိ samples များကို အဲဒီ batch ထဲက အရှည်ဆုံး sample ရဲ့ အရှည်အထိသာ padding လုပ်တဲ့ နည်းလမ်း။</li> <li><strong>Data Collators</strong>: batch တစ်ခုအတွင်း samples များကို စုစည်းပေးသော functions သို့မဟုတ် classes များ။</li> <li><strong>High-level API (Application Programming Interface)</strong>: အသုံးပြုရလွယ်ကူစေရန် ရှုပ်ထွေးသော အသေးစိတ်အချက်အလက်များကို ဖုံးကွယ်ထားသော ပရိုဂရမ်ရေးသားခြင်း interface။</li> <li><strong><code>Trainer</code> API</strong>: Hugging Face Transformers library မှ model များကို ထိရောက်စွာ လေ့ကျင့်ရန်အတွက် ဒီဇိုင်းထုတ်ထားသော မြင့်မားသောအဆင့် (high-level) API။</li> <li><strong>Evaluation</strong>: မော်ဒယ်၏ စွမ်းဆောင်ရည်ကို တိုင်းတာခြင်း။</li> <li><strong>Custom Training Loop</strong>: Trainer API ကဲ့သို့သော abstractions များကို အသုံးမပြုဘဲ PyTorch library ၏ အခြေခံလုပ်ဆောင်ချက်များဖြင့် model ကို လေ့ကျင့်ရန် code ကို ကိုယ်တိုင်ရေးသားခြင်း။</li> <li><strong>PyTorch</strong>: Facebook (ယခု Meta) က ဖန်တီးထားတဲ့ open-source machine learning library တစ်ခုဖြစ်ပြီး deep learning မော်ဒယ်တွေ တည်ဆောက်ဖို့အတွက် အသုံးပြုပါတယ်။</li> <li><strong>🤗 Accelerate</strong>: Hugging Face က ထုတ်လုပ်ထားတဲ့ library တစ်ခုဖြစ်ပြီး PyTorch training loops တွေကို code အပြောင်းအလဲ အနည်းငယ်နဲ့ distributed training (multiple GPUs, TPUs) မှာ run နိုင်အောင် ကူညီပေးပါတယ်။</li> <li><strong>Multiple GPUs (Graphics Processing Units)</strong>: ဂရပ်ဖစ်လုပ်ဆောင်မှုအတွက် အထူးဒီဇိုင်းထုတ်ထားသော processor များစွာကို အသုံးပြုခြင်း။ AI/ML (Artificial Intelligence/Machine Learning) လုပ်ငန်းများတွင် အရှိန်မြှင့်ရန် အသုံးများသည်။</li> <li><strong>TPUs (Tensor Processing Units)</strong>: Google မှ AI/ML workloads များအတွက် အထူးဒီဇိုင်းထုတ်ထားသော processor များစွာ။</li> <li><strong>Mixed Precision Training</strong>: မော်ဒယ်ကို လေ့ကျင့်ရာတွင် 16-bit floating-point numbers (fp16) နှင့် 32-bit floating-point numbers (fp32) နှစ်မျိုးလုံးကို ရောစပ်အသုံးပြုခြင်း။ ၎င်းသည် training ကို မြန်ဆန်စေပြီး memory အသုံးပြုမှုကို လျှော့ချသည်။</li> <li><strong>Gradient Accumulation</strong>: GPU memory ကန့်သတ်ချက်ရှိသောအခါ ပိုကြီးမားသော batch sizes များကို အတုယူရန် batches အများအပြားပေါ်တွင် gradients များကို စုဆောင်းပြီးမှ update လုပ်ခြင်း။</li> <li><strong>ML Projects (Machine Learning Projects)</strong>: Machine learning နည်းပညာများကို အသုံးပြု၍ ပြဿနာတစ်ခုကို ဖြေရှင်းရန် လုပ်ဆောင်သော project များ။</li> <li><strong><code>task guides</code> (Transformers)</strong>: Transformers library ကို အသုံးပြု၍ သီးခြား NLP (Natural Language Processing) လုပ်ငန်းများကို လုပ်ဆောင်ရန် လမ်းညွှန်များ။</li> <li><strong><code>notebooks</code> (Transformers)</strong>: Hugging Face Transformers library ကို အသုံးပြုပုံဥပမာများ ပါဝင်သော Jupyter Notebooks များ။</li> <li><strong>Model Architectures</strong>: Model တစ်ခု၏ layers များနှင့် ၎င်းတို့ ချိတ်ဆက်ပုံကို ဖော်ပြသော ဒီဇိုင်းဖွဲ့စည်းပုံ။</li> <li><strong>Community</strong>: Hugging Face တွင် AI/ML နယ်ပယ်မှ သုံးစွဲသူများ၊ developer များနှင့် သုတေသီများ စုစည်းထားသော အဖွဲ့အစည်း။</li> <li><strong>Preprocessing</strong>: ဒေတာများကို model က နားလည်ပြီး လုပ်ဆောင်နိုင်တဲ့ ပုံစံအဖြစ် ပြောင်းလဲပြင်ဆင်ခြင်း လုပ်ငန်းစဉ်။</li> <li><strong>Training Configuration</strong>: Model ကို လေ့ကျင့်ရန်အတွက် လိုအပ်သော setting များနှင့် parameters များကို သတ်မှတ်ခြင်း။</li> <li><strong>Optimization</strong>: Model ၏ စွမ်းဆောင်ရည်ကို မြှင့်တင်ရန် သို့မဟုတ် training ကို ပိုမိုထိရောက်စေရန် နည်းလမ်းများ။</li> <li><strong>Text Classification</strong>: စာသားကို သတ်မှတ်ထားသော အမျိုးအစားများထဲသို့ ခွဲခြားသတ်မှတ်ခြင်း။</li> <li><strong>Named Entity Recognition (NER)</strong>: စာသားထဲက လူအမည်၊ နေရာအမည်၊ အဖွဲ့အစည်းအမည် စတဲ့ သီးခြားအမည်တွေကို ရှာဖွေဖော်ထုတ်ခြင်း။</li> <li><strong>Question Answering</strong>: မေးခွန်းတစ်ခုအတွက် စာသားထဲမှ အဖြေကို ရှာဖွေခြင်း။</li> <li><strong>Baseline</strong>: ပထမဆုံး စွမ်းဆောင်ရည် စစ်ဆေးရန် အသုံးပြုသော အခြေခံ model သို့မဟုတ် ရလဒ်။</li> <li><strong>Pretrained Models</strong>: အကြီးစား ဒေတာအမြောက်အမြားဖြင့် ကြိုတင်လေ့ကျင့်ထားပြီးဖြစ်သော AI (Artificial Intelligence) မော်ဒယ်များ။</li> <li><strong>Evaluation Metrics</strong>: Model ၏ စွမ်းဆောင်ရည်ကို တိုင်းတာရန် အသုံးပြုသော တန်ဖိုးများ (ဥပမာ- accuracy, F1 score)။</li> <li><strong>Checkpoints</strong>: မော်ဒယ်၏ weights များနှင့် အခြားဖွဲ့စည်းပုံများ (configuration) ကို သတ်မှတ်ထားသော အချိန်တစ်ခုတွင် သိမ်းဆည်းထားခြင်း။</li> <li><strong>Feedback</strong>: လုပ်ဆောင်မှုတစ်ခုအပေါ် ရရှိသော တုံ့ပြန်မှု သို့မဟုတ် အကြံပြုချက်များ။</li>",D,M,Q,I,R;return c=new ft({props:{fw:J[0]}}),p=new mt({props:{containerStyle:"float: right; margin-left: 10px; display: inline-flex; position: relative; z-index: 10;"}}),f=new st({props:{title:"Fine-tuning လုပ်ငန်း ပြီးစီးပြီ!",local:"fine-tuning-check",headingTag:"h1"}}),d=new pt({props:{chapter:3,classNames:"absolute z-10 right-0 top-0"}}),T=new st({props:{title:"ဝေါဟာရ ရှင်းလင်းချက် (Glossary)",local:"ဝဟရ-ရငလငခက-glossary",headingTag:"h2"}}),M=new ut({props:{source:"https://github.com/huggingface/course/blob/main/chapters/my/chapter3/6.mdx"}}),{c(){a=o("meta"),L=s(),g=o("p"),k=s(),v(c.$$.fragment),F=s(),v(p.$$.fragment),U=s(),v(f.$$.fragment),z=s(),v(d.$$.fragment),E=s(),h=o("p"),h.textContent=V,q=s(),$=o("ul"),$.innerHTML=W,G=s(),m=o("blockquote"),m.innerHTML=X,N=s(),b=o("p"),b.textContent=Y,j=s(),P=o("p"),P.textContent=Z,O=s(),u=o("blockquote"),u.innerHTML=tt,B=s(),v(T.$$.fragment),S=s(),y=o("ul"),y.innerHTML=et,D=s(),v(M.$$.fragment),Q=s(),I=o("p"),this.h()},l(t){const e=gt("svelte-u9bgzb",document.head);a=l(e,"META",{name:!0,content:!0}),e.forEach(i),L=r(t),g=l(t,"P",{}),nt(g).forEach(i),k=r(t),x(c.$$.fragment,t),F=r(t),x(p.$$.fragment,t),U=r(t),x(f.$$.fragment,t),z=r(t),x(d.$$.fragment,t),E=r(t),h=l(t,"P",{"data-svelte-h":!0}),w(h)!=="svelte-gnqxwe"&&(h.textContent=V),q=r(t),$=l(t,"UL",{"data-svelte-h":!0}),w($)!=="svelte-ldlf4i"&&($.innerHTML=W),G=r(t),m=l(t,"BLOCKQUOTE",{class:!0,"data-svelte-h":!0}),w(m)!=="svelte-1bzqeu4"&&(m.innerHTML=X),N=r(t),b=l(t,"P",{"data-svelte-h":!0}),w(b)!=="svelte-1ulrzar"&&(b.textContent=Y),j=r(t),P=l(t,"P",{"data-svelte-h":!0}),w(P)!=="svelte-l821gp"&&(P.textContent=Z),O=r(t),u=l(t,"BLOCKQUOTE",{class:!0,"data-svelte-h":!0}),w(u)!=="svelte-1t2u2jk"&&(u.innerHTML=tt),B=r(t),x(T.$$.fragment,t),S=r(t),y=l(t,"UL",{"data-svelte-h":!0}),w(y)!=="svelte-13zrngd"&&(y.innerHTML=et),D=r(t),x(M.$$.fragment,t),Q=r(t),I=l(t,"P",{}),nt(I).forEach(i),this.h()},h(){K(a,"name","hf:doc:metadata"),K(a,"content",ht),K(m,"class","tip"),K(u,"class","tip")},m(t,e){ct(document.head,a),n(t,L,e),n(t,g,e),n(t,k,e),C(c,t,e),n(t,F,e),C(p,t,e),n(t,U,e),C(f,t,e),n(t,z,e),C(d,t,e),n(t,E,e),n(t,h,e),n(t,q,e),n(t,$,e),n(t,G,e),n(t,m,e),n(t,N,e),n(t,b,e),n(t,j,e),n(t,P,e),n(t,O,e),n(t,u,e),n(t,B,e),C(T,t,e),n(t,S,e),n(t,y,e),n(t,D,e),C(M,t,e),n(t,Q,e),n(t,I,e),R=!0},p(t,[e]){const it={};e&1&&(it.fw=t[0]),c.$set(it)},i(t){R||(_(c.$$.fragment,t),_(p.$$.fragment,t),_(f.$$.fragment,t),_(d.$$.fragment,t),_(T.$$.fragment,t),_(M.$$.fragment,t),R=!0)},o(t){A(c.$$.fragment,t),A(p.$$.fragment,t),A(f.$$.fragment,t),A(d.$$.fragment,t),A(T.$$.fragment,t),A(M.$$.fragment,t),R=!1},d(t){t&&(i(L),i(g),i(k),i(F),i(U),i(z),i(E),i(h),i(q),i($),i(G),i(m),i(N),i(b),i(j),i(P),i(O),i(u),i(B),i(S),i(y),i(D),i(Q),i(I)),i(a),H(c,t),H(p,t),H(f,t),H(d,t),H(T,t),H(M,t)}}}const ht='{"title":"Fine-tuning လုပ်ငန်း ပြီးစီးပြီ!","local":"fine-tuning-check","sections":[{"title":"ဝေါဟာရ ရှင်းလင်းချက် (Glossary)","local":"ဝဟရ-ရငလငခက-glossary","sections":[],"depth":2}],"depth":1}';function $t(J,a,L){let g="pt";return ot(()=>{const k=new URLSearchParams(window.location.search);L(0,g=k.get("fw")||"pt")}),[g]}class wt extends lt{constructor(a){super(),at(this,a,$t,dt,rt,{})}}export{wt as component};