course/pr_1107/my/chapter3/6.html

<meta charset="utf-8" /><meta name="hf:doc:metadata" content="{&quot;title&quot;:&quot;Fine-tuning လုပ်ငန်း ပြီးစီးပြီ!&quot;,&quot;local&quot;:&quot;fine-tuning-check&quot;,&quot;sections&quot;:[{&quot;title&quot;:&quot;ဝေါဟာရ ရှင်းလင်းချက် (Glossary)&quot;,&quot;local&quot;:&quot;ဝဟရ-ရငလငခက-glossary&quot;,&quot;sections&quot;:[],&quot;depth&quot;:2}],&quot;depth&quot;:1}">
		<link href="/docs/course/pr_1107/my/_app/immutable/assets/0.e3b0c442.css" rel="modulepreload">
		<link rel="modulepreload" href="/docs/course/pr_1107/my/_app/immutable/entry/start.5c6233a8.js">
		<link rel="modulepreload" href="/docs/course/pr_1107/my/_app/immutable/chunks/scheduler.0835143d.js">
		<link rel="modulepreload" href="/docs/course/pr_1107/my/_app/immutable/chunks/singletons.c8b11329.js">
		<link rel="modulepreload" href="/docs/course/pr_1107/my/_app/immutable/chunks/index.1bab75e2.js">
		<link rel="modulepreload" href="/docs/course/pr_1107/my/_app/immutable/chunks/paths.e4a366ea.js">
		<link rel="modulepreload" href="/docs/course/pr_1107/my/_app/immutable/entry/app.55586789.js">
		<link rel="modulepreload" href="/docs/course/pr_1107/my/_app/immutable/chunks/preload-helper.5f7c8393.js">
		<link rel="modulepreload" href="/docs/course/pr_1107/my/_app/immutable/chunks/index.3d7efe79.js">
		<link rel="modulepreload" href="/docs/course/pr_1107/my/_app/immutable/nodes/0.0cec3d6c.js">
		<link rel="modulepreload" href="/docs/course/pr_1107/my/_app/immutable/chunks/each.e59479a4.js">
		<link rel="modulepreload" href="/docs/course/pr_1107/my/_app/immutable/nodes/28.e7758767.js">
		<link rel="modulepreload" href="/docs/course/pr_1107/my/_app/immutable/chunks/CourseFloatingBanner.860ea6e4.js">
		<link rel="modulepreload" href="/docs/course/pr_1107/my/_app/immutable/chunks/FrameworkSwitchCourse.ff2bd9ab.js">
		<link rel="modulepreload" href="/docs/course/pr_1107/my/_app/immutable/chunks/MermaidChart.svelte_svelte_type_style_lang.0b02b772.js"><!-- HEAD_svelte-u9bgzb_START --><meta name="hf:doc:metadata" content="{&quot;title&quot;:&quot;Fine-tuning လုပ်ငန်း ပြီးစီးပြီ!&quot;,&quot;local&quot;:&quot;fine-tuning-check&quot;,&quot;sections&quot;:[{&quot;title&quot;:&quot;ဝေါဟာရ ရှင်းလင်းချက် (Glossary)&quot;,&quot;local&quot;:&quot;ဝဟရ-ရငလငခက-glossary&quot;,&quot;sections&quot;:[],&quot;depth&quot;:2}],&quot;depth&quot;:1}"><!-- HEAD_svelte-u9bgzb_END -->      <p></p> <div class="bg-white leading-none border border-gray-100 rounded-lg flex p-0.5 w-56 text-sm mb-4"><a class="flex justify-center flex-1 py-1.5 px-2.5 focus:outline-none !no-underline rounded-l bg-red-50 dark:bg-transparent text-red-600" href="?fw=pt"><svg class="mr-1.5" xmlns="http://www.w3.org/2000/svg" xmlns:xlink="http://www.w3.org/1999/xlink" aria-hidden="true" focusable="false" role="img" width="1em" height="1em" preserveAspectRatio="xMidYMid meet" viewBox="0 0 32 32"><defs><clipPath id="a"><rect x="3.05" y="0.5" width="25.73" height="31" fill="none"></rect></clipPath></defs><g clip-path="url(#a)"><path d="M24.94,9.51a12.81,12.81,0,0,1,0,18.16,12.68,12.68,0,0,1-18,0,12.81,12.81,0,0,1,0-18.16l9-9V5l-.84.83-6,6a9.58,9.58,0,1,0,13.55,0ZM20.44,9a1.68,1.68,0,1,1,1.67-1.67A1.68,1.68,0,0,1,20.44,9Z" fill="#ee4c2c"></path></g></svg> Pytorch </a><a class="flex justify-center flex-1 py-1.5 px-2.5 focus:outline-none !no-underline rounded-r text-gray-500 filter grayscale" href="?fw=tf"><svg class="mr-1.5" xmlns="http://www.w3.org/2000/svg" xmlns:xlink="http://www.w3.org/1999/xlink" aria-hidden="true" focusable="false" role="img" width="0.94em" height="1em" preserveAspectRatio="xMidYMid meet" viewBox="0 0 256 274"><path d="M145.726 42.065v42.07l72.861 42.07v-42.07l-72.86-42.07zM0 84.135v42.07l36.43 21.03V105.17L0 84.135zm109.291 21.035l-36.43 21.034v126.2l36.43 21.035v-84.135l36.435 21.035v-42.07l-36.435-21.034V105.17z" fill="#E55B2D"></path><path d="M145.726 42.065L36.43 105.17v42.065l72.861-42.065v42.065l36.435-21.03v-84.14zM255.022 63.1l-36.435 21.035v42.07l36.435-21.035V63.1zm-72.865 84.135l-36.43 21.035v42.07l36.43-21.036v-42.07zm-36.43 63.104l-36.436-21.035v84.135l36.435-21.035V210.34z" fill="#ED8E24"></path><path d="M145.726 0L0 84.135l36.43 21.035l109.296-63.105l72.861 42.07L255.022 63.1L145.726 0zm0 126.204l-36.435 21.03l36.435 21.036l36.43-21.035l-36.43-21.03z" fill="#F8BF3C"></path></svg> TensorFlow </a></div>  <h1 class="relative group"><a id="fine-tuning-check" class="header-link block pr-1.5 text-lg no-hover:hidden with-hover:absolute with-hover:p-1.5 with-hover:opacity-0 with-hover:group-hover:opacity-100 with-hover:right-full" href="#fine-tuning-check"><span><svg class="" xmlns="http://www.w3.org/2000/svg" xmlns:xlink="http://www.w3.org/1999/xlink" aria-hidden="true" role="img" width="1em" height="1em" preserveAspectRatio="xMidYMid meet" viewBox="0 0 256 256"><path d="M167.594 88.393a8.001 8.001 0 0 1 0 11.314l-67.882 67.882a8 8 0 1 1-11.314-11.315l67.882-67.881a8.003 8.003 0 0 1 11.314 0zm-28.287 84.86l-28.284 28.284a40 40 0 0 1-56.567-56.567l28.284-28.284a8 8 0 0 0-11.315-11.315l-28.284 28.284a56 56 0 0 0 79.196 79.197l28.285-28.285a8 8 0 1 0-11.315-11.314zM212.852 43.14a56.002 56.002 0 0 0-79.196 0l-28.284 28.284a8 8 0 1 0 11.314 11.314l28.284-28.284a40 40 0 0 1 56.568 56.567l-28.285 28.285a8 8 0 0 0 11.315 11.314l28.284-28.284a56.065 56.065 0 0 0 0-79.196z" fill="currentColor"></path></svg></span></a> <span>Fine-tuning လုပ်ငန်း ပြီးစီးပြီ!</span></h1>  <div class="flex space-x-1 absolute z-10 right-0 top-0"><a href="https://discuss.huggingface.co/t/chapter-3-questions" target="_blank"><img alt="Ask a Question" class="!m-0" src="https://img.shields.io/badge/Ask%20a%20question-ffcb4c.svg?logo=data:image/svg+xml;base64,PHN2ZyB4bWxucz0iaHR0cDovL3d3dy53My5vcmcvMjAwMC9zdmciIHZpZXdCb3g9IjAgLTEgMTA0IDEwNiI+PGRlZnM+PHN0eWxlPi5jbHMtMXtmaWxsOiMyMzFmMjA7fS5jbHMtMntmaWxsOiNmZmY5YWU7fS5jbHMtM3tmaWxsOiMwMGFlZWY7fS5jbHMtNHtmaWxsOiMwMGE5NGY7fS5jbHMtNXtmaWxsOiNmMTVkMjI7fS5jbHMtNntmaWxsOiNlMzFiMjM7fTwvc3R5bGU+PC9kZWZzPjx0aXRsZT5EaXNjb3Vyc2VfbG9nbzwvdGl0bGU+PGcgaWQ9IkxheWVyXzIiPjxnIGlkPSJMYXllcl8zIj48cGF0aCBjbGFzcz0iY2xzLTEiIGQ9Ik01MS44NywwQzIzLjcxLDAsMCwyMi44MywwLDUxYzAsLjkxLDAsNTIuODEsMCw1Mi44MWw1MS44Ni0uMDVjMjguMTYsMCw1MS0yMy43MSw1MS01MS44N1M4MCwwLDUxLjg3LDBaIi8+PHBhdGggY2xhc3M9ImNscy0yIiBkPSJNNTIuMzcsMTkuNzRBMzEuNjIsMzEuNjIsMCwwLDAsMjQuNTgsNjYuNDFsLTUuNzIsMTguNEwzOS40LDgwLjE3YTMxLjYxLDMxLjYxLDAsMSwwLDEzLTYwLjQzWiIvPjxwYXRoIGNsYXNzPSJjbHMtMyIgZD0iTTc3LjQ1LDMyLjEyYTMxLjYsMzEuNiwwLDAsMS0zOC4wNSw0OEwxOC44Niw4NC44MmwyMC45MS0yLjQ3QTMxLjYsMzEuNiwwLDAsMCw3Ny40NSwzMi4xMloiLz48cGF0aCBjbGFzcz0iY2xzLTQiIGQ9Ik03MS42MywyNi4yOUEzMS42LDMxLjYsMCwwLDEsMzguOCw3OEwxOC44Niw4NC44MiwzOS40LDgwLjE3QTMxLjYsMzEuNiwwLDAsMCw3MS42MywyNi4yOVoiLz48cGF0aCBjbGFzcz0iY2xzLTUiIGQ9Ik0yNi40Nyw2Ny4xMWEzMS42MSwzMS42MSwwLDAsMSw1MS0zNUEzMS42MSwzMS42MSwwLDAsMCwyNC41OCw2Ni40MWwtNS43MiwxOC40WiIvPjxwYXRoIGNsYXNzPSJjbHMtNiIgZD0iTTI0LjU4LDY2LjQxQTMxLjYxLDMxLjYxLDAsMCwxLDcxLjYzLDI2LjI5YTMxLjYxLDMxLjYxLDAsMCwwLTQ5LDM5LjYzbC0zLjc2LDE4LjlaIi8+PC9nPjwvZz48L3N2Zz4="></a>  </div> <p data-svelte-h="svelte-gnqxwe">ဒါက ပြည့်စုံလွန်းပါတယ်။ ပထမအခန်းနှစ်ခန်းမှာ သင်ဟာ models တွေနဲ့ tokenizers တွေအကြောင်း သင်ယူခဲ့ပြီး၊ အခုတော့ ခေတ်မီ အကောင်းဆုံးအလေ့အကျင့်တွေကို အသုံးပြုပြီး သင်ရဲ့ကိုယ်ပိုင်ဒေတာအတွက် ၎င်းတို့ကို ဘယ်လို fine-tune လုပ်ရမယ်ဆိုတာ သင်သိသွားပါပြီ။ အနှစ်ချုပ်အနေနဲ့၊ ဒီအခန်းမှာ သင်ဟာ အောက်ပါတို့ကို သင်ယူခဲ့ပါပြီ။</p> <ul data-svelte-h="svelte-ldlf4i"><li><a href="https://huggingface.co/datasets" rel="nofollow">Hub</a> ပေါ်က datasets တွေနဲ့ ခေတ်မီ data processing နည်းလမ်းတွေအကြောင်း သင်ယူခဲ့သည်။</li> <li>dynamic padding နဲ့ data collators တွေကို အသုံးပြုခြင်းအပါအဝင် datasets တွေကို ထိရောက်စွာ load လုပ်ပြီး preprocessing လုပ်နည်းကို သင်ယူခဲ့သည်။</li> <li>နောက်ဆုံးပေါ် features တွေပါဝင်တဲ့ high-level <code>Trainer</code> API ကို အသုံးပြုပြီး fine-tuning နဲ့ evaluation ကို အကောင်အထည်ဖော်ခဲ့သည်။</li> <li>PyTorch နဲ့ အစကနေ အဆုံးထိ ပြည့်စုံတဲ့ custom training loop တစ်ခုကို အကောင်အထည်ဖော်ခဲ့သည်။</li> <li>multiple GPUs ဒါမှမဟုတ် TPUs တွေပေါ်မှာ သင်ရဲ့ training code ကို ချောမွေ့စွာ အလုပ်လုပ်နိုင်စေဖို့ 🤗 Accelerate ကို အသုံးပြုခဲ့သည်။</li> <li>mixed precision training နဲ့ gradient accumulation လိုမျိုး ခေတ်မီ optimization နည်းလမ်းတွေကို အသုံးချခဲ့သည်။</li></ul> <blockquote class="tip" data-svelte-h="svelte-1bzqeu4"><p>🎉 <strong>ဂုဏ်ယူပါတယ်!</strong> သင်ဟာ transformer models တွေကို fine-tuning လုပ်တဲ့ အခြေခံအချက်တွေကို ကျွမ်းကျင်သွားပါပြီ။ အခု သင်ဟာ လက်တွေ့ ML (Machine Learning) project တွေကို ကိုင်တွယ်ဖို့ အဆင်သင့်ဖြစ်နေပါပြီ!</p> <p>📖 <strong>ဆက်လက်လေ့လာရန်</strong>: သင်၏ အသိပညာကို နက်ရှိုင်းစေရန် ဤအရင်းအမြစ်များကို လေ့လာပါ။</p> <ul><li>သီးခြား NLP (Natural Language Processing) လုပ်ငန်းများအတွက် <a href="https://huggingface.co/docs/transformers/main/en/tasks/sequence_classification" rel="nofollow">🤗 Transformers task guides</a></li> <li>ပြည့်စုံသော notebooks များအတွက် <a href="https://huggingface.co/docs/transformers/main/en/notebooks" rel="nofollow">🤗 Transformers examples</a></li></ul> <p>🚀 <strong>နောက်တစ်ဆင့်များ</strong>:</p> <ul><li>သင်သင်ယူခဲ့သော နည်းလမ်းများကို အသုံးပြုပြီး သင်၏ကိုယ်ပိုင် dataset ပေါ်တွင် fine-tuning လုပ်ကြည့်ပါ။</li> <li><a href="https://huggingface.co/models" rel="nofollow">Hugging Face Hub</a> ပေါ်မှာ ရရှိနိုင်တဲ့ မတူညီတဲ့ model architectures များကို စမ်းသပ်ကြည့်ပါ။</li> <li>သင်၏ project များကို မျှဝေရန်နှင့် အကူအညီရယူရန် <a href="https://discuss.huggingface.co/" rel="nofollow">Hugging Face community</a> သို့ ဝင်ရောက်ပါ။</li></ul></blockquote> <p data-svelte-h="svelte-1ulrzar">ဒါက 🤗 Transformers နဲ့ သင်၏ ခရီးရဲ့ အစသာ ရှိပါသေးတယ်။ နောက်အခန်းမှာတော့ သင်၏ models တွေနဲ့ tokenizers တွေကို လူအဖွဲ့အစည်း (community) နဲ့ ဘယ်လို မျှဝေရမယ်၊ ပြီးတော့ တဖြည်းဖြည်း တိုးတက်နေတဲ့ pretrained models တွေရဲ့ ecosystem ကို ဘယ်လို ပံ့ပိုးပေးရမယ်ဆိုတာကို ကျွန်တော်တို့ လေ့လာသွားပါမယ်။</p> <p data-svelte-h="svelte-l821gp">ဒီနေရာမှာ သင်တည်ဆောက်ခဲ့တဲ့ ကျွမ်းကျင်မှုတွေ - ဒေတာ preprocessing၊ training configuration၊ evaluation နဲ့ optimization - တွေဟာ မည်သည့် machine learning project အတွက်မဆို အခြေခံကျပါတယ်။ သင် text classification၊ named entity recognition၊ question answering ဒါမှမဟုတ် အခြား NLP လုပ်ငန်းတစ်ခုခုမှာ အလုပ်လုပ်နေသည်ဖြစ်စေ၊ ဒီနည်းလမ်းတွေက သင့်ကို အထောက်အကူပြုပါလိမ့်မယ်။</p> <blockquote class="tip" data-svelte-h="svelte-1t2u2jk"><p>💡 <strong>အောင်မြင်မှုအတွက် အကြံပြုချက်များ</strong>:</p> <ul><li>custom training loops တွေကို အကောင်အထည်မဖော်ခင် <code>Trainer</code> API ကို အသုံးပြုပြီး ခိုင်မာတဲ့ baseline တစ်ခုနဲ့ အမြဲတမ်း စတင်ပါ။</li> <li>ပိုမိုကောင်းမွန်တဲ့ starting points တွေအတွက် သင့်လုပ်ငန်းနဲ့ နီးစပ်တဲ့ pretrained models တွေကို ရှာဖွေဖို့ 🤗 Hub ကို အသုံးပြုပါ။</li> <li>သင်၏ training ကို မှန်ကန်တဲ့ evaluation metrics တွေနဲ့ စောင့်ကြည့်ပါ ပြီးတော့ checkpoints တွေကို သိမ်းဆည်းဖို့ မမေ့ပါနဲ့။</li> <li>လူအဖွဲ့အစည်းကို အကျိုးယူပါ - အခြားသူများကို ကူညီရန်နှင့် သင်၏အလုပ်အပေါ် တုံ့ပြန်ချက်ရယူရန် သင်၏ models တွေနဲ့ datasets တွေကို မျှဝေပါ။</li></ul></blockquote>  <h2 class="relative group"><a id="ဝဟရ-ရငလငခက-glossary" class="header-link block pr-1.5 text-lg no-hover:hidden with-hover:absolute with-hover:p-1.5 with-hover:opacity-0 with-hover:group-hover:opacity-100 with-hover:right-full" href="#ဝဟရ-ရငလငခက-glossary"><span><svg class="" xmlns="http://www.w3.org/2000/svg" xmlns:xlink="http://www.w3.org/1999/xlink" aria-hidden="true" role="img" width="1em" height="1em" preserveAspectRatio="xMidYMid meet" viewBox="0 0 256 256"><path d="M167.594 88.393a8.001 8.001 0 0 1 0 11.314l-67.882 67.882a8 8 0 1 1-11.314-11.315l67.882-67.881a8.003 8.003 0 0 1 11.314 0zm-28.287 84.86l-28.284 28.284a40 40 0 0 1-56.567-56.567l28.284-28.284a8 8 0 0 0-11.315-11.315l-28.284 28.284a56 56 0 0 0 79.196 79.197l28.285-28.285a8 8 0 1 0-11.315-11.314zM212.852 43.14a56.002 56.002 0 0 0-79.196 0l-28.284 28.284a8 8 0 1 0 11.314 11.314l28.284-28.284a40 40 0 0 1 56.568 56.567l-28.285 28.285a8 8 0 0 0 11.315 11.314l28.284-28.284a56.065 56.065 0 0 0 0-79.196z" fill="currentColor"></path></svg></span></a> <span>ဝေါဟာရ ရှင်းလင်းချက် (Glossary)</span></h2> <ul data-svelte-h="svelte-13zrngd"><li><strong>Fine-tuning</strong>: ကြိုတင်လေ့ကျင့်ထားပြီးသား (pre-trained) မော်ဒယ်တစ်ခုကို သီးခြားလုပ်ငန်းတစ်ခု (specific task) အတွက် အနည်းငယ်သော ဒေတာနဲ့ ထပ်မံလေ့ကျင့်ပေးခြင်းကို ဆိုလိုပါတယ်။</li> <li><strong>Models</strong>: Artificial Intelligence (AI) နယ်ပယ်တွင် အချက်အလက်များကို လေ့လာပြီး ခန့်မှန်းချက်များ ပြုလုပ်ရန် ဒီဇိုင်းထုတ်ထားသော သင်္ချာဆိုင်ရာဖွဲ့စည်းပုံများ။</li> <li><strong>Tokenizers</strong>: စာသား (သို့မဟုတ် အခြားဒေတာ) ကို AI မော်ဒယ်များ စီမံဆောင်ရွက်နိုင်ရန် tokens တွေအဖြစ် ပိုင်းခြားပေးသည့် ကိရိယာ သို့မဟုတ် လုပ်ငန်းစဉ်။</li> <li><strong>Hub (Hugging Face Hub)</strong>: AI မော်ဒယ်တွေ၊ datasets တွေနဲ့ demo တွေကို အခြားသူတွေနဲ့ မျှဝေဖို့၊ ရှာဖွေဖို့နဲ့ ပြန်လည်အသုံးပြုဖို့အတွက် အွန်လိုင်း platform တစ်ခု ဖြစ်ပါတယ်။</li> <li><strong>Data Processing Techniques</strong>: ဒေတာများကို model က နားလည်ပြီး လုပ်ဆောင်နိုင်တဲ့ ပုံစံအဖြစ် ပြောင်းလဲပြင်ဆင်ခြင်း နည်းလမ်းများ။</li> <li><strong>Dynamic Padding</strong>: Batch တစ်ခုအတွင်းရှိ samples များကို အဲဒီ batch ထဲက အရှည်ဆုံး sample ရဲ့ အရှည်အထိသာ padding လုပ်တဲ့ နည်းလမ်း။</li> <li><strong>Data Collators</strong>: batch တစ်ခုအတွင်း samples များကို စုစည်းပေးသော functions သို့မဟုတ် classes များ။</li> <li><strong>High-level API (Application Programming Interface)</strong>: အသုံးပြုရလွယ်ကူစေရန် ရှုပ်ထွေးသော အသေးစိတ်အချက်အလက်များကို ဖုံးကွယ်ထားသော ပရိုဂရမ်ရေးသားခြင်း interface။</li> <li><strong><code>Trainer</code> API</strong>: Hugging Face Transformers library မှ model များကို ထိရောက်စွာ လေ့ကျင့်ရန်အတွက် ဒီဇိုင်းထုတ်ထားသော မြင့်မားသောအဆင့် (high-level) API။</li> <li><strong>Evaluation</strong>: မော်ဒယ်၏ စွမ်းဆောင်ရည်ကို တိုင်းတာခြင်း။</li> <li><strong>Custom Training Loop</strong>: Trainer API ကဲ့သို့သော abstractions များကို အသုံးမပြုဘဲ PyTorch library ၏ အခြေခံလုပ်ဆောင်ချက်များဖြင့် model ကို လေ့ကျင့်ရန် code ကို ကိုယ်တိုင်ရေးသားခြင်း။</li> <li><strong>PyTorch</strong>: Facebook (ယခု Meta) က ဖန်တီးထားတဲ့ open-source machine learning library တစ်ခုဖြစ်ပြီး deep learning မော်ဒယ်တွေ တည်ဆောက်ဖို့အတွက် အသုံးပြုပါတယ်။</li> <li><strong>🤗 Accelerate</strong>: Hugging Face က ထုတ်လုပ်ထားတဲ့ library တစ်ခုဖြစ်ပြီး PyTorch training loops တွေကို code အပြောင်းအလဲ အနည်းငယ်နဲ့ distributed training (multiple GPUs, TPUs) မှာ run နိုင်အောင် ကူညီပေးပါတယ်။</li> <li><strong>Multiple GPUs (Graphics Processing Units)</strong>: ဂရပ်ဖစ်လုပ်ဆောင်မှုအတွက် အထူးဒီဇိုင်းထုတ်ထားသော processor များစွာကို အသုံးပြုခြင်း။ AI/ML (Artificial Intelligence/Machine Learning) လုပ်ငန်းများတွင် အရှိန်မြှင့်ရန် အသုံးများသည်။</li> <li><strong>TPUs (Tensor Processing Units)</strong>: Google မှ AI/ML workloads များအတွက် အထူးဒီဇိုင်းထုတ်ထားသော processor များစွာ။</li> <li><strong>Mixed Precision Training</strong>: မော်ဒယ်ကို လေ့ကျင့်ရာတွင် 16-bit floating-point numbers (fp16) နှင့် 32-bit floating-point numbers (fp32) နှစ်မျိုးလုံးကို ရောစပ်အသုံးပြုခြင်း။ ၎င်းသည် training ကို မြန်ဆန်စေပြီး memory အသုံးပြုမှုကို လျှော့ချသည်။</li> <li><strong>Gradient Accumulation</strong>: GPU memory ကန့်သတ်ချက်ရှိသောအခါ ပိုကြီးမားသော batch sizes များကို အတုယူရန် batches အများအပြားပေါ်တွင် gradients များကို စုဆောင်းပြီးမှ update လုပ်ခြင်း။</li> <li><strong>ML Projects (Machine Learning Projects)</strong>: Machine learning နည်းပညာများကို အသုံးပြု၍ ပြဿနာတစ်ခုကို ဖြေရှင်းရန် လုပ်ဆောင်သော project များ။</li> <li><strong><code>task guides</code> (Transformers)</strong>: Transformers library ကို အသုံးပြု၍ သီးခြား NLP (Natural Language Processing) လုပ်ငန်းများကို လုပ်ဆောင်ရန် လမ်းညွှန်များ။</li> <li><strong><code>notebooks</code> (Transformers)</strong>: Hugging Face Transformers library ကို အသုံးပြုပုံဥပမာများ ပါဝင်သော Jupyter Notebooks များ။</li> <li><strong>Model Architectures</strong>: Model တစ်ခု၏ layers များနှင့် ၎င်းတို့ ချိတ်ဆက်ပုံကို ဖော်ပြသော ဒီဇိုင်းဖွဲ့စည်းပုံ။</li> <li><strong>Community</strong>: Hugging Face တွင် AI/ML နယ်ပယ်မှ သုံးစွဲသူများ၊ developer များနှင့် သုတေသီများ စုစည်းထားသော အဖွဲ့အစည်း။</li> <li><strong>Preprocessing</strong>: ဒေတာများကို model က နားလည်ပြီး လုပ်ဆောင်နိုင်တဲ့ ပုံစံအဖြစ် ပြောင်းလဲပြင်ဆင်ခြင်း လုပ်ငန်းစဉ်။</li> <li><strong>Training Configuration</strong>: Model ကို လေ့ကျင့်ရန်အတွက် လိုအပ်သော setting များနှင့် parameters များကို သတ်မှတ်ခြင်း။</li> <li><strong>Optimization</strong>: Model ၏ စွမ်းဆောင်ရည်ကို မြှင့်တင်ရန် သို့မဟုတ် training ကို ပိုမိုထိရောက်စေရန် နည်းလမ်းများ။</li> <li><strong>Text Classification</strong>: စာသားကို သတ်မှတ်ထားသော အမျိုးအစားများထဲသို့ ခွဲခြားသတ်မှတ်ခြင်း။</li> <li><strong>Named Entity Recognition (NER)</strong>: စာသားထဲက လူအမည်၊ နေရာအမည်၊ အဖွဲ့အစည်းအမည် စတဲ့ သီးခြားအမည်တွေကို ရှာဖွေဖော်ထုတ်ခြင်း။</li> <li><strong>Question Answering</strong>: မေးခွန်းတစ်ခုအတွက် စာသားထဲမှ အဖြေကို ရှာဖွေခြင်း။</li> <li><strong>Baseline</strong>: ပထမဆုံး စွမ်းဆောင်ရည် စစ်ဆေးရန် အသုံးပြုသော အခြေခံ model သို့မဟုတ် ရလဒ်။</li> <li><strong>Pretrained Models</strong>: အကြီးစား ဒေတာအမြောက်အမြားဖြင့် ကြိုတင်လေ့ကျင့်ထားပြီးဖြစ်သော AI (Artificial Intelligence) မော်ဒယ်များ။</li> <li><strong>Evaluation Metrics</strong>: Model ၏ စွမ်းဆောင်ရည်ကို တိုင်းတာရန် အသုံးပြုသော တန်ဖိုးများ (ဥပမာ- accuracy, F1 score)။</li> <li><strong>Checkpoints</strong>: မော်ဒယ်၏ weights များနှင့် အခြားဖွဲ့စည်းပုံများ (configuration) ကို သတ်မှတ်ထားသော အချိန်တစ်ခုတွင် သိမ်းဆည်းထားခြင်း။</li> <li><strong>Feedback</strong>: လုပ်ဆောင်မှုတစ်ခုအပေါ် ရရှိသော တုံ့ပြန်မှု သို့မဟုတ် အကြံပြုချက်များ။</li></ul> <a class="!text-gray-400 !no-underline text-sm flex items-center not-prose mt-4" href="https://github.com/huggingface/course/blob/main/chapters/my/chapter3/6.mdx" target="_blank"><span data-svelte-h="svelte-1kd6by1">&lt;</span> <span data-svelte-h="svelte-x0xyl0">&gt;</span> <span data-svelte-h="svelte-1dajgef"><span class="underline ml-1.5">Update</span> on GitHub</span></a>  <p></p> 
			
			<script>
				{
					__sveltekit_dep9rk = {
						assets: "/docs/course/pr_1107/my",
						base: "/docs/course/pr_1107/my",
						env: {}
					};

					const element = document.currentScript.parentElement;

					const data = [null,null];

					Promise.all([
						import("/docs/course/pr_1107/my/_app/immutable/entry/start.5c6233a8.js"),
						import("/docs/course/pr_1107/my/_app/immutable/entry/app.55586789.js")
					]).then(([kit, app]) => {
						kit.start(app, element, {
							node_ids: [0, 28],
							data,
							form: null,
							error: null
						});
					});
				}
			</script>