Buckets:

hf-doc-build
/

doc-dev

Files

xet

hf-doc-build/doc-dev / course /pr_1114 /my /chapter1 /10.html

rtrm

about 1 month ago

download

raw

44.8 kB

	<meta charset="utf-8" /><meta name="hf:doc:metadata" content="{"title":"အနှစ်ချုပ်","local":"summary","sections":[{"title":"အဓိက သဘောတရားများ","local":"key-concepts-covered","sections":[{"title":"Natural Language Processing (NLP) နှင့် LLMs များ","local":"natural-language-processing-nlp-နင-llms-မ","sections":[],"depth":3},{"title":"Transformer ရဲ့ စွမ်းရည်များ","local":"transformer-capabilities","sections":[],"depth":3},{"title":"Transformer architecture","local":"transformer-architecture","sections":[],"depth":3},{"title":"မော်ဒယ် architecture များနှင့် ၎င်းတို့၏ အသုံးချမှုများ","local":"model-architectures-and-their-applications","sections":[],"depth":3},{"title":"ခေတ်မီ LLM ဖွံ့ဖြိုးတိုးတက်မှုများ","local":"modern-llm-developments","sections":[],"depth":3},{"title":"လက်တွေ့အသုံးချမှုများ","local":"practical-applications","sections":[],"depth":3}],"depth":2},{"title":"ရှေ့ဆက်မျှော်ကြည့်ခြင်း","local":"looking-ahead","sections":[],"depth":2},{"title":"ဝေါဟာရ ရှင်းလင်းချက် (Glossary)","local":"ဝဟရ-ရငလငခက-glossary","sections":[],"depth":2}],"depth":1}">
	<link href="/docs/course/pr_1114/my/_app/immutable/assets/0.e3b0c442.css" rel="modulepreload">
	<link rel="modulepreload" href="/docs/course/pr_1114/my/_app/immutable/entry/start.14794ee9.js">
	<link rel="modulepreload" href="/docs/course/pr_1114/my/_app/immutable/chunks/scheduler.893fe8c9.js">
	<link rel="modulepreload" href="/docs/course/pr_1114/my/_app/immutable/chunks/singletons.10fda3ce.js">
	<link rel="modulepreload" href="/docs/course/pr_1114/my/_app/immutable/chunks/index.bce52c8a.js">
	<link rel="modulepreload" href="/docs/course/pr_1114/my/_app/immutable/chunks/paths.89c82153.js">
	<link rel="modulepreload" href="/docs/course/pr_1114/my/_app/immutable/entry/app.a133f5c6.js">
	<link rel="modulepreload" href="/docs/course/pr_1114/my/_app/immutable/chunks/preload-helper.b1a719fd.js">
	<link rel="modulepreload" href="/docs/course/pr_1114/my/_app/immutable/chunks/index.b1df2166.js">
	<link rel="modulepreload" href="/docs/course/pr_1114/my/_app/immutable/nodes/0.510afdc1.js">
	<link rel="modulepreload" href="/docs/course/pr_1114/my/_app/immutable/chunks/each.e59479a4.js">
	<link rel="modulepreload" href="/docs/course/pr_1114/my/_app/immutable/nodes/4.c5d03510.js">
	<link rel="modulepreload" href="/docs/course/pr_1114/my/_app/immutable/chunks/MermaidChart.svelte_svelte_type_style_lang.762ed9cc.js">
	<link rel="modulepreload" href="/docs/course/pr_1114/my/_app/immutable/chunks/CourseFloatingBanner.c1c08878.js"><!-- HEAD_svelte-u9bgzb_START --><meta name="hf:doc:metadata" content="{"title":"အနှစ်ချုပ်","local":"summary","sections":[{"title":"အဓိက သဘောတရားများ","local":"key-concepts-covered","sections":[{"title":"Natural Language Processing (NLP) နှင့် LLMs များ","local":"natural-language-processing-nlp-နင-llms-မ","sections":[],"depth":3},{"title":"Transformer ရဲ့ စွမ်းရည်များ","local":"transformer-capabilities","sections":[],"depth":3},{"title":"Transformer architecture","local":"transformer-architecture","sections":[],"depth":3},{"title":"မော်ဒယ် architecture များနှင့် ၎င်းတို့၏ အသုံးချမှုများ","local":"model-architectures-and-their-applications","sections":[],"depth":3},{"title":"ခေတ်မီ LLM ဖွံ့ဖြိုးတိုးတက်မှုများ","local":"modern-llm-developments","sections":[],"depth":3},{"title":"လက်တွေ့အသုံးချမှုများ","local":"practical-applications","sections":[],"depth":3}],"depth":2},{"title":"ရှေ့ဆက်မျှော်ကြည့်ခြင်း","local":"looking-ahead","sections":[],"depth":2},{"title":"ဝေါဟာရ ရှင်းလင်းချက် (Glossary)","local":"ဝဟရ-ရငလငခက-glossary","sections":[],"depth":2}],"depth":1}"><!-- HEAD_svelte-u9bgzb_END --> <p></p> <div class="items-center shrink-0 min-w-[100px] max-sm:min-w-[50px] justify-end ml-auto flex" style="float: right; margin-left: 10px; display: inline-flex; position: relative; z-index: 10;"><div class="inline-flex rounded-md max-sm:rounded-sm"><button class="inline-flex items-center gap-1 max-sm:gap-0.5 h-6 max-sm:h-5 px-2 max-sm:px-1.5 text-[11px] max-sm:text-[9px] font-medium text-gray-800 border border-r-0 rounded-l-md max-sm:rounded-l-sm border-gray-200 bg-white hover:shadow-inner dark:border-gray-850 dark:bg-gray-950 dark:text-gray-200 dark:hover:bg-gray-800" aria-live="polite"><span class="inline-flex items-center justify-center rounded-md p-0.5 max-sm:p-0"><svg class="w-3 h-3 max-sm:w-2.5 max-sm:h-2.5" xmlns="http://www.w3.org/2000/svg" aria-hidden="true" fill="currentColor" focusable="false" role="img" width="1em" height="1em" preserveAspectRatio="xMidYMid meet" viewBox="0 0 32 32"><path d="M28,10V28H10V10H28m0-2H10a2,2,0,0,0-2,2V28a2,2,0,0,0,2,2H28a2,2,0,0,0,2-2V10a2,2,0,0,0-2-2Z" transform="translate(0)"></path><path d="M4,18H2V4A2,2,0,0,1,4,2H18V4H4Z" transform="translate(0)"></path><rect fill="none" width="32" height="32"></rect></svg></span> <span>Copy page</span></button> <button class="inline-flex items-center justify-center w-6 max-sm:w-5 h-6 max-sm:h-5 disabled:pointer-events-none text-sm text-gray-500 hover:text-gray-700 dark:hover:text-white rounded-r-md max-sm:rounded-r-sm border border-l transition border-gray-200 bg-white hover:shadow-inner dark:border-gray-850 dark:bg-gray-950 dark:text-gray-200 dark:hover:bg-gray-800" aria-haspopup="menu" aria-expanded="false" aria-label="Open copy menu"><svg class="transition-transform text-gray-400 overflow-visible w-3 h-3 max-sm:w-2.5 max-sm:h-2.5 rotate-0" width="1em" height="1em" viewBox="0 0 12 7" fill="none" xmlns="http://www.w3.org/2000/svg"><path d="M1 1L6 6L11 1" stroke="currentColor"></path></svg></button></div> </div> <h1 class="relative group"><a id="summary" class="header-link block pr-1.5 text-lg no-hover:hidden with-hover:absolute with-hover:p-1.5 with-hover:opacity-0 with-hover:group-hover:opacity-100 with-hover:right-full" href="#summary"><span><svg class="" xmlns="http://www.w3.org/2000/svg" xmlns:xlink="http://www.w3.org/1999/xlink" aria-hidden="true" role="img" width="1em" height="1em" preserveAspectRatio="xMidYMid meet" viewBox="0 0 256 256"><path d="M167.594 88.393a8.001 8.001 0 0 1 0 11.314l-67.882 67.882a8 8 0 1 1-11.314-11.315l67.882-67.881a8.003 8.003 0 0 1 11.314 0zm-28.287 84.86l-28.284 28.284a40 40 0 0 1-56.567-56.567l28.284-28.284a8 8 0 0 0-11.315-11.315l-28.284 28.284a56 56 0 0 0 79.196 79.197l28.285-28.285a8 8 0 1 0-11.315-11.314zM212.852 43.14a56.002 56.002 0 0 0-79.196 0l-28.284 28.284a8 8 0 1 0 11.314 11.314l28.284-28.284a40 40 0 0 1 56.568 56.567l-28.285 28.285a8 8 0 0 0 11.315 11.314l28.284-28.284a56.065 56.065 0 0 0 0-79.196z" fill="currentColor"></path></svg></span></a> <span>အနှစ်ချုပ်</span></h1> <div class="flex space-x-1 absolute z-10 right-0 top-0" style=""><a href="https://discuss.huggingface.co/t/chapter-1-questions" target="_blank"><img alt="Ask a Question" class="!m-0" src="https://img.shields.io/badge/Ask%20a%20question-ffcb4c.svg?logo=data:image/svg+xml;base64,PHN2ZyB4bWxucz0iaHR0cDovL3d3dy53My5vcmcvMjAwMC9zdmciIHZpZXdCb3g9IjAgLTEgMTA0IDEwNiI+PGRlZnM+PHN0eWxlPi5jbHMtMXtmaWxsOiMyMzFmMjA7fS5jbHMtMntmaWxsOiNmZmY5YWU7fS5jbHMtM3tmaWxsOiMwMGFlZWY7fS5jbHMtNHtmaWxsOiMwMGE5NGY7fS5jbHMtNXtmaWxsOiNmMTVkMjI7fS5jbHMtNntmaWxsOiNlMzFiMjM7fTwvc3R5bGU+PC9kZWZzPjx0aXRsZT5EaXNjb3Vyc2VfbG9nbzwvdGl0bGU+PGcgaWQ9IkxheWVyXzIiPjxnIGlkPSJMYXllcl8zIj48cGF0aCBjbGFzcz0iY2xzLTEiIGQ9Ik01MS44NywwQzIzLjcxLDAsMCwyMi44MywwLDUxYzAsLjkxLDAsNTIuODEsMCw1Mi44MWw1MS44Ni0uMDVjMjguMTYsMCw1MS0yMy43MSw1MS01MS44N1M4MCwwLDUxLjg3LDBaIi8+PHBhdGggY2xhc3M9ImNscy0yIiBkPSJNNTIuMzcsMTkuNzRBMzEuNjIsMzEuNjIsMCwwLDAsMjQuNTgsNjYuNDFsLTUuNzIsMTguNEwzOS40LDgwLjE3YTMxLjYxLDMxLjYxLDAsMSwwLDEzLTYwLjQzWiIvPjxwYXRoIGNsYXNzPSJjbHMtMyIgZD0iTTc3LjQ1LDMyLjEyYTMxLjYsMzEuNiwwLDAsMS0zOC4wNSw0OEwxOC44Niw4NC44MmwyMC45MS0yLjQ3QTMxLjYsMzEuNiwwLDAsMCw3Ny40NSwzMi4xMloiLz48cGF0aCBjbGFzcz0iY2xzLTQiIGQ9Ik03MS42MywyNi4yOUEzMS42LDMxLjYsMCwwLDEsMzguOCw3OEwxOC44Niw4NC44MiwzOS40LDgwLjE3QTMxLjYsMzEuNiwwLDAsMCw3MS42MywyNi4yOVoiLz48cGF0aCBjbGFzcz0iY2xzLTUiIGQ9Ik0yNi40Nyw2Ny4xMWEzMS42MSwzMS42MSwwLDAsMSw1MS0zNUEzMS42MSwzMS42MSwwLDAsMCwyNC41OCw2Ni40MWwtNS43MiwxOC40WiIvPjxwYXRoIGNsYXNzPSJjbHMtNiIgZD0iTTI0LjU4LDY2LjQxQTMxLjYxLDMxLjYxLDAsMCwxLDcxLjYzLDI2LjI5YTMxLjYxLDMxLjYxLDAsMCwwLTQ5LDM5LjYzbC0zLjc2LDE4LjlaIi8+PC9nPjwvZz48L3N2Zz4="></a> </div> <p data-svelte-h="svelte-1851k93">ဒီအခန်းမှာ Transformer မော်ဒယ်တွေ၊ Large Language Models (LLMs) တွေရဲ့ အခြေခံသဘောတရားတွေနဲ့ ၎င်းတို့က Artificial Intelligence (AI) နယ်ပယ်အပြင် အခြားနယ်ပယ်တွေကိုပါ ဘယ်လို တော်လှန်ပြောင်းလဲနေတယ်ဆိုတာကို သင်လေ့လာခဲ့ပြီးပါပြီ။</p> <h2 class="relative group"><a id="key-concepts-covered" class="header-link block pr-1.5 text-lg no-hover:hidden with-hover:absolute with-hover:p-1.5 with-hover:opacity-0 with-hover:group-hover:opacity-100 with-hover:right-full" href="#key-concepts-covered"><span><svg class="" xmlns="http://www.w3.org/2000/svg" xmlns:xlink="http://www.w3.org/1999/xlink" aria-hidden="true" role="img" width="1em" height="1em" preserveAspectRatio="xMidYMid meet" viewBox="0 0 256 256"><path d="M167.594 88.393a8.001 8.001 0 0 1 0 11.314l-67.882 67.882a8 8 0 1 1-11.314-11.315l67.882-67.881a8.003 8.003 0 0 1 11.314 0zm-28.287 84.86l-28.284 28.284a40 40 0 0 1-56.567-56.567l28.284-28.284a8 8 0 0 0-11.315-11.315l-28.284 28.284a56 56 0 0 0 79.196 79.197l28.285-28.285a8 8 0 1 0-11.315-11.314zM212.852 43.14a56.002 56.002 0 0 0-79.196 0l-28.284 28.284a8 8 0 1 0 11.314 11.314l28.284-28.284a40 40 0 0 1 56.568 56.567l-28.285 28.285a8 8 0 0 0 11.315 11.314l28.284-28.284a56.065 56.065 0 0 0 0-79.196z" fill="currentColor"></path></svg></span></a> <span>အဓိက သဘောတရားများ</span></h2> <h3 class="relative group"><a id="natural-language-processing-nlp-နင-llms-မ" class="header-link block pr-1.5 text-lg no-hover:hidden with-hover:absolute with-hover:p-1.5 with-hover:opacity-0 with-hover:group-hover:opacity-100 with-hover:right-full" href="#natural-language-processing-nlp-နင-llms-မ"><span><svg class="" xmlns="http://www.w3.org/2000/svg" xmlns:xlink="http://www.w3.org/1999/xlink" aria-hidden="true" role="img" width="1em" height="1em" preserveAspectRatio="xMidYMid meet" viewBox="0 0 256 256"><path d="M167.594 88.393a8.001 8.001 0 0 1 0 11.314l-67.882 67.882a8 8 0 1 1-11.314-11.315l67.882-67.881a8.003 8.003 0 0 1 11.314 0zm-28.287 84.86l-28.284 28.284a40 40 0 0 1-56.567-56.567l28.284-28.284a8 8 0 0 0-11.315-11.315l-28.284 28.284a56 56 0 0 0 79.196 79.197l28.285-28.285a8 8 0 1 0-11.315-11.314zM212.852 43.14a56.002 56.002 0 0 0-79.196 0l-28.284 28.284a8 8 0 1 0 11.314 11.314l28.284-28.284a40 40 0 0 1 56.568 56.567l-28.285 28.285a8 8 0 0 0 11.315 11.314l28.284-28.284a56.065 56.065 0 0 0 0-79.196z" fill="currentColor"></path></svg></span></a> <span>Natural Language Processing (NLP) နှင့် LLMs များ</span></h3> <p data-svelte-h="svelte-cevcio">Natural Language Processing (NLP) ဆိုတာ ဘာလဲ၊ Large Language Models (LLMs) တွေက ဒီနယ်ပယ်ကို ဘယ်လို ပြောင်းလဲပစ်ခဲ့လဲဆိုတာကို ကျွန်တော်တို့ လေ့လာခဲ့ပါတယ်။ သင်လေ့လာခဲ့တဲ့ အချက်တွေကတော့-</p> <ul data-svelte-h="svelte-wlr5r0"><li>NLP ဟာ classification ကနေ generation အထိ လုပ်ငန်းတာဝန်အမျိုးမျိုးကို လွှမ်းခြုံထားပါတယ်။</li> <li>LLMs တွေဟာ ဒေတာအမြောက်အမြားနဲ့ လေ့ကျင့်ထားတဲ့ အစွမ်းထက်တဲ့ မော်ဒယ်တွေ ဖြစ်ပါတယ်။</li> <li>ဒီမော်ဒယ်တွေက architecture တစ်ခုတည်းနဲ့ လုပ်ငန်းတာဝန်မျိုးစုံကို လုပ်ဆောင်နိုင်ပါတယ်။</li> <li>၎င်းတို့ရဲ့ စွမ်းရည်တွေရှိနေပေမယ့်လည်း LLMs တွေမှာ hallucinations နဲ့ bias တွေလို ကန့်သတ်ချက်တွေ ရှိပါတယ်။</li></ul> <h3 class="relative group"><a id="transformer-capabilities" class="header-link block pr-1.5 text-lg no-hover:hidden with-hover:absolute with-hover:p-1.5 with-hover:opacity-0 with-hover:group-hover:opacity-100 with-hover:right-full" href="#transformer-capabilities"><span><svg class="" xmlns="http://www.w3.org/2000/svg" xmlns:xlink="http://www.w3.org/1999/xlink" aria-hidden="true" role="img" width="1em" height="1em" preserveAspectRatio="xMidYMid meet" viewBox="0 0 256 256"><path d="M167.594 88.393a8.001 8.001 0 0 1 0 11.314l-67.882 67.882a8 8 0 1 1-11.314-11.315l67.882-67.881a8.003 8.003 0 0 1 11.314 0zm-28.287 84.86l-28.284 28.284a40 40 0 0 1-56.567-56.567l28.284-28.284a8 8 0 0 0-11.315-11.315l-28.284 28.284a56 56 0 0 0 79.196 79.197l28.285-28.285a8 8 0 1 0-11.315-11.314zM212.852 43.14a56.002 56.002 0 0 0-79.196 0l-28.284 28.284a8 8 0 1 0 11.314 11.314l28.284-28.284a40 40 0 0 1 56.568 56.567l-28.285 28.285a8 8 0 0 0 11.315 11.314l28.284-28.284a56.065 56.065 0 0 0 0-79.196z" fill="currentColor"></path></svg></span></a> <span>Transformer ရဲ့ စွမ်းရည်များ</span></h3> <p data-svelte-h="svelte-o0ng3f">🤗 Transformers library ထဲက <code>pipeline()</code> function က pre-trained model တွေကို လုပ်ငန်းတာဝန်အမျိုးမျိုးအတွက် ဘယ်လိုလွယ်ကူစွာ အသုံးပြုနိုင်လဲဆိုတာကို သင်တွေ့ခဲ့ရပါတယ်-</p> <ul data-svelte-h="svelte-u58fpz"><li>Text classification, token classification, နဲ့ question answering</li> <li>Text generation နဲ့ summarization</li> <li>Translation နဲ့ အခြား sequence-to-sequence လုပ်ငန်းတာဝန်များ</li> <li>Speech recognition နဲ့ image classification</li></ul> <h3 class="relative group"><a id="transformer-architecture" class="header-link block pr-1.5 text-lg no-hover:hidden with-hover:absolute with-hover:p-1.5 with-hover:opacity-0 with-hover:group-hover:opacity-100 with-hover:right-full" href="#transformer-architecture"><span><svg class="" xmlns="http://www.w3.org/2000/svg" xmlns:xlink="http://www.w3.org/1999/xlink" aria-hidden="true" role="img" width="1em" height="1em" preserveAspectRatio="xMidYMid meet" viewBox="0 0 256 256"><path d="M167.594 88.393a8.001 8.001 0 0 1 0 11.314l-67.882 67.882a8 8 0 1 1-11.314-11.315l67.882-67.881a8.003 8.003 0 0 1 11.314 0zm-28.287 84.86l-28.284 28.284a40 40 0 0 1-56.567-56.567l28.284-28.284a8 8 0 0 0-11.315-11.315l-28.284 28.284a56 56 0 0 0 79.196 79.197l28.285-28.285a8 8 0 1 0-11.315-11.314zM212.852 43.14a56.002 56.002 0 0 0-79.196 0l-28.284 28.284a8 8 0 1 0 11.314 11.314l28.284-28.284a40 40 0 0 1 56.568 56.567l-28.285 28.285a8 8 0 0 0 11.315 11.314l28.284-28.284a56.065 56.065 0 0 0 0-79.196z" fill="currentColor"></path></svg></span></a> <span>Transformer architecture</span></h3> <p data-svelte-h="svelte-161q9fx">Transformer မော်ဒယ်တွေဟာ အမြင့်ဆုံးအဆင့်မှာ ဘယ်လိုအလုပ်လုပ်တယ်ဆိုတာကို ကျွန်တော်တို့ ဆွေးနွေးခဲ့ပါတယ်-</p> <ul data-svelte-h="svelte-1vhpuul"><li>Attention mechanism ရဲ့ အရေးပါမှု</li> <li>Transfer learning က မော်ဒယ်တွေကို သီးခြားလုပ်ငန်းတာဝန်များအတွက် ဘယ်လို လိုက်လျောညီထွေဖြစ်အောင် ကူညီပေးတယ်ဆိုတာ</li> <li>အဓိက architecture ပုံစံသုံးမျိုး- encoder-only, decoder-only, နဲ့ encoder-decoder</li></ul> <h3 class="relative group"><a id="model-architectures-and-their-applications" class="header-link block pr-1.5 text-lg no-hover:hidden with-hover:absolute with-hover:p-1.5 with-hover:opacity-0 with-hover:group-hover:opacity-100 with-hover:right-full" href="#model-architectures-and-their-applications"><span><svg class="" xmlns="http://www.w3.org/2000/svg" xmlns:xlink="http://www.w3.org/1999/xlink" aria-hidden="true" role="img" width="1em" height="1em" preserveAspectRatio="xMidYMid meet" viewBox="0 0 256 256"><path d="M167.594 88.393a8.001 8.001 0 0 1 0 11.314l-67.882 67.882a8 8 0 1 1-11.314-11.315l67.882-67.881a8.003 8.003 0 0 1 11.314 0zm-28.287 84.86l-28.284 28.284a40 40 0 0 1-56.567-56.567l28.284-28.284a8 8 0 0 0-11.315-11.315l-28.284 28.284a56 56 0 0 0 79.196 79.197l28.285-28.285a8 8 0 1 0-11.315-11.314zM212.852 43.14a56.002 56.002 0 0 0-79.196 0l-28.284 28.284a8 8 0 1 0 11.314 11.314l28.284-28.284a40 40 0 0 1 56.568 56.567l-28.285 28.285a8 8 0 0 0 11.315 11.314l28.284-28.284a56.065 56.065 0 0 0 0-79.196z" fill="currentColor"></path></svg></span></a> <span>မော်ဒယ် architecture များနှင့် ၎င်းတို့၏ အသုံးချမှုများ</span></h3> <p data-svelte-h="svelte-1x3g43d">ဒီအခန်းရဲ့ အဓိကအချက်ကတော့ မတူညီတဲ့ လုပ်ငန်းတာဝန်တွေအတွက် ဘယ် architecture ကို အသုံးပြုရမလဲဆိုတာကို နားလည်ခြင်း ဖြစ်ပါတယ်-</p> <table data-svelte-h="svelte-1j6hgom"><thead><tr><th>မော်ဒယ်</th> <th>ဥပမာများ</th> <th>လုပ်ငန်းတာဝန်များ</th></tr></thead> <tbody><tr><td>Encoder-only</td> <td>BERT, DistilBERT, ModernBERT</td> <td>စာကြောင်းခွဲခြားသတ်မှတ်ခြင်း (Sentence classification), အမည်သတ်မှတ်ခြင်း (named entity recognition), စာသားမှ အဖြေထုတ်ယူခြင်း (extractive question answering)</td></tr> <tr><td>Decoder-only</td> <td>GPT, LLaMA, Gemma, SmolLM</td> <td>စာသားထုတ်လုပ်ခြင်း (Text generation), conversational AI, ဖန်တီးမှုစာရေးခြင်း (creative writing)</td></tr> <tr><td>Encoder-decoder</td> <td>BART, T5, Marian, mBART</td> <td>အကျဉ်းချုပ်ခြင်း (Summarization), ဘာသာပြန်ခြင်း (translation), ထုတ်လုပ်မှုမေးခွန်းဖြေခြင်း (generative question answering)</td></tr></tbody></table> <h3 class="relative group"><a id="modern-llm-developments" class="header-link block pr-1.5 text-lg no-hover:hidden with-hover:absolute with-hover:p-1.5 with-hover:opacity-0 with-hover:group-hover:opacity-100 with-hover:right-full" href="#modern-llm-developments"><span><svg class="" xmlns="http://www.w3.org/2000/svg" xmlns:xlink="http://www.w3.org/1999/xlink" aria-hidden="true" role="img" width="1em" height="1em" preserveAspectRatio="xMidYMid meet" viewBox="0 0 256 256"><path d="M167.594 88.393a8.001 8.001 0 0 1 0 11.314l-67.882 67.882a8 8 0 1 1-11.314-11.315l67.882-67.881a8.003 8.003 0 0 1 11.314 0zm-28.287 84.86l-28.284 28.284a40 40 0 0 1-56.567-56.567l28.284-28.284a8 8 0 0 0-11.315-11.315l-28.284 28.284a56 56 0 0 0 79.196 79.197l28.285-28.285a8 8 0 1 0-11.315-11.314zM212.852 43.14a56.002 56.002 0 0 0-79.196 0l-28.284 28.284a8 8 0 1 0 11.314 11.314l28.284-28.284a40 40 0 0 1 56.568 56.567l-28.285 28.285a8 8 0 0 0 11.315 11.314l28.284-28.284a56.065 56.065 0 0 0 0-79.196z" fill="currentColor"></path></svg></span></a> <span>ခေတ်မီ LLM ဖွံ့ဖြိုးတိုးတက်မှုများ</span></h3> <p data-svelte-h="svelte-1i5l6ct">နယ်ပယ်ရဲ့ မကြာသေးခင် ဖွံ့ဖြိုးတိုးတက်မှုတွေအကြောင်းကိုလည်း သင်လေ့လာခဲ့ပါတယ်-</p> <ul data-svelte-h="svelte-8z6dfq"><li>LLMs တွေဟာ အချိန်နဲ့အမျှ အရွယ်အစားနဲ့ စွမ်းရည် ဘယ်လိုတိုးတက်လာခဲ့လဲဆိုတာ</li> <li>Scaling laws သဘောတရားနဲ့ ၎င်းတို့က မော်ဒယ်ဖွံ့ဖြိုးတိုးတက်မှုကို ဘယ်လိုလမ်းညွှန်ပေးတယ်ဆိုတာ</li> <li>မော်ဒယ်တွေကို ပိုမိုရှည်လျားတဲ့ sequences တွေကို လုပ်ဆောင်နိုင်အောင် ကူညီပေးတဲ့ သီးခြား attention mechanism များ</li> <li>Pretraining နဲ့ instruction tuning တို့ရဲ့ နှစ်ဆင့်လေ့ကျင့်မှု ချဉ်းကပ်ပုံ</li></ul> <h3 class="relative group"><a id="practical-applications" class="header-link block pr-1.5 text-lg no-hover:hidden with-hover:absolute with-hover:p-1.5 with-hover:opacity-0 with-hover:group-hover:opacity-100 with-hover:right-full" href="#practical-applications"><span><svg class="" xmlns="http://www.w3.org/2000/svg" xmlns:xlink="http://www.w3.org/1999/xlink" aria-hidden="true" role="img" width="1em" height="1em" preserveAspectRatio="xMidYMid meet" viewBox="0 0 256 256"><path d="M167.594 88.393a8.001 8.001 0 0 1 0 11.314l-67.882 67.882a8 8 0 1 1-11.314-11.315l67.882-67.881a8.003 8.003 0 0 1 11.314 0zm-28.287 84.86l-28.284 28.284a40 40 0 0 1-56.567-56.567l28.284-28.284a8 8 0 0 0-11.315-11.315l-28.284 28.284a56 56 0 0 0 79.196 79.197l28.285-28.285a8 8 0 1 0-11.315-11.314zM212.852 43.14a56.002 56.002 0 0 0-79.196 0l-28.284 28.284a8 8 0 1 0 11.314 11.314l28.284-28.284a40 40 0 0 1 56.568 56.567l-28.285 28.285a8 8 0 0 0 11.315 11.314l28.284-28.284a56.065 56.065 0 0 0 0-79.196z" fill="currentColor"></path></svg></span></a> <span>လက်တွေ့အသုံးချမှုများ</span></h3> <p data-svelte-h="svelte-hve2ar">ဒီအခန်းတစ်လျှောက်လုံးမှာ ဒီမော်ဒယ်တွေကို လက်တွေ့ဘဝပြဿနာတွေမှာ ဘယ်လိုအသုံးချနိုင်လဲဆိုတာကို သင်တွေ့ခဲ့ရပါတယ်-</p> <ul data-svelte-h="svelte-ktt8pt"><li>Hugging Face Hub ကို အသုံးပြုပြီး pre-trained model တွေ ရှာဖွေအသုံးပြုခြင်း</li> <li>Inference API ကို အသုံးပြုပြီး browser ထဲမှာ မော်ဒယ်တွေကို တိုက်ရိုက်စမ်းသပ်ခြင်း</li> <li>သီးခြားလုပ်ငန်းတာဝန်များအတွက် ဘယ်မော်ဒယ်တွေက အသင့်တော်ဆုံးလဲဆိုတာကို နားလည်ခြင်း</li></ul> <h2 class="relative group"><a id="looking-ahead" class="header-link block pr-1.5 text-lg no-hover:hidden with-hover:absolute with-hover:p-1.5 with-hover:opacity-0 with-hover:group-hover:opacity-100 with-hover:right-full" href="#looking-ahead"><span><svg class="" xmlns="http://www.w3.org/2000/svg" xmlns:xlink="http://www.w3.org/1999/xlink" aria-hidden="true" role="img" width="1em" height="1em" preserveAspectRatio="xMidYMid meet" viewBox="0 0 256 256"><path d="M167.594 88.393a8.001 8.001 0 0 1 0 11.314l-67.882 67.882a8 8 0 1 1-11.314-11.315l67.882-67.881a8.003 8.003 0 0 1 11.314 0zm-28.287 84.86l-28.284 28.284a40 40 0 0 1-56.567-56.567l28.284-28.284a8 8 0 0 0-11.315-11.315l-28.284 28.284a56 56 0 0 0 79.196 79.197l28.285-28.285a8 8 0 1 0-11.315-11.314zM212.852 43.14a56.002 56.002 0 0 0-79.196 0l-28.284 28.284a8 8 0 1 0 11.314 11.314l28.284-28.284a40 40 0 0 1 56.568 56.567l-28.285 28.285a8 8 0 0 0 11.315 11.314l28.284-28.284a56.065 56.065 0 0 0 0-79.196z" fill="currentColor"></path></svg></span></a> <span>ရှေ့ဆက်မျှော်ကြည့်ခြင်း</span></h2> <p data-svelte-h="svelte-wxdbxi">Transformer မော်ဒယ်တွေဆိုတာ ဘာလဲ၊ ၎င်းတို့က အမြင့်ဆုံးအဆင့်မှာ ဘယ်လိုအလုပ်လုပ်တယ်ဆိုတာကို သင်သေချာနားလည်သွားပြီဆိုတော့၊ ၎င်းတို့ကို ထိထိရောက်ရောက် ဘယ်လိုအသုံးပြုရမလဲဆိုတာကို နက်နက်နဲနဲ လေ့လာဖို့ သင်အဆင်သင့်ဖြစ်ပါပြီ။ နောက်အခန်းတွေမှာ သင်လေ့လာရမယ့်အရာတွေကတော့-</p> <ul data-svelte-h="svelte-wfv17z"><li>Transformers library ကို အသုံးပြုပြီး မော်ဒယ်တွေ တင်သွင်းခြင်းနဲ့ fine-tune လုပ်ခြင်း</li> <li>မော်ဒယ် input အတွက် မတူညီတဲ့ ဒေတာအမျိုးအစားတွေကို လုပ်ဆောင်ခြင်း</li> <li>Pre-trained model တွေကို သင်ရဲ့ သီးခြားလုပ်ငန်းတာဝန်များအတွက် လိုက်လျောညီထွေဖြစ်အောင် ပြုလုပ်ခြင်း</li> <li>လက်တွေ့အသုံးချမှုများအတွက် မော်ဒယ်များ တပ်ဆင်အသုံးပြုခြင်း (deploy)</li></ul> <p data-svelte-h="svelte-1mmyb71">ဒီအခန်းမှာ သင်တည်ဆောက်ခဲ့တဲ့ အခြေခံအုတ်မြစ်က လာမယ့်အပိုင်းတွေမှာ ပိုမိုအဆင့်မြင့်တဲ့ အကြောင်းအရာတွေနဲ့ နည်းစနစ်တွေကို သင်လေ့လာတဲ့အခါမှာ အလွန်အသုံးဝင်ပါလိမ့်မယ်။</p> <h2 class="relative group"><a id="ဝဟရ-ရငလငခက-glossary" class="header-link block pr-1.5 text-lg no-hover:hidden with-hover:absolute with-hover:p-1.5 with-hover:opacity-0 with-hover:group-hover:opacity-100 with-hover:right-full" href="#ဝဟရ-ရငလငခက-glossary"><span><svg class="" xmlns="http://www.w3.org/2000/svg" xmlns:xlink="http://www.w3.org/1999/xlink" aria-hidden="true" role="img" width="1em" height="1em" preserveAspectRatio="xMidYMid meet" viewBox="0 0 256 256"><path d="M167.594 88.393a8.001 8.001 0 0 1 0 11.314l-67.882 67.882a8 8 0 1 1-11.314-11.315l67.882-67.881a8.003 8.003 0 0 1 11.314 0zm-28.287 84.86l-28.284 28.284a40 40 0 0 1-56.567-56.567l28.284-28.284a8 8 0 0 0-11.315-11.315l-28.284 28.284a56 56 0 0 0 79.196 79.197l28.285-28.285a8 8 0 1 0-11.315-11.314zM212.852 43.14a56.002 56.002 0 0 0-79.196 0l-28.284 28.284a8 8 0 1 0 11.314 11.314l28.284-28.284a40 40 0 0 1 56.568 56.567l-28.285 28.285a8 8 0 0 0 11.315 11.314l28.284-28.284a56.065 56.065 0 0 0 0-79.196z" fill="currentColor"></path></svg></span></a> <span>ဝေါဟာရ ရှင်းလင်းချက် (Glossary)</span></h2> <ul data-svelte-h="svelte-1buxgx7"><li><strong>Transformer Models</strong>: Natural Language Processing (NLP) မှာ အောင်မြင်မှုများစွာရရှိခဲ့တဲ့ deep learning architecture တစ်မျိုးပါ။ ၎င်းတို့ဟာ စာသားတွေထဲက စကားလုံးတွေရဲ့ ဆက်နွယ်မှုတွေကို “attention mechanism” သုံးပြီး နားလည်အောင် သင်ကြားပေးပါတယ်။</li> <li><strong>Large Language Models (LLMs)</strong>: လူသားဘာသာစကားကို နားလည်ပြီး ထုတ်လုပ်ပေးနိုင်တဲ့ အလွန်ကြီးမားတဲ့ Artificial Intelligence (AI) မော်ဒယ်တွေ ဖြစ်ပါတယ်။ ၎င်းတို့ဟာ ဒေတာအမြောက်အမြားနဲ့ သင်ကြားလေ့ကျင့်ထားပြီး စာရေးတာ၊ မေးခွန်းဖြေတာ စတဲ့ ဘာသာစကားဆိုင်ရာ လုပ်ငန်းမျိုးစုံကို လုပ်ဆောင်နိုင်ပါတယ်။</li> <li><strong>Natural Language Processing (NLP)</strong>: ကွန်ပျူတာတွေ လူသားဘာသာစကားကို နားလည်၊ အဓိပ္ပာယ်ဖော်ပြီး၊ ဖန်တီးနိုင်အောင် လုပ်ဆောင်ပေးတဲ့ Artificial Intelligence (AI) ရဲ့ နယ်ပယ်ခွဲတစ်ခု ဖြစ်ပါတယ်။ ဥပမာအားဖြင့် စာသားခွဲခြမ်းစိတ်ဖြာခြင်း၊ ဘာသာပြန်ခြင်း စသည်တို့ ပါဝင်ပါတယ်။</li> <li><strong>Artificial Intelligence (AI)</strong>: လူသားတွေရဲ့ ဉာဏ်ရည်ဉာဏ်သွေးလိုမျိုး တွေးခေါ်နိုင်စွမ်း၊ သင်ယူနိုင်စွမ်းနဲ့ ပြဿနာဖြေရှင်းနိုင်စွမ်းရှိတဲ့ စက်တွေကို ဖန်တီးတဲ့ သိပ္ပံနယ်ပယ်တစ်ခုပါ။</li> <li><strong>Classification</strong>: ဒေတာအချက်အလက်များကို သတ်မှတ်ထားသော အမျိုးအစားများ သို့မဟုတ် အတန်းများထဲသို့ ခွဲခြားသတ်မှတ်ခြင်း။</li> <li><strong>Generation</strong>: AI မော်ဒယ်များကို အသုံးပြု၍ အချက်အလက်အသစ်များ (ဥပမာ - စာသား၊ ပုံများ) ဖန်တီးခြင်း။</li> <li><strong>Hallucinations</strong>: Artificial Intelligence (AI) မော်ဒယ်များမှ မှန်ကန်မှုမရှိသော သို့မဟုတ် အဓိပ္ပာယ်မရှိသော အချက်အလက်များကို ယုံကြည်မှုရှိရှိ ထုတ်လုပ်ပေးခြင်း။</li> <li><strong>Bias</strong>: ဒေတာအစုအဝေး (dataset) သို့မဟုတ် မော်ဒယ်၏ လေ့ကျင့်မှုပုံစံကြောင့် ဖြစ်ပေါ်လာသော ဘက်လိုက်မှုများ။</li> <li><strong><code>pipeline()</code> function</strong>: Hugging Face Transformers library မှာ ပါဝင်တဲ့ လုပ်ဆောင်ချက်တစ်ခုဖြစ်ပြီး မော်ဒယ်တွေကို သီးခြားလုပ်ငန်းတာဝန်များ (ဥပမာ- စာသားခွဲခြားသတ်မှတ်ခြင်း၊ စာသားထုတ်လုပ်ခြင်း) အတွက် အသုံးပြုရလွယ်ကူအောင် ပြုလုပ်ပေးပါတယ်။</li> <li><strong>🤗 Transformers</strong>: Hugging Face က ထုတ်လုပ်ထားတဲ့ library တစ်ခုဖြစ်ပြီး Transformer မော်ဒယ်တွေကို အသုံးပြုပြီး Natural Language Processing (NLP), computer vision, audio processing စတဲ့ နယ်ပယ်တွေမှာ အဆင့်မြင့် AI မော်ဒယ်တွေကို တည်ဆောက်ပြီး အသုံးပြုနိုင်စေပါတယ်။</li> <li><strong>Pre-trained Models</strong>: ဒေတာအမြောက်အမြားပေါ်တွင် ကြိုတင်လေ့ကျင့်ထားပြီးသား Artificial Intelligence (AI) မော်ဒယ်တစ်ခု။ ၎င်းတို့ကို အခြားလုပ်ငန်းများအတွက် အခြေခံအဖြစ် ပြန်လည်အသုံးပြုနိုင်သည်။</li> <li><strong>Text Classification</strong>: စာသားတစ်ခုကို သတ်မှတ်ထားသော အမျိုးအစားများ သို့မဟုတ် အတန်းများထဲသို့ ခွဲခြားသတ်မှတ်ခြင်း။</li> <li><strong>Token Classification</strong>: စာသားတစ်ခုရှိ token (စကားလုံး သို့မဟုတ် စာလုံးတစ်ပိုင်း) တစ်ခုစီကို အမျိုးအစားခွဲခြားသတ်မှတ်ခြင်း။</li> <li><strong>Question Answering</strong>: မေးခွန်းတစ်ခုကို ပေးထားသော စာသားအကြောင်းအရာမှ အဖြေထုတ်ပေးခြင်း။</li> <li><strong>Text Generation</strong>: AI မော်ဒယ်များကို အသုံးပြု၍ လူသားကဲ့သို့သော စာသားအသစ်များ ဖန်တီးခြင်း။</li> <li><strong>Summarization</strong>: စာသားရှည်ကြီးတစ်ခုကို အဓိကအချက်အလက်များ မပျောက်ပျက်စေဘဲ အကျဉ်းချုံးဖော်ပြခြင်း။</li> <li><strong>Translation</strong>: ဘာသာစကားတစ်ခုမှ အခြားဘာသာစကားတစ်ခုသို့ စာသားဘာသာပြန်ခြင်း။</li> <li><strong>Sequence-to-sequence Tasks</strong>: input sequence တစ်ခုမှ output sequence တစ်ခုကို ထုတ်လုပ်ပေးသော လုပ်ငန်းတာဝန်များ။</li> <li><strong>Speech Recognition</strong>: ပြောဆိုသော ဘာသာစကားကို ကွန်ပျူတာက စာသားအဖြစ် ပြောင်းလဲနားလည်နိုင်သည့် နည်းပညာ။</li> <li><strong>Image Classification</strong>: ရုပ်ပုံတစ်ခုကို သတ်မှတ်ထားသော အမျိုးအစားများထဲသို့ ခွဲခြားသတ်မှတ်ခြင်း။</li> <li><strong>Attention Mechanism</strong>: Transformer မော်ဒယ်များတွင် အသုံးပြုသော နည်းစနစ်တစ်ခုဖြစ်ပြီး input sequence အတွင်းရှိ အရေးပါသော အစိတ်အပိုင်းများကို အာရုံစိုက်ပြီး ဆက်နွယ်မှုများကို သင်ယူစေသည်။</li> <li><strong>Transfer Learning</strong>: ကြိုတင်လေ့ကျင့်ထားပြီးသား မော်ဒယ်တစ်ခုမှ သင်ယူထားသော အသိပညာများကို အခြားဆက်စပ်လုပ်ငန်းတစ်ခုအတွက် အသုံးပြုခြင်း။</li> <li><strong>Encoder-only</strong>: Transformer architecture အမျိုးအစားတစ်ခုဖြစ်ပြီး input ကို နားလည်ပြီး ကိုယ်စားပြုတဲ့ အချက်အလက်ကို ထုတ်ပေးတဲ့ encoder အစိတ်အပိုင်းတစ်ခုတည်း ပါဝင်ပါတယ်။</li> <li><strong>Decoder-only</strong>: Transformer architecture အမျိုးအစားတစ်ခုဖြစ်ပြီး စာသားထုတ်လုပ်ခြင်းအတွက် အသုံးပြုတဲ့ decoder အစိတ်အပိုင်းတစ်ခုတည်း ပါဝင်ပါတယ်။</li> <li><strong>Encoder-decoder</strong>: Transformer architecture အမျိုးအစားတစ်ခုဖြစ်ပြီး input sequence မှ output sequence သို့ ပြောင်းလဲခြင်း လုပ်ငန်းများအတွက် encoder နှင့် decoder နှစ်ခုစလုံး ပါဝင်ပါတယ်။</li> <li><strong>BERT</strong>: Google မှ တီထွင်ထားသော Encoder-only Transformer မော်ဒယ်ဥပမာ။</li> <li><strong>DistilBERT</strong>: BERT ၏ ပိုမိုသေးငယ်ပြီး မြန်ဆန်သော ဗားရှင်း။</li> <li><strong>ModernBERT</strong>: BERT မော်ဒယ်နှင့် ဆင်တူသော နောက်ဆုံးပေါ် ဗားရှင်းတစ်ခု (ဤနေရာတွင် ဥပမာအဖြစ် ရည်ညွှန်းခြင်း)။</li> <li><strong>GPT (Generative Pre-trained Transformer)</strong>: OpenAI မှ တီထွင်ထားသော Decoder-only Transformer မော်ဒယ်ဥပမာ။</li> <li><strong>LLaMA</strong>: Meta မှ တီထွင်ထားသော Decoder-only Transformer မော်ဒယ်ဥပမာ။</li> <li><strong>Gemma</strong>: Google မှ တီထွင်ထားသော Decoder-only Transformer မော်ဒယ်ဥပမာ။</li> <li><strong>SmolLM</strong>: Decoder-only Transformer မော်ဒယ်ဥပမာ (ဤနေရာတွင် ဥပမာအဖြစ် ရည်ညွှန်းခြင်း)။</li> <li><strong>BART</strong>: Facebook (ယခု Meta) မှ တီထွင်ထားသော Encoder-Decoder Transformer မော်ဒယ်ဥပမာ။</li> <li><strong>T5</strong>: Google မှ တီထွင်ထားသော Encoder-Decoder Transformer မော်ဒယ်ဥပမာ။</li> <li><strong>Marian</strong>: Encoder-Decoder Transformer မော်ဒယ်ဥပမာ (အဓိကအားဖြင့် ဘာသာပြန်ခြင်းအတွက်)။</li> <li><strong>mBART</strong>: Facebook (ယခု Meta) မှ တီထွင်ထားသော Encoder-Decoder Transformer မော်ဒယ်ဥပမာ (ဘာသာစကားမျိုးစုံအတွက်)။</li> <li><strong>Scaling Laws</strong>: မော်ဒယ်အရွယ်အစား၊ ဒေတာပမာဏနှင့် ကွန်ပျူတာအရင်းအမြစ်များ တိုးလာသည်နှင့်အမျှ AI မော်ဒယ်များ၏ စွမ်းဆောင်ရည်ကို ခန့်မှန်းဖော်ပြသော ဆက်နွယ်မှုများ။</li> <li><strong>Instruction Tuning</strong>: မော်ဒယ်ကို သီးခြားညွှန်ကြားချက်များ (instructions) ကို နားလည်ပြီး လိုက်နာရန် ထပ်မံလေ့ကျင့်ပေးသော လုပ်ငန်းစဉ်။</li> <li><strong>Hugging Face Hub</strong>: AI မော်ဒယ်တွေ၊ datasets တွေနဲ့ demo တွေကို အခြားသူတွေနဲ့ မျှဝေဖို့၊ ရှာဖွေဖို့နဲ့ ပြန်လည်အသုံးပြုဖို့အတွက် အွန်လိုင်း platform တစ်ခု ဖြစ်ပါတယ်။</li> <li><strong>Inference API</strong>: Hugging Face Hub ပေါ်ရှိ မော်ဒယ်များကို web request များမှတစ်ဆင့် တိုက်ရိုက်အသုံးပြုနိုင်စေသည့် Application Programming Interface (API)။</li> <li><strong>Fine-tune</strong>: ကြိုတင်လေ့ကျင့်ထားပြီးသား (pre-trained) မော်ဒယ်တစ်ခုကို သီးခြားလုပ်ငန်းတစ်ခု (specific task) အတွက် အနည်းငယ်သော ဒေတာနဲ့ ထပ်မံလေ့ကျင့်ပေးခြင်းကို ဆိုလိုပါတယ်။</li> <li><strong>Deploy</strong>: Machine Learning မော်ဒယ်တစ်ခုကို အမှန်တကယ် အသုံးပြုနိုင်သော စနစ် သို့မဟုတ် environment တစ်ခုထဲသို့ ထည့်သွင်းခြင်း။</li></ul> <a class="!text-gray-400 !no-underline text-sm flex items-center not-prose mt-4" href="https://github.com/huggingface/course/blob/main/chapters/my/chapter1/10.mdx" target="_blank"><svg class="mr-1" xmlns="http://www.w3.org/2000/svg" aria-hidden="true" fill="currentColor" focusable="false" role="img" width="1em" height="1em" preserveAspectRatio="xMidYMid meet" viewBox="0 0 32 32"><path d="M31,16l-7,7l-1.41-1.41L28.17,16l-5.58-5.59L24,9l7,7z"></path><path d="M1,16l7-7l1.41,1.41L3.83,16l5.58,5.59L8,23l-7-7z"></path><path d="M12.419,25.484L17.639,6.552l1.932,0.518L14.351,26.002z"></path></svg> <span data-svelte-h="svelte-zjs2n5"><span class="underline">Update</span> on GitHub</span></a> <p></p>

	<script>
	{
	__sveltekit_tyugt6 = {
	assets: "/docs/course/pr_1114/my",
	base: "/docs/course/pr_1114/my",
	env: {}
	};

	const element = document.currentScript.parentElement;

	const data = [null,null];

	Promise.all([
	import("/docs/course/pr_1114/my/_app/immutable/entry/start.14794ee9.js"),
	import("/docs/course/pr_1114/my/_app/immutable/entry/app.a133f5c6.js")
	]).then(([kit, app]) => {
	kit.start(app, element, {
	node_ids: [0, 4],
	data,
	form: null,
	error: null
	});
	});
	}
	</script>

Xet Storage Details

Size:: 44.8 kB
Xet hash:: cf757a2f61f36201c785adc3cc8836bad506784a76abfecc1489f4b25060e812

Xet efficiently stores files, intelligently splitting them into unique chunks and accelerating uploads and downloads. More info.