Hugging Face's logo

Buckets:
hf-doc-build
/
doc-dev

Files
xet
hf-doc-build/doc-dev / course /pr_1095 /my /chapter10 /3.html
rtrm's picture
rtrm
download
raw
41 kB
<meta charset="utf-8" /><meta name="hf:doc:metadata" content="{&quot;title&quot;:&quot;သင့် Dataset ကို Argilla သို့ Load လုပ်ခြင်း&quot;,&quot;local&quot;:&quot;load-your-dataset-to-argilla&quot;,&quot;sections&quot;:[{&quot;title&quot;:&quot;သင့် Dataset ကို Configure လုပ်ပါ&quot;,&quot;local&quot;:&quot;သင-dataset-က-configure-လပပ&quot;,&quot;sections&quot;:[],&quot;depth&quot;:2},{&quot;title&quot;:&quot;Dataset ကို Upload လုပ်ပါ&quot;,&quot;local&quot;:&quot;dataset-က-upload-လပပ&quot;,&quot;sections&quot;:[],&quot;depth&quot;:2},{&quot;title&quot;:&quot;ဝေါဟာရ ရှင်းလင်းချက် (Glossary)&quot;,&quot;local&quot;:&quot;ဝဟရ-ရငလငခက-glossary&quot;,&quot;sections&quot;:[],&quot;depth&quot;:2}],&quot;depth&quot;:1}">
 <link href="/docs/course/pr_1095/my/_app/immutable/assets/0.e3b0c442.css" rel="modulepreload">
 <link rel="modulepreload" href="/docs/course/pr_1095/my/_app/immutable/entry/start.8e25cab6.js">
 <link rel="modulepreload" href="/docs/course/pr_1095/my/_app/immutable/chunks/scheduler.893fe8c9.js">
 <link rel="modulepreload" href="/docs/course/pr_1095/my/_app/immutable/chunks/singletons.ba455c5c.js">
 <link rel="modulepreload" href="/docs/course/pr_1095/my/_app/immutable/chunks/index.bce52c8a.js">
 <link rel="modulepreload" href="/docs/course/pr_1095/my/_app/immutable/chunks/paths.9a7be869.js">
 <link rel="modulepreload" href="/docs/course/pr_1095/my/_app/immutable/entry/app.b12ce275.js">
 <link rel="modulepreload" href="/docs/course/pr_1095/my/_app/immutable/chunks/preload-helper.b5ee8f74.js">
 <link rel="modulepreload" href="/docs/course/pr_1095/my/_app/immutable/chunks/index.b1df2166.js">
 <link rel="modulepreload" href="/docs/course/pr_1095/my/_app/immutable/nodes/0.77c840e7.js">
 <link rel="modulepreload" href="/docs/course/pr_1095/my/_app/immutable/chunks/each.e59479a4.js">
 <link rel="modulepreload" href="/docs/course/pr_1095/my/_app/immutable/nodes/16.3f957d55.js">
 <link rel="modulepreload" href="/docs/course/pr_1095/my/_app/immutable/chunks/MermaidChart.svelte_svelte_type_style_lang.e6d31e72.js">
 <link rel="modulepreload" href="/docs/course/pr_1095/my/_app/immutable/chunks/CodeBlock.abb4f40e.js">
 <link rel="modulepreload" href="/docs/course/pr_1095/my/_app/immutable/chunks/CourseFloatingBanner.c1c08878.js"><!-- HEAD_svelte-u9bgzb_START --><meta name="hf:doc:metadata" content="{&quot;title&quot;:&quot;သင့် Dataset ကို Argilla သို့ Load လုပ်ခြင်း&quot;,&quot;local&quot;:&quot;load-your-dataset-to-argilla&quot;,&quot;sections&quot;:[{&quot;title&quot;:&quot;သင့် Dataset ကို Configure လုပ်ပါ&quot;,&quot;local&quot;:&quot;သင-dataset-က-configure-လပပ&quot;,&quot;sections&quot;:[],&quot;depth&quot;:2},{&quot;title&quot;:&quot;Dataset ကို Upload လုပ်ပါ&quot;,&quot;local&quot;:&quot;dataset-က-upload-လပပ&quot;,&quot;sections&quot;:[],&quot;depth&quot;:2},{&quot;title&quot;:&quot;ဝေါဟာရ ရှင်းလင်းချက် (Glossary)&quot;,&quot;local&quot;:&quot;ဝဟရ-ရငလငခက-glossary&quot;,&quot;sections&quot;:[],&quot;depth&quot;:2}],&quot;depth&quot;:1}"><!-- HEAD_svelte-u9bgzb_END --> <p></p> <div class="items-center shrink-0 min-w-[100px] max-sm:min-w-[50px] justify-end ml-auto flex" style="float: right; margin-left: 10px; display: inline-flex; position: relative; z-index: 10;"><div class="inline-flex rounded-md max-sm:rounded-sm"><button class="inline-flex items-center gap-1 max-sm:gap-0.5 h-6 max-sm:h-5 px-2 max-sm:px-1.5 text-[11px] max-sm:text-[9px] font-medium text-gray-800 border border-r-0 rounded-l-md max-sm:rounded-l-sm border-gray-200 bg-white hover:shadow-inner dark:border-gray-850 dark:bg-gray-950 dark:text-gray-200 dark:hover:bg-gray-800" aria-live="polite"><span class="inline-flex items-center justify-center rounded-md p-0.5 max-sm:p-0"><svg class="w-3 h-3 max-sm:w-2.5 max-sm:h-2.5" xmlns="http://www.w3.org/2000/svg" aria-hidden="true" fill="currentColor" focusable="false" role="img" width="1em" height="1em" preserveAspectRatio="xMidYMid meet" viewBox="0 0 32 32"><path d="M28,10V28H10V10H28m0-2H10a2,2,0,0,0-2,2V28a2,2,0,0,0,2,2H28a2,2,0,0,0,2-2V10a2,2,0,0,0-2-2Z" transform="translate(0)"></path><path d="M4,18H2V4A2,2,0,0,1,4,2H18V4H4Z" transform="translate(0)"></path><rect fill="none" width="32" height="32"></rect></svg></span> <span>Copy page</span></button> <button class="inline-flex items-center justify-center w-6 max-sm:w-5 h-6 max-sm:h-5 disabled:pointer-events-none text-sm text-gray-500 hover:text-gray-700 dark:hover:text-white rounded-r-md max-sm:rounded-r-sm border border-l transition border-gray-200 bg-white hover:shadow-inner dark:border-gray-850 dark:bg-gray-950 dark:text-gray-200 dark:hover:bg-gray-800" aria-haspopup="menu" aria-expanded="false" aria-label="Open copy menu"><svg class="transition-transform text-gray-400 overflow-visible w-3 h-3 max-sm:w-2.5 max-sm:h-2.5 rotate-0" width="1em" height="1em" viewBox="0 0 12 7" fill="none" xmlns="http://www.w3.org/2000/svg"><path d="M1 1L6 6L11 1" stroke="currentColor"></path></svg></button></div> </div> <h1 class="relative group"><a id="load-your-dataset-to-argilla" class="header-link block pr-1.5 text-lg no-hover:hidden with-hover:absolute with-hover:p-1.5 with-hover:opacity-0 with-hover:group-hover:opacity-100 with-hover:right-full" href="#load-your-dataset-to-argilla"><span><svg class="" xmlns="http://www.w3.org/2000/svg" xmlns:xlink="http://www.w3.org/1999/xlink" aria-hidden="true" role="img" width="1em" height="1em" preserveAspectRatio="xMidYMid meet" viewBox="0 0 256 256"><path d="M167.594 88.393a8.001 8.001 0 0 1 0 11.314l-67.882 67.882a8 8 0 1 1-11.314-11.315l67.882-67.881a8.003 8.003 0 0 1 11.314 0zm-28.287 84.86l-28.284 28.284a40 40 0 0 1-56.567-56.567l28.284-28.284a8 8 0 0 0-11.315-11.315l-28.284 28.284a56 56 0 0 0 79.196 79.197l28.285-28.285a8 8 0 1 0-11.315-11.314zM212.852 43.14a56.002 56.002 0 0 0-79.196 0l-28.284 28.284a8 8 0 1 0 11.314 11.314l28.284-28.284a40 40 0 0 1 56.568 56.567l-28.285 28.285a8 8 0 0 0 11.315 11.314l28.284-28.284a56.065 56.065 0 0 0 0-79.196z" fill="currentColor"></path></svg></span></a> <span>သင့် Dataset ကို Argilla သို့ Load လုပ်ခြင်း</span></h1> <div class="flex space-x-1 absolute z-10 right-0 top=0" style=""><a href="https://discuss.huggingface.co/t/chapter-10-questions" target="_blank"><img alt="Ask a Question" class="!m-0" src="https://img.shields.io/badge/Ask%20a%20question-ffcb4c.svg?logo=data:image/svg+xml;base64,PHN2ZyB4bWxucz0iaHR0cDovL3d3dy53My5vcmcvMjAwMC9zdmciIHZpZXdCb3g9IjAgLTEgMTA0IDEwNiI+PGRlZnM+PHN0eWxlPi5jbHMtMXtmaWxsOiMyMzFmMjA7fS5jbHMtMntmaWxsOiNmZmY5YWU7fS5jbHMtM3tmaWxsOiMwMGFlZWY7fS5jbHMtNHtmaWxsOiMwMGE5NGY7fS5jbHMtNXtmaWxsOiNmMTVkMjI7fS5jbHMtNntmaWxsOiNlMzFiMjM7fTwvc3R5bGU+PC9kZWZzPjx0aXRsZT5EaXNjb3Vyc2VfbG9nbzwvdGl0bGU+PGcgaWQ9IkxheWVyXzIiPjxnIGlkPSJMYXllcl8zIj48cGF0aCBjbGFzcz0iY2xzLTEiIGQ9Ik01MS44NywwQzIzLjcxLDAsMCwyMi44MywwLDUxYzAsLjkxLDAsNTIuODEsMCw1Mi44MWw1MS44Ni0uMDVjMjguMTYsMCw1MS0yMy43MSw1MS01MS44N1M4MCwwLDUxLjg3LDBaIi8+PHBhdGggY2xhc3M9ImNscy0yIiBkPSJNNTIuMzcsMTkuNzRBMzEuNjIsMzEuNjIsMCwwLDAsMjQuNTgsNjYuNDFsLTUuNzIsMTguNEwzOS40LDgwLjE3YTMxLjYxLDMxLjYxLDAsMSwwLDEzLTYwLjQzWiIvPjxwYXRoIGNsYXNzPSJjbHMtMyIgZD0iTTc3LjQ1LDMyLjEyYTMxLjYsMzEuNiwwLDAsMS0zOC4wNSw0OEwxOC44Niw4NC44MmwyMC45MS0yLjQ3QTMxLjYsMzEuNiwwLDAsMCw3Ny40NSwzMi4xMloiLz48cGF0aCBjbGFzcz0iY2xzLTQiIGQ9Ik03MS42MywyNi4yOUEzMS42LDMxLjYsMCwwLDEsMzguOCw3OEwxOC44Niw4NC44MiwzOS40LDgwLjE3QTMxLjYsMzEuNiwwLDAsMCw3MS42MywyNi4yOVoiLz48cGF0aCBjbGFzcz0iY2xzLTUiIGQ9Ik0yNi40Nyw2Ny4xMWEzMS42MSwzMS42MSwwLDAsMSw1MS0zNUEzMS42MSwzMS42MSwwLDAsMCwyNC41OCw2Ni40MWwtNS43MiwxOC40WiIvPjxwYXRoIGNsYXNzPSJjbHMtNiIgZD0iTTI0LjU4LDY2LjQxQTMxLjYxLDMxLjYxLDAsMCwxLDcxLjYzLDI2LjI5YTMxLjYxLDMxLjYxLDAsMCwwLTQ5LDM5LjYzbC0zLjc2LDE4LjlaIi8+PC9nPjwvZz48L3N2Zz4="></a> <a href="https://colab.research.google.com/github/huggingface/notebooks/blob/master/course/en/chapter10/section3.ipynb" target="_blank"><img alt="Open In Colab" class="!m-0" src="https://colab.research.google.com/assets/colab-badge.svg"></a> <a href="https://studiolab.sagemaker.aws/import/github/huggingface/notebooks/blob/master/course/en/chapter10/section3.ipynb" target="_blank"><img alt="Open In Studio Lab" class="!m-0" src="https://studiolab.sagemaker.aws/studiolab.svg"></a></div> <p data-svelte-h="svelte-bp7ns1">သင်လုပ်ဆောင်နေတဲ့ NLP task နဲ့ သီးခြား use case ဒါမှမဟုတ် application ပေါ်မူတည်ပြီး၊ သင့် data နဲ့ annotation task က ကွဲပြားခြားနားနေပါလိမ့်မယ်။ ဒီသင်တန်းအပိုင်းအတွက်၊ ကျွန်တော်တို့ဟာ သတင်းများ စုဆောင်းထားတဲ့ dataset တစ်ခုကို အသုံးပြုပြီး tasks နှစ်ခုကို လုပ်ဆောင်ပါမယ်။ ဒါတွေကတော့ text တစ်ခုစီရဲ့ ခေါင်းစဉ်ပေါ်မှာ text classification လုပ်တာနဲ့ ဖော်ပြထားတဲ့ named entities တွေကို ဖော်ထုတ်ဖို့ token classification လုပ်တာတို့ ဖြစ်ပါတယ်။</p> <iframe src="https://huggingface.co/datasets/SetFit/ag_news/embed/viewer/default/train" frameborder="0" width="100%" height="560px"></iframe> <p data-svelte-h="svelte-hpmt11">Argilla UI ကို တိုက်ရိုက်အသုံးပြုပြီး Hub ကနေ datasets တွေကို import လုပ်ဖို့ ဖြစ်နိုင်ပါတယ်။ ဒါပေမယ့် လိုအပ်ရင် data ကို ဘယ်လို ထပ်မံပြင်ဆင်နိုင်မလဲဆိုတာ သင်ယူဖို့ SDK ကို ကျွန်တော်တို့ အသုံးပြုပါမယ်။</p> <h2 class="relative group"><a id="သင-dataset-က-configure-လပပ" class="header-link block pr-1.5 text-lg no-hover:hidden with-hover:absolute with-hover:p-1.5 with-hover:opacity-0 with-hover:group-hover:opacity-100 with-hover:right-full" href="#သင-dataset-က-configure-လပပ"><span><svg class="" xmlns="http://www.w3.org/2000/svg" xmlns:xlink="http://www.w3.org/1999/xlink" aria-hidden="true" role="img" width="1em" height="1em" preserveAspectRatio="xMidYMid meet" viewBox="0 0 256 256"><path d="M167.594 88.393a8.001 8.001 0 0 1 0 11.314l-67.882 67.882a8 8 0 1 1-11.314-11.315l67.882-67.881a8.003 8.003 0 0 1 11.314 0zm-28.287 84.86l-28.284 28.284a40 40 0 0 1-56.567-56.567l28.284-28.284a8 8 0 0 0-11.315-11.315l-28.284 28.284a56 56 0 0 0 79.196 79.197l28.285-28.285a8 8 0 1 0-11.315-11.314zM212.852 43.14a56.002 56.002 0 0 0-79.196 0l-28.284 28.284a8 8 0 1 0 11.314 11.314l28.284-28.284a40 40 0 0 1 56.568 56.567l-28.285 28.285a8 8 0 0 0 11.315 11.314l28.284-28.284a56.065 56.065 0 0 0 0-79.196z" fill="currentColor"></path></svg></span></a> <span>သင့် Dataset ကို Configure လုပ်ပါ</span></h2> <p data-svelte-h="svelte-3is0ic">ပထမအဆင့်ကတော့ ယခင်အပိုင်းမှာ လုပ်ခဲ့တဲ့အတိုင်း ကျွန်တော်တို့ရဲ့ Argilla instance ကို ချိတ်ဆက်ဖို့ပါပဲ။</p> <div class="code-block relative "><div class="absolute top-2.5 right-4"><button class="inline-flex items-center relative text-sm focus:text-green-500 cursor-pointer focus:outline-none transition duration-200 ease-in-out opacity-0 mx-0.5 text-gray-600 " title="code excerpt" type="button"><svg class="" xmlns="http://www.w3.org/2000/svg" aria-hidden="true" fill="currentColor" focusable="false" role="img" width="1em" height="1em" preserveAspectRatio="xMidYMid meet" viewBox="0 0 32 32"><path d="M28,10V28H10V10H28m0-2H10a2,2,0,0,0-2,2V28a2,2,0,0,0,2,2H28a2,2,0,0,0,2-2V10a2,2,0,0,0-2-2Z" transform="translate(0)"></path><path d="M4,18H2V4A2,2,0,0,1,4,2H18V4H4Z" transform="translate(0)"></path><rect fill="none" width="32" height="32"></rect></svg> <div class="absolute pointer-events-none transition-opacity bg-black text-white py-1 px-2 leading-tight rounded font-normal shadow left-1/2 top-full transform -translate-x-1/2 translate-y-2 opacity-0"><div class="absolute bottom-full left-1/2 transform -translate-x-1/2 w-0 h-0 border-black border-4 border-t-0" style="border-left-color: transparent; border-right-color: transparent; "></div> Copied</div></button></div> <pre class=""><!-- HTML_TAG_START --><span class="hljs-keyword">import</span> argilla <span class="hljs-keyword">as</span> rg
HF_TOKEN = <span class="hljs-string">&quot;...&quot;</span> <span class="hljs-comment"># private spaces များအတွက်သာ</span>
client = rg.Argilla(
 api_url=<span class="hljs-string">&quot;...&quot;</span>,
 api_key=<span class="hljs-string">&quot;...&quot;</span>,
 headers={<span class="hljs-string">&quot;Authorization&quot;</span>: <span class="hljs-string">f&quot;Bearer <span class="hljs-subst">{HF_TOKEN}</span>&quot;</span>}, <span class="hljs-comment"># private spaces များအတွက်သာ</span>
)<!-- HTML_TAG_END --></pre></div> <p data-svelte-h="svelte-pj9l0l">အခု ကျွန်တော်တို့ Argilla မှာရှိတဲ့ ကျွန်တော်တို့ dataset ရဲ့ settings တွေအကြောင်း စဉ်းစားနိုင်ပါပြီ။ ဒါတွေက ကျွန်တော်တို့ data ပေါ်မှာ လုပ်ဆောင်မယ့် annotation task ကို ကိုယ်စားပြုပါတယ်။ ပထမဆုံးအနေနဲ့၊ dataset ကို Hub ကနေ load လုပ်ပြီး ၎င်းရဲ့ features တွေကို စစ်ဆေးနိုင်ပါတယ်။ ဒါမှ dataset ကို မှန်ကန်စွာ configure လုပ်ထားခြင်းရှိမရှိ သေချာစေမှာပါ။</p> <div class="code-block relative "><div class="absolute top-2.5 right-4"><button class="inline-flex items-center relative text-sm focus:text-green-500 cursor-pointer focus:outline-none transition duration-200 ease-in-out opacity-0 mx-0.5 text-gray-600 " title="code excerpt" type="button"><svg class="" xmlns="http://www.w3.org/2000/svg" aria-hidden="true" fill="currentColor" focusable="false" role="img" width="1em" height="1em" preserveAspectRatio="xMidYMid meet" viewBox="0 0 32 32"><path d="M28,10V28H10V10H28m0-2H10a2,2,0,0,0-2,2V28a2,2,0,0,0,2,2H28a2,2,0,0,0,2-2V10a2,2,0,0,0-2-2Z" transform="translate(0)"></path><path d="M4,18H2V4A2,2,0,0,1,4,2H18V4H4Z" transform="translate(0)"></path><rect fill="none" width="32" height="32"></rect></svg> <div class="absolute pointer-events-none transition-opacity bg-black text-white py-1 px-2 leading-tight rounded font-normal shadow left-1/2 top-full transform -translate-x-1/2 translate-y-2 opacity-0"><div class="absolute bottom-full left-1/2 transform -translate-x-1/2 w-0 h-0 border-black border-4 border-t-0" style="border-left-color: transparent; border-right-color: transparent; "></div> Copied</div></button></div> <pre class=""><!-- HTML_TAG_START --><span class="hljs-keyword">from</span> datasets <span class="hljs-keyword">import</span> load_dataset
data = load_dataset(<span class="hljs-string">&quot;SetFit/ag_news&quot;</span>, split=<span class="hljs-string">&quot;train&quot;</span>)
data.features<!-- HTML_TAG_END --></pre></div> <p data-svelte-h="svelte-yj64c9">ဒါတွေကတော့ ကျွန်တော်တို့ dataset ရဲ့ features တွေပါ-</p> <div class="code-block relative "><div class="absolute top-2.5 right-4"><button class="inline-flex items-center relative text-sm focus:text-green-500 cursor-pointer focus:outline-none transition duration-200 ease-in-out opacity-0 mx-0.5 text-gray-600 " title="code excerpt" type="button"><svg class="" xmlns="http://www.w3.org/2000/svg" aria-hidden="true" fill="currentColor" focusable="false" role="img" width="1em" height="1em" preserveAspectRatio="xMidYMid meet" viewBox="0 0 32 32"><path d="M28,10V28H10V10H28m0-2H10a2,2,0,0,0-2,2V28a2,2,0,0,0,2,2H28a2,2,0,0,0,2-2V10a2,2,0,0,0-2-2Z" transform="translate(0)"></path><path d="M4,18H2V4A2,2,0,0,1,4,2H18V4H4Z" transform="translate(0)"></path><rect fill="none" width="32" height="32"></rect></svg> <div class="absolute pointer-events-none transition-opacity bg-black text-white py-1 px-2 leading-tight rounded font-normal shadow left-1/2 top-full transform -translate-x-1/2 translate-y-2 opacity-0"><div class="absolute bottom-full left-1/2 transform -translate-x-1/2 w-0 h-0 border-black border-4 border-t-0" style="border-left-color: transparent; border-right-color: transparent; "></div> Copied</div></button></div> <pre class=""><!-- HTML_TAG_START -->{<span class="hljs-string">&#x27;text&#x27;</span>: Value(dtype=<span class="hljs-string">&#x27;string&#x27;</span>, <span class="hljs-built_in">id</span>=<span class="hljs-literal">None</span>),
 <span class="hljs-string">&#x27;label&#x27;</span>: Value(dtype=<span class="hljs-string">&#x27;int64&#x27;</span>, <span class="hljs-built_in">id</span>=<span class="hljs-literal">None</span>),
 <span class="hljs-string">&#x27;label_text&#x27;</span>: Value(dtype=<span class="hljs-string">&#x27;string&#x27;</span>, <span class="hljs-built_in">id</span>=<span class="hljs-literal">None</span>)}<!-- HTML_TAG_END --></pre></div> <p data-svelte-h="svelte-29839a">၎င်းတွင် <code>text</code> တစ်ခုပါဝင်ပြီး text classification အတွက် အစောပိုင်း labels အချို့လည်း ပါဝင်ပါတယ်။ အဲဒါတွေကို ကျွန်တော်တို့ dataset settings မှာ named entities တွေအတွက် <code>spans</code> question တစ်ခုနဲ့အတူ ထည့်သွင်းပါမယ်။</p> <div class="code-block relative "><div class="absolute top-2.5 right-4"><button class="inline-flex items-center relative text-sm focus:text-green-500 cursor-pointer focus:outline-none transition duration-200 ease-in-out opacity-0 mx-0.5 text-gray-600 " title="code excerpt" type="button"><svg class="" xmlns="http://www.w3.org/2000/svg" aria-hidden="true" fill="currentColor" focusable="false" role="img" width="1em" height="1em" preserveAspectRatio="xMidYMid meet" viewBox="0 0 32 32"><path d="M28,10V28H10V10H28m0-2H10a2,2,0,0,0-2,2V28a2,2,0,0,0,2,2H28a2,2,0,0,0,2-2V10a2,2,0,0,0-2-2Z" transform="translate(0)"></path><path d="M4,18H2V4A2,2,0,0,1,4,2H18V4H4Z" transform="translate(0)"></path><rect fill="none" width="32" height="32"></rect></svg> <div class="absolute pointer-events-none transition-opacity bg-black text-white py-1 px-2 leading-tight rounded font-normal shadow left-1/2 top-full transform -translate-x-1/2 translate-y-2 opacity-0"><div class="absolute bottom-full left-1/2 transform -translate-x-1/2 w-0 h-0 border-black border-4 border-t-0" style="border-left-color: transparent; border-right-color: transparent; "></div> Copied</div></button></div> <pre class=""><!-- HTML_TAG_START -->settings = rg.Settings(
 fields=[rg.TextField(name=<span class="hljs-string">&quot;text&quot;</span>)],
 questions=[
 rg.LabelQuestion(
 name=<span class="hljs-string">&quot;label&quot;</span>, title=<span class="hljs-string">&quot;စာသားကို အမျိုးအစားခွဲပါ:&quot;</span>, labels=data.unique(<span class="hljs-string">&quot;label_text&quot;</span>)
 ),
 rg.SpanQuestion(
 name=<span class="hljs-string">&quot;entities&quot;</span>,
 title=<span class="hljs-string">&quot;စာသားထဲက entities အားလုံးကို မီးမောင်းထိုးပြပါ:&quot;</span>,
 labels=[<span class="hljs-string">&quot;PERSON&quot;</span>, <span class="hljs-string">&quot;ORG&quot;</span>, <span class="hljs-string">&quot;LOC&quot;</span>, <span class="hljs-string">&quot;EVENT&quot;</span>],
 field=<span class="hljs-string">&quot;text&quot;</span>,
 ),
 ],
)<!-- HTML_TAG_END --></pre></div> <p data-svelte-h="svelte-gt3gq8">ဒီ settings တွေက ဘာကိုဆိုလိုသလဲဆိုတာ နည်းနည်း ပိုနက်နဲအောင် လေ့လာကြည့်ရအောင်။ ပထမဆုံး၊ ကျွန်တော်တို့ <strong>fields</strong> တွေကို သတ်မှတ်ခဲ့ပါတယ်။ ဒါတွေက ကျွန်တော်တို့ annotation လုပ်မယ့် အချက်အလက်တွေ ပါဝင်ပါတယ်။ ဒီအခြေအနေမှာ၊ ကျွန်တော်တို့မှာ field တစ်ခုတည်းသာ ရှိပြီး ဒါက text ပုံစံနဲ့လာတာကြောင့် <code>TextField</code> ကို ရွေးချယ်ခဲ့ပါတယ်။</p> <p data-svelte-h="svelte-1axowgw">ပြီးရင်၊ ကျွန်တော်တို့ data ပေါ်မှာ လုပ်ဆောင်ချင်တဲ့ tasks တွေကို ကိုယ်စားပြုတဲ့ <strong>questions</strong> တွေကို သတ်မှတ်ပါတယ်-</p> <ul data-svelte-h="svelte-z9ecg3"><li>text classification task အတွက် ကျွန်တော်တို့ <code>LabelQuestion</code> ကို ရွေးချယ်ခဲ့ပြီး <code>label_text</code> column ရဲ့ unique values တွေကို labels အဖြစ် အသုံးပြုခဲ့ပါတယ်။ ဒါမှ question က dataset မှာ ရှိပြီးသား labels တွေနဲ့ ကိုက်ညီမှုရှိမရှိ သေချာစေမှာပါ။</li> <li>token classification task အတွက်၊ ကျွန်တော်တို့ <code>SpanQuestion</code> တစ်ခု လိုအပ်ပါလိမ့်မယ်။ အဲဒီ task အတွက် အသုံးပြုမယ့် labels တွေအပြင်၊ spans တွေကို ဆွဲမယ့် field ကိုလည်း ကျွန်တော်တို့ သတ်မှတ်ခဲ့ပါတယ်။</li></ul> <p data-svelte-h="svelte-1t8e1a1">ရရှိနိုင်တဲ့ fields နဲ့ questions အမျိုးအစားအားလုံးအကြောင်း၊ metadata နဲ့ vectors လိုမျိုး အခြား advanced settings တွေအကြောင်း ပိုမိုသိရှိလိုပါက <a href="https://docs.argilla.io/latest/how_to_guides/dataset/#define-dataset-settings" rel="nofollow">Argilla docs</a> ကို သွားကြည့်ပါ။</p> <h2 class="relative group"><a id="dataset-က-upload-လပပ" class="header-link block pr-1.5 text-lg no-hover:hidden with-hover:absolute with-hover:p-1.5 with-hover:opacity-0 with-hover:group-hover:opacity-100 with-hover:right-full" href="#dataset-က-upload-လပပ"><span><svg class="" xmlns="http://www.w3.org/2000/svg" xmlns:xlink="http://www.w3.org/1999/xlink" aria-hidden="true" role="img" width="1em" height="1em" preserveAspectRatio="xMidYMid meet" viewBox="0 0 256 256"><path d="M167.594 88.393a8.001 8.001 0 0 1 0 11.314l-67.882 67.882a8 8 0 1 1-11.314-11.315l67.882-67.881a8.003 8.003 0 0 1 11.314 0zm-28.287 84.86l-28.284 28.284a40 40 0 0 1-56.567-56.567l28.284-28.284a8 8 0 0 0-11.315-11.315l-28.284 28.284a56 56 0 0 0 79.196 79.197l28.285-28.285a8 8 0 1 0-11.315-11.314zM212.852 43.14a56.002 56.002 0 0 0-79.196 0l-28.284 28.284a8 8 0 1 0 11.314 11.314l28.284-28.284a40 40 0 0 1 56.568 56.567l-28.285 28.285a8 8 0 0 0 11.315 11.314l28.284-28.284a56.065 56.065 0 0 0 0-79.196z" fill="currentColor"></path></svg></span></a> <span>Dataset ကို Upload လုပ်ပါ</span></h2> <p data-svelte-h="svelte-v80wa0">settings အချို့ကို သတ်မှတ်ပြီးပြီဆိုတော့၊ dataset ကို ဖန်တီးနိုင်ပါပြီ။</p> <div class="code-block relative "><div class="absolute top-2.5 right-4"><button class="inline-flex items-center relative text-sm focus:text-green-500 cursor-pointer focus:outline-none transition duration-200 ease-in-out opacity-0 mx-0.5 text-gray-600 " title="code excerpt" type="button"><svg class="" xmlns="http://www.w3.org/2000/svg" aria-hidden="true" fill="currentColor" focusable="false" role="img" width="1em" height="1em" preserveAspectRatio="xMidYMid meet" viewBox="0 0 32 32"><path d="M28,10V28H10V10H28m0-2H10a2,2,0,0,0-2,2V28a2,2,0,0,0,2,2H28a2,2,0,0,0,2-2V10a2,2,0,0,0-2-2Z" transform="translate(0)"></path><path d="M4,18H2V4A2,2,0,0,1,4,2H18V4H4Z" transform="translate(0)"></path><rect fill="none" width="32" height="32"></rect></svg> <div class="absolute pointer-events-none transition-opacity bg-black text-white py-1 px-2 leading-tight rounded font-normal shadow left-1/2 top-full transform -translate-x-1/2 translate-y-2 opacity-0"><div class="absolute bottom-full left-1/2 transform -translate-x-1/2 w-0 h-0 border-black border-4 border-t-0" style="border-left-color: transparent; border-right-color: transparent; "></div> Copied</div></button></div> <pre class=""><!-- HTML_TAG_START -->dataset = rg.Dataset(name=<span class="hljs-string">&quot;ag_news&quot;</span>, settings=settings)
dataset.create()<!-- HTML_TAG_END --></pre></div> <p data-svelte-h="svelte-h46fiz">dataset က ကျွန်တော်တို့ရဲ့ Argilla instance မှာ ပေါ်လာပါပြီ။ ဒါပေမယ့် ဒါက ဗလာဖြစ်နေတာကို သင်တွေ့ရပါလိမ့်မယ်။</p> <img src="https://huggingface.co/datasets/huggingface-course/documentation-images/resolve/main/en/chapter10/empty_dataset.png" alt="Screenshot of the empty dataset."> <p data-svelte-h="svelte-k2nkxm">အခု ကျွန်တော်တို့ annotation လုပ်မယ့် records တွေကို ထည့်သွင်းဖို့ လိုပါတယ်။ ဆိုလိုတာက ကျွန်တော်တို့ dataset ထဲက rows တွေပေါ့။ ဒါကိုလုပ်ဖို့၊ data ကို records အဖြစ် log လုပ်ပြီး Hub နဲ့ Argilla datasets တွေမှာ နာမည်တူမရှိတဲ့ elements တွေအတွက် mapping တစ်ခု ပံ့ပိုးပေးဖို့ပဲ လိုအပ်ပါလိမ့်မယ်။</p> <div class="code-block relative "><div class="absolute top-2.5 right-4"><button class="inline-flex items-center relative text-sm focus:text-green-500 cursor-pointer focus:outline-none transition duration-200 ease-in-out opacity-0 mx-0.5 text-gray-600 " title="code excerpt" type="button"><svg class="" xmlns="http://www.w3.org/2000/svg" aria-hidden="true" fill="currentColor" focusable="false" role="img" width="1em" height="1em" preserveAspectRatio="xMidYMid meet" viewBox="0 0 32 32"><path d="M28,10V28H10V10H28m0-2H10a2,2,0,0,0-2,2V28a2,2,0,0,0,2,2H28a2,2,0,0,0,2-2V10a2,2,0,0,0-2-2Z" transform="translate(0)"></path><path d="M4,18H2V4A2,2,0,0,1,4,2H18V4H4Z" transform="translate(0)"></path><rect fill="none" width="32" height="32"></rect></svg> <div class="absolute pointer-events-none transition-opacity bg-black text-white py-1 px-2 leading-tight rounded font-normal shadow left-1/2 top-full transform -translate-x-1/2 translate-y-2 opacity-0"><div class="absolute bottom-full left-1/2 transform -translate-x-1/2 w-0 h-0 border-black border-4 border-t-0" style="border-left-color: transparent; border-right-color: transparent; "></div> Copied</div></button></div> <pre class=""><!-- HTML_TAG_START -->dataset.records.log(data, mapping={<span class="hljs-string">&quot;label_text&quot;</span>: <span class="hljs-string">&quot;label&quot;</span>})<!-- HTML_TAG_END --></pre></div> <p data-svelte-h="svelte-g4jpai">ကျွန်တော်တို့ရဲ့ mapping မှာ၊ dataset ထဲက <code>label_text</code> column ကို <code>label</code> ဆိုတဲ့ နာမည်ရှိတဲ့ question နဲ့ map လုပ်သင့်တယ်လို့ သတ်မှတ်ခဲ့ပါတယ်။ ဒီနည်းနဲ့၊ dataset မှာရှိပြီးသား labels တွေကို pre-annotations အဖြစ် အသုံးပြုပြီး annotation လုပ်တာကို ပိုမြန်စေမှာပါ။</p> <p data-svelte-h="svelte-58wtth">records တွေ log လုပ်နေစဉ်မှာတောင်၊ သင်ဟာ Argilla UI ထဲမှာ သင့် dataset နဲ့ အလုပ်စလုပ်နိုင်ပါပြီ။ ဒီအခြေအနေမှာ၊ ဒါက အောက်ပါအတိုင်း ဖြစ်နေပါလိမ့်မယ်။</p> <img src="https://huggingface.co/datasets/huggingface-course/documentation-images/resolve/main/en/chapter10/argilla_initial_dataset.png" alt="Screenshot of the dataset in Argilla."> <p data-svelte-h="svelte-u4fwck">အခု ကျွန်တော်တို့ dataset က annotation လုပ်ဖို့ အဆင်သင့်ဖြစ်ပါပြီ။</p> <h2 class="relative group"><a id="ဝဟရ-ရငလငခက-glossary" class="header-link block pr-1.5 text-lg no-hover:hidden with-hover:absolute with-hover:p-1.5 with-hover:opacity-0 with-hover:group-hover:opacity-100 with-hover:right-full" href="#ဝဟရ-ရငလငခက-glossary"><span><svg class="" xmlns="http://www.w3.org/2000/svg" xmlns:xlink="http://www.w3.org/1999/xlink" aria-hidden="true" role="img" width="1em" height="1em" preserveAspectRatio="xMidYMid meet" viewBox="0 0 256 256"><path d="M167.594 88.393a8.001 8.001 0 0 1 0 11.314l-67.882 67.882a8 8 0 1 1-11.314-11.315l67.882-67.881a8.003 8.003 0 0 1 11.314 0zm-28.287 84.86l-28.284 28.284a40 40 0 0 1-56.567-56.567l28.284-28.284a8 8 0 0 0-11.315-11.315l-28.284 28.284a56 56 0 0 0 79.196 79.197l28.285-28.285a8 8 0 1 0-11.315-11.314zM212.852 43.14a56.002 56.002 0 0 0-79.196 0l-28.284 28.284a8 8 0 1 0 11.314 11.314l28.284-28.284a40 40 0 0 1 56.568 56.567l-28.285 28.285a8 8 0 0 0 11.315 11.314l28.284-28.284a56.065 56.065 0 0 0 0-79.196z" fill="currentColor"></path></svg></span></a> <span>ဝေါဟာရ ရှင်းလင်းချက် (Glossary)</span></h2> <ul data-svelte-h="svelte-1dwr6qf"><li><strong>NLP Task (Natural Language Processing Task)</strong>: ကွန်ပျူတာတွေ လူသားဘာသာစကားကို နားလည်၊ အဓိပ္ပာယ်ဖော်ပြီး၊ ဖန်တီးနိုင်အောင် လုပ်ဆောင်ပေးတဲ့ အလုပ်တွေ။</li> <li><strong>Use Case</strong>: ထုတ်ကုန် သို့မဟုတ် စနစ်တစ်ခုကို သီးခြားအခြေအနေတစ်ခုတွင် မည်သို့အသုံးပြုသည်ကို ဖော်ပြခြင်း။</li> <li><strong>Application</strong>: သီးခြားလုပ်ငန်းဆောင်တာတစ်ခုကို လုပ်ဆောင်ရန် ဒီဇိုင်းထုတ်ထားသော ဆော့ဖ်ဝဲလ်ပရိုဂရမ်။</li> <li><strong>Dataset</strong>: Artificial Intelligence (AI) မော်ဒယ်တွေ လေ့ကျင့်ဖို့အတွက် အသုံးပြုတဲ့ ဒေတာအစုအဝေးတစ်ခု။</li> <li><strong>News Collecting Dataset</strong>: သတင်းဆောင်းပါးများ သို့မဟုတ် သတင်းအချက်အလက်များကို စုစည်းထားသော ဒေတာအစုအဝေး။</li> <li><strong>Text Classification</strong>: စာသားတစ်ခုကို သတ်မှတ်ထားသော အမျိုးအစားများ (categories) ထဲသို့ ခွဲခြားသတ်မှတ်ခြင်း လုပ်ငန်း။</li> <li><strong>Token Classification</strong>: စာသား sequence တစ်ခုအတွင်းရှိ token တစ်ခုစီကို အမျိုးအစားခွဲခြားသတ်မှတ်ခြင်း လုပ်ငန်း (ဥပမာ- Named Entity Recognition)။</li> <li><strong>Named Entities</strong>: စာသားများထဲမှ လူအမည်၊ နေရာအမည်၊ အဖွဲ့အစည်းအမည် စသော သီးခြားအမည်များ။</li> <li><strong>Hugging Face Hub</strong>: AI မော်ဒယ်တွေ၊ datasets တွေနဲ့ demo တွေကို အခြားသူတွေနဲ့ မျှဝေဖို့၊ ရှာဖွေဖို့နဲ့ ပြန်လည်အသုံးပြုဖို့အတွက် အွန်လိုင်း platform တစ်ခု ဖြစ်ပါတယ်။</li> <li><strong>Argilla UI (User Interface)</strong>: Argilla platform ကို အသုံးပြုသူများ အပြန်အလှန်ဆက်သွယ်နိုင်သော graphical interface။</li> <li><strong>SDK (Software Development Kit)</strong>: ဆော့ဖ်ဝဲလ် application များကို ဖန်တီးရန်အတွက် ကိရိယာများနှင့် library များ စုစည်းမှု။</li> <li><strong>Argilla Instance</strong>: သင်ကိုယ်တိုင် တည်ဆောက်ပြီး run ထားသော Argilla platform ၏ သီးခြား version။</li> <li><strong><code>argilla</code> (Library)</strong>: Argilla platform နှင့် အပြန်အလှန်ဆက်သွယ်ရန်အတွက် Python library။</li> <li><strong><code>HF_TOKEN</code></strong>: Hugging Face Hub တွင် authentication အတွက် အသုံးပြုသော personal token။</li> <li><strong>Private Spaces</strong>: Hugging Face Spaces ပေါ်တွင် သတ်မှတ်ထားသူများသာ ဝင်ရောက်ကြည့်ရှုနိုင်သော space များ။</li> <li><strong><code>api_url</code></strong>: Argilla instance ၏ API (Application Programming Interface) URL။</li> <li><strong><code>api_key</code></strong>: Argilla instance ကို ဝင်ရောက်ကြည့်ရှုရန်အတွက် လိုအပ်သော authentication key။</li> <li><strong><code>headers</code></strong>: HTTP request တွင် ပေးပို့သော အချက်အလက်များ (ဥပမာ- Authorization token)။</li> <li><strong><code>load_dataset()</code> Function (🤗 Datasets)</strong>: Hugging Face Datasets library မှ dataset များကို download လုပ်ပြီး cache လုပ်ရန် အသုံးပြုသော function။</li> <li><strong><code>split=&quot;train&quot;</code></strong>: dataset ၏ training portion ကို load လုပ်ရန် သတ်မှတ်ခြင်း။</li> <li><strong><code>data.features</code></strong>: dataset ၏ columns များ၏ အမျိုးအစားများနှင့် အချက်အလက်များကို ပြန်ပေးသော property။</li> <li><strong><code>Value(dtype=&#39;string&#39;, id=None)</code></strong>: dataset feature ၏ data type သည် string ဖြစ်ကြောင်း ဖော်ပြခြင်း။</li> <li><strong><code>Settings</code> Class (Argilla)</strong>: Argilla dataset ၏ အဓိက settings (fields, questions) များကို သတ်မှတ်ရန်။</li> <li><strong><code>fields</code></strong>: Argilla dataset တွင် ပါဝင်မည့် data columns များ။</li> <li><strong><code>rg.TextField</code></strong>: စာသား field အမျိုးအစားကို သတ်မှတ်ခြင်း။</li> <li><strong><code>questions</code></strong>: Annotators များ ဖြေဆိုရမည့် annotation tasks များကို သတ်မှတ်ခြင်း။</li> <li><strong><code>rg.LabelQuestion</code></strong>: Classification task အတွက် label ရွေးချယ်ခွင့်များကို ပံ့ပိုးပေးသော question အမျိုးအစား။</li> <li><strong><code>data.unique(&quot;label_text&quot;)</code></strong>: dataset ၏ <code>label_text</code> column မှ ထူးခြားသော (unique) တန်ဖိုးများကို ရယူခြင်း။</li> <li><strong><code>rg.SpanQuestion</code></strong>: Token classification task အတွက် စာသားအပိုင်းအစ (spans) များကို မီးမောင်းထိုးပြရန် ခွင့်ပြုသော question အမျိုးအစား။</li> <li><strong><code>labels</code></strong>: Annotation task တွင် အသုံးပြုနိုင်သော labels များစာရင်း။</li> <li><strong><code>PERSON</code>, <code>ORG</code>, <code>LOC</code>, <code>EVENT</code></strong>: Named Entity Recognition (NER) အတွက် အသုံးများသော labels များ (လူပုဂ္ဂိုလ်၊ အဖွဲ့အစည်း၊ နေရာ၊ အဖြစ်အပျက်)။</li> <li><strong><code>Dataset</code> Class (Argilla)</strong>: Argilla platform တွင် dataset တစ်ခုကို ကိုယ်စားပြုသော class။</li> <li><strong><code>dataset.create()</code></strong>: Argilla instance တွင် dataset အသစ်တစ်ခုကို ဖန်တီးရန်။</li> <li><strong>Records</strong>: dataset အတွင်းရှိ တစ်ခုချင်းစီသော data entries သို့မဟုတ် rows များ။</li> <li><strong><code>dataset.records.log()</code></strong>: data များကို Argilla dataset ထဲသို့ log (ထည့်သွင်း) လုပ်ရန်။</li> <li><strong><code>mapping</code></strong>: source dataset ၏ column name များနှင့် Argilla dataset ၏ question name များကြား ချိတ်ဆက်မှုကို သတ်မှတ်သော dictionary။</li> <li><strong>Pre-annotations</strong>: Annotation လုပ်ငန်းစဉ်ကို မြန်ဆန်စေရန်အတွက် model တစ်ခုမှ ကြိုတင်ခန့်မှန်းပေးထားသော labels များ။</li></ul> <a class="!text-gray-400 !no-underline text-sm flex items-center not-prose mt-4" href="https://github.com/huggingface/course/blob/main/chapters/my/chapter10/3.mdx" target="_blank"><svg class="mr-1" xmlns="http://www.w3.org/2000/svg" aria-hidden="true" fill="currentColor" focusable="false" role="img" width="1em" height="1em" preserveAspectRatio="xMidYMid meet" viewBox="0 0 32 32"><path d="M31,16l-7,7l-1.41-1.41L28.17,16l-5.58-5.59L24,9l7,7z"></path><path d="M1,16l7-7l1.41,1.41L3.83,16l5.58,5.59L8,23l-7-7z"></path><path d="M12.419,25.484L17.639,6.552l1.932,0.518L14.351,26.002z"></path></svg> <span data-svelte-h="svelte-zjs2n5"><span class="underline">Update</span> on GitHub</span></a> <p></p>
<script>
 {
 __sveltekit_5q47hu = {
 assets: "/docs/course/pr_1095/my",
 base: "/docs/course/pr_1095/my",
 env: {}
 };
 const element = document.currentScript.parentElement;
 const data = [null,null];
 Promise.all([
 import("/docs/course/pr_1095/my/_app/immutable/entry/start.8e25cab6.js"),
 import("/docs/course/pr_1095/my/_app/immutable/entry/app.b12ce275.js")
 ]).then(([kit, app]) => {
 kit.start(app, element, {
 node_ids: [0, 16],
 data,
 form: null,
 error: null
 });
 });
 }
 </script>

Xet Storage Details

Size:
41 kB
·
Xet hash:
c4ae6e6433e2c30150b7da4b6dae2f4620204fec25dcf892d30ef02cb2d7c63a

Xet efficiently stores files, intelligently splitting them into unique chunks and accelerating uploads and downloads. More info.