course/pr_1114/my/chapter4/1.md

Hugging Face Hub[[the-hugging-face-hub]]

Hugging Face Hub –- ကျွန်တော်တို့ရဲ့ ပင်မ website –- ဟာ မည်သူမဆို ခေတ်မီဆန်းသစ်တဲ့ models တွေနဲ့ datasets တွေကို ရှာဖွေ၊ အသုံးပြုပြီး ပံ့ပိုးကူညီနိုင်စေတဲ့ ဗဟို platform တစ်ခု ဖြစ်ပါတယ်။ ဒါဟာ models ပေါင်း ၁၀,၀၀၀ ကျော်ကို အများပြည်သူအတွက် ရရှိအောင် လက်ခံထားပါတယ်။ ဒီအခန်းမှာ models တွေကို အဓိကထားပြီး လေ့လာမှာဖြစ်ပြီး၊ datasets တွေကိုတော့ Chapter 5 မှာ လေ့လာသွားပါမယ်။

Hub မှာရှိတဲ့ models တွေဟာ 🤗 Transformers ဒါမှမဟုတ် NLP (Natural Language Processing) ကိုပဲ ကန့်သတ်ထားတာ မဟုတ်ပါဘူး။ NLP အတွက် Flair နဲ့ AllenNLP က models တွေ၊ speech (စကားပြော) အတွက် Asteroid နဲ့ pyannote က models တွေ၊ ပြီးတော့ vision (အမြင်) အတွက် timm က models တွေ စသည်ဖြင့် များစွာရှိပါတယ်။

ဒီ models တစ်ခုစီကို Git repository အဖြစ် လက်ခံထားတာကြောင့် versioning နဲ့ reproducibility ကို ခွင့်ပြုပါတယ်။ Hub ပေါ်မှာ model တစ်ခုကို မျှဝေတယ်ဆိုတာက လူအဖွဲ့အစည်း (community) အတွက် ဖွင့်လှစ်ပေးလိုက်တာဖြစ်ပြီး၊ ဘယ်သူမဆို အလွယ်တကူ အသုံးပြုနိုင်စေဖို့ လုပ်ဆောင်ပေးတာပါ၊ ဒါက သူတို့ကိုယ်တိုင် model ကို train လုပ်ဖို့ လိုအပ်ချက်ကို ဖယ်ရှားပေးပြီး မျှဝေခြင်းနဲ့ အသုံးပြုခြင်းကို ရိုးရှင်းစေပါတယ်။

ထို့အပြင်၊ Hub ပေါ်မှာ model တစ်ခုကို မျှဝေတာက အဲဒီ model အတွက် hosted Inference API ကို အလိုအလျောက် deploy လုပ်ပေးပါတယ်။ လူအဖွဲ့အစည်းဝင်တိုင်းက model ရဲ့ page ပေါ်မှာပဲ၊ စိတ်ကြိုက် inputs တွေနဲ့ သင့်လျော်တဲ့ widgets တွေနဲ့ တိုက်ရိုက် စမ်းသပ်ကြည့်နိုင်ပါတယ်။

အကောင်းဆုံးအပိုင်းကတော့ Hub ပေါ်မှာ မည်သည့် public model ကိုမဆို မျှဝေခြင်းနဲ့ အသုံးပြုခြင်းဟာ လုံးဝအခမဲ့ ဖြစ်ပါတယ်။ သင် models တွေကို private အနေနဲ့ မျှဝေချင်တယ်ဆိုရင် paid plans တွေလည်း ရှိပါတယ်။

အောက်ပါ video က Hub ကို ဘယ်လို လှည့်ပတ်သွားလာရမယ်ဆိုတာ ပြသထားပါတယ်။

huggingface.co account ရှိဖို့က ဒီအပိုင်းကို လိုက်လုပ်ဖို့ လိုအပ်ပါတယ်၊ ဘာလို့လဲဆိုတော့ ကျွန်တော်တို့ Hugging Face Hub မှာ repositories တွေ ဖန်တီးပြီး စီမံခန့်ခွဲရမှာ ဖြစ်လို့ပါ၊ account တစ်ခု ဖန်တီးပါ။။

ဝေါဟာရ ရှင်းလင်းချက် (Glossary)

• Hugging Face Hub: AI (Artificial Intelligence) မော်ဒယ်တွေ၊ datasets တွေနဲ့ demo တွေကို အခြားသူတွေနဲ့ မျှဝေဖို့၊ ရှာဖွေဖို့နဲ့ ပြန်လည်အသုံးပြုဖို့အတွက် အွန်လိုင်း platform တစ်ခု ဖြစ်ပါတယ်။
• State-of-the-art Models (SOTA Models): လက်ရှိအချိန်မှာ အကောင်းဆုံး စွမ်းဆောင်ရည်ကို ပြသထားတဲ့ မော်ဒယ်များ။
• Datasets: AI မော်ဒယ်တွေ လေ့ကျင့်ဖို့အတွက် အသုံးပြုတဲ့ ဒေတာအစုအဝေးတစ်ခုပါ။
• 🤗 Transformers (Library): Hugging Face က ထုတ်လုပ်ထားတဲ့ library တစ်ခုဖြစ်ပြီး Transformer မော်ဒယ်တွေကို အသုံးပြုပြီး Natural Language Processing (NLP), computer vision, audio processing စတဲ့ နယ်ပယ်တွေမှာ အဆင့်မြင့် AI မော်ဒယ်တွေကို တည်ဆောက်ပြီး အသုံးပြုနိုင်စေပါတယ်။
• NLP (Natural Language Processing): ကွန်ပျူတာတွေ လူသားဘာသာစကားကို နားလည်၊ အဓိပ္ပာယ်ဖော်ပြီး၊ ဖန်တီးနိုင်အောင် လုပ်ဆောင်ပေးတဲ့ Artificial Intelligence (AI) ရဲ့ နယ်ပယ်ခွဲတစ်ခုပါ။
• Flair (Library): NLP လုပ်ငန်းများအတွက် အသုံးပြုသော open-source framework။
• AllenNLP (Library): NLP သုတေသနနှင့် အပလီကေးရှင်းများအတွက် အသုံးပြုသော open-source deep learning library။
• Speech (Speech Processing): အသံဒေတာ (စကားပြော) ကို ကွန်ပျူတာများက နားလည်ပြီး လုပ်ဆောင်နိုင်စေရန် ဆောင်ရွက်သည့် နယ်ပယ်။
• Asteroid (Library): Speech enhancement (အသံမြှင့်တင်မှု) နှင့် source separation (ရင်းမြစ်ခွဲထုတ်မှု) လုပ်ငန်းများအတွက် PyTorch library။
• pyannote (Library): အသံနှင့် စကားပြောခွဲခြမ်းစိတ်ဖြာခြင်း (audio and speech analysis) အတွက် open-source toolkit။
• Vision (Computer Vision): ကွန်ပျူတာများက ပုံရိပ်များနှင့် ဗီဒီယိုများမှ အချက်အလက်များကို နားလည်ပြီး လုပ်ဆောင်နိုင်စေရန် ဆောင်ရွက်သည့် နယ်ပယ်။
• timm (Library): PyTorch တွင် ခေတ်မီ image models များ (image classification) အတွက် စုစည်းထားသော library။
• Git Repository: Git version control system ကို အသုံးပြု၍ project တစ်ခု၏ files များနှင့် ၎င်းတို့၏ ပြောင်းလဲမှု မှတ်တမ်းများကို သိမ်းဆည်းထားသော နေရာ။
• Versioning: ဖိုင်များ သို့မဟုတ် project များ၏ မတူညီသော ဗားရှင်းများကို ခြေရာခံခြင်းနှင့် စီမံခန့်ခွဲခြင်း လုပ်ငန်းစဉ်။
• Reproducibility: သတ်မှတ်ထားသော code နှင့် data ကို အသုံးပြု၍ တူညီသော ရလဒ်များကို ပြန်လည်ထုတ်လုပ်နိုင်ခြင်း။
• Community: Hugging Face တွင် AI/ML နယ်ပယ်မှ သုံးစွဲသူများ၊ developer များနှင့် သုတေသီများ စုစည်းထားသော အဖွဲ့အစည်း။
• Inference API (Application Programming Interface): လေ့ကျင့်ပြီးသား AI မော်ဒယ်တစ်ခုကို အသုံးပြုပြီး input data ကနေ ခန့်မှန်းချက်တွေ ဒါမှမဟုတ် output တွေကို ထုတ်လုပ်တဲ့ ဝန်ဆောင်မှုကို ပေးတဲ့ interface။
• Deploy: ဆော့ဖ်ဝဲလ်တစ်ခုကို အသုံးပြုနိုင်ရန် စနစ်တစ်ခုပေါ်တွင် ထည့်သွင်းတပ်ဆင်ခြင်း။
• Widgets: Graphical User Interface (GUI) တွင် အသုံးပြုသူနှင့် အပြန်အလှန်တုံ့ပြန်နိုင်သော အစိတ်အပိုင်းများ (ဥပမာ- input box, button)။
• Private Models: သတ်မှတ်ထားသော အသုံးပြုသူများသာ ဝင်ရောက်ကြည့်ရှုနိုင်သော models များ။