metadata
language:
- my
license: apache-2.0
tags:
- gpt2
- burmese
- myanmar
- causal-lm
- shwe-yon
datasets:
- custom-burmese-golden-corpus
metrics:
- perplexity
🚀 ShweYon-GPT2-Burmese-v1 (ကိုရွှေယုန်)
ShweYon သည် မြန်မာဘာသာစကားအတွက် သီးသန့်ရည်ရွယ်၍ အခြေခံမှစတင်ကာ (From Scratch) တည်ဆောက်ထားသော Decoder-only Transformer မော်ဒယ်ဖြစ်သည်။ GPT-2 Architecture ကို အခြေခံထားပြီး မြန်မာစာလုံးပေါင်း ၁ သိန်းကျော်ပါဝင်သော သန့်စင်ပြီးသား Golden Corpus ဖြင့် လေ့ကျင့်ပေးထားပါသည်။
📌 Model Description
- Developed by: [ဦးရာဇိန္ဒာနန္ဒ,URajinda]
- Model type: Causal Language Model
- Architecture: GPT-2 based (Customized for Myanmar)
- Language(s): Burmese (မြန်မာဘာသာ)
- Tokenizer: Custom Byte-Pair Encoding (BPE) optimized for Myanmar script.
🎯 Intended Use
ဤမော်ဒယ်ကို အောက်ပါလုပ်ငန်းများတွင် အသုံးပြုနိုင်သည်-
- မြန်မာစာသားများ အလိုအလျောက် ရေးသားခြင်း (Text Generation)
- စာကြောင်းများ အဆုံးသတ်ပေးခြင်း (Sentence Completion)
- Chatbot နှင့် Assistant များအတွက် အခြေခံအဖြစ် အသုံးပြုခြင်း (Fine-tuning base)
📊 Training Details
- Steps: 8,255 steps
- Epochs: 5.0
- Final Loss: [ 3.1]
- Hardware: NVIDIA T4 GPU (Google Colab)
⚠️ Limitations
ဤမော်ဒယ်သည် Base Model ဖြစ်သောကြောင့် အချက်အလက်အမှားများ (Hallucinations) ပါဝင်နိုင်ပါသည်။ စကားပြောဆိုမှု ပိုမိုကောင်းမွန်လာစေရန် Chat-based Fine-tuning ထပ်မံပြုလုပ်ရန် လိုအပ်ပါသည်။
👨💻 How to use
from transformers import pipeline
generator = pipeline('text-generation', model='your-username/ShweYon-GPT2-Burmese-v1')
print(generator("မြန်မာနိုင်ငံသည်", max_length=50))