README.md

---
license: apache-2.0
datasets:
- kalixlouiis/raw-data
language:
- my
pipeline_tag: feature-extraction
new_version: DatarrX/myX-Tokenizer
---
# DatarrX - myX-Tokenizer-Unigram ⚙️

**myX-Tokenizer-Unigram** is a specialized tokenizer for the Burmese language based on the **Unigram Language Model** algorithm. Developed by [**Khant Sint Heinn (Kalix Louis)**](https://huggingface.co/kalixlouiis) under [**DatarrX (Myanmar Open Source NGO)**](https://huggingface.co/DatarrX), this model is optimized for linguistic probabilistic segmentation.

## 🎯 Objectives & Characteristics

* **Unigram Excellence:** Utilizes a probabilistic subword tokenization method that often aligns better with the morphological structure of the Burmese language than BPE.
* **Native Burmese Specialist:** Trained exclusively on a massive Burmese-only corpus to ensure high-fidelity script recognition.
* **Optimized Efficiency:** Developed using high-quality sampling to balance performance and model size.

## 🛠️ Technical Specifications

* **Algorithm:** Unigram Language Model.
* **Vocabulary Size:** 64,000.
* **Normalization:** NFKC.
* **Features:** Byte-fallback, Split Digits, and Dummy Prefix.

### Training Data
Trained on the [kalixlouiis/raw-data](https://huggingface.co/datasets/kalixlouiis/raw-data) dataset, specifically utilizing **1.5 million** cleaned Burmese sentences.

## ⚠️ Important Considerations (Limitations)

* **Limited English Support:** This model is strictly a Burmese script specialist. It has significant limitations in processing English text, which may result in excessive subword splitting for Latin characters.
* **Script Sensitivity:** Optimized for modern Burmese script; performance may vary with older orthography or heavy use of specialized Pali/Sanskrit loanwords.

## Citation

If you use this tokenizer in your research or project, please cite it as follows:

### APA 7th Edition
Khant Sint Heinn. (2026). *myX-Tokenizer-Unigram: Probabilistic Burmese Script Tokenizer (Version 1.0)* [Computer software]. Hugging Face. https://huggingface.co/DatarrX/myX-Tokenizer-Unigram

### BibTeX
```BibTeX
@software{khantsintheinn2026unigram,
  author = {Khant Sint Heinn},
  title = {myX-Tokenizer-Unigram: Probabilistic Burmese Script Tokenizer},
  version = {1.0},
  year = {2026},
  publisher = {Hugging Face},
  url = {https://huggingface.co/DatarrX/myX-Tokenizer-Unigram},
  note = {Burmese-only training corpus}
}
```

---

# DatarrX - myX-Tokenizer-Unigram (မြန်မာဘာသာ)

**myX-Tokenizer-Unigram** သည် Unigram Language Model algorithm ကို အသုံးပြု၍ မြန်မာဘာသာစကားအတွက် အထူးပြုလုပ်ထားသော Tokenizer ဖြစ်ပါသည်။ ဤ Model ကို [**DatarrX (Myanmar Open Source NGO)**](https://huggingface.co/DatarrX) မှ ထုတ်ဝေခြင်းဖြစ်ပြီး [**Khant Sint Heinn (Kalix Louis)**](https://huggingface.co/kalixlouiis) မှ အဓိက ဖန်တီးတည်ဆောက်ထားခြင်း ဖြစ်ပါသည်။

## 🎯 ရည်ရွယ်ချက်နှင့် ထူးခြားချက်များ

* **Unigram ၏ အားသာချက်:** BPE ထက် ပိုမို၍ ဖြစ်နိုင်ခြေ (Probability) အပေါ် အခြေခံကာ ဖြတ်တောက်သဖြင့် မြန်မာစာ၏ ဝဏ္ဏဗေဒ သဘာဝနှင့် ပိုမိုကိုက်ညီစေရန်။
* **မြန်မာစာ အထူးပြု:** ဤ Model ကို မြန်မာစာ သီးသန့်ဖြင့်သာ Train ထားသဖြင့် ဗမာ(မြန်မာ)စာသားများ၏ အနက်အဓိပ္ပာယ်ကို ပိုမိုတိကျစွာ ဖြတ်တောက်နိုင်ရန်။
* **စနစ်တကျ လေ့ကျင့်မှု:** စာကြောင်းပေါင်း ၁.၅ သန်းကို အသုံးပြု၍ အရည်အသွေးမြင့် စံနှုန်းများဖြင့် တည်ဆောက်ထားပါသည်။

## 🛠️ နည်းပညာဆိုင်ရာ အချက်အလက်များ

* **Algorithm:** Unigram Language Model။
* **Vocab Size:** 64,000။
* **Normalization:** NFKC။
* **Features:** Byte-fallback, Split Digits နှင့် Dummy Prefix အင်္ဂါရပ်များ ပါဝင်ပါသည်။

### အသုံးပြုထားသော Dataset
[kalixlouiis/raw-data](https://huggingface.co/datasets/kalixlouiis/raw-data) ထဲမှ သန့်စင်ပြီးသား မြန်မာစာကြောင်းပေါင်း **၁.၅ သန်း (1.5 Million)** ကို အသုံးပြုထားပါသည်။

## ⚠️ သိထားရန် ကန့်သတ်ချက်များ

* **အင်္ဂလိပ်စာ အားနည်းမှု:** ဤ Model သည် မြန်မာစာ သီးသန့်အတွက်သာ ဖြစ်သောကြောင့် အင်္ဂလိပ်စာလုံးများကို ဖြတ်တောက်ရာတွင် အလွန်အားနည်းပြီး စာလုံးအသေးလေးများအဖြစ် ကွဲထွက်သွားတတ်ပါသည်။
* **အရေးအသား စံနှုန်း:** ခေတ်သစ်မြန်မာစာ အရေးအသားအပေါ် အခြေခံထားသဖြင့် ပါဠိ/သက္ကတ အသုံးများသော စာသားများတွင် ဖြတ်တောက်ပုံ ကွဲပြားနိုင်ပါသည်။

---

## 💻 How to Use (အသုံးပြုနည်း)

```python
import sentencepiece as spm
from huggingface_hub import hf_hub_download

model_path = hf_hub_download(repo_id="DatarrX/myX-Tokenizer-Unigram", filename="myX-Tokenizer.model")
sp = spm.SentencePieceProcessor(model_file=model_path)

text = "မြန်မာစာကို Unigram algorithm နဲ့ စနစ်တကျ ဖြတ်တောက်ကြည့်ခြင်း။"
print(sp.encode_as_pieces(text))
```

# ✍️ Project Authors
- Developer: [**Khant Sint Heinn (Kalix Louis)**](https://huggingface.co/kalixlouiis)
- Organization: [**DatarrX (Myanmar Open Source NGO)**](https://huggingface.co/DatarrX)

## Citation

အကယ်၍ သင်သည် ဤ model ကို သင်၏ သုတေသနလုပ်ငန်းများတွင် အသုံးပြုခဲ့ပါက အောက်ပါအတိုင်း ကိုးကားပေးရန် မေတ္တာရပ်ခံအပ်ပါသည်။

### APA 7th Edition
Khant Sint Heinn. (2026). *myX-Tokenizer-Unigram: Probabilistic Burmese Script Tokenizer (Version 1.0)* [Computer software]. Hugging Face. https://huggingface.co/DatarrX/myX-Tokenizer-Unigram

### BibTeX
```BibTeX
@software{khantsintheinn2026unigram,
  author = {Khant Sint Heinn},
  title = {myX-Tokenizer-Unigram: Probabilistic Burmese Script Tokenizer},
  version = {1.0},
  year = {2026},
  publisher = {Hugging Face},
  url = {https://huggingface.co/DatarrX/myX-Tokenizer-Unigram},
  note = {Burmese-only training corpus}
}
```

## License 📜

This project is licensed under the **Apache License 2.0**.

### What does this mean?
The Apache License 2.0 is a permissive license that allows you to:

* **Commercial Use:** You can use this tokenizer for commercial purposes.
* **Modification:** You can modify the model or the code for your specific needs.
* **Distribution:** You can share and distribute the original or modified versions.
* **Sublicensing:** You can grant sublicenses to others.

### Conditions:
* **Attribute:** You must give appropriate credit to the author (**Khant Sint Heinn**) and the organization (**DatarrX**).
* **License Notice:** You must include a copy of the license and any original copyright notice in your distribution.

For more details, you can read the full license text at [http://www.apache.org/licenses/LICENSE-2.0](http://www.apache.org/licenses/LICENSE-2.0).