Upload all models and assets for blk (latest)

.gitattributes

@@ -39,3 +39,5 @@ visualizations/position_encoding_comparison.png filter=lfs diff=lfs merge=lfs -t
 visualizations/tsne_sentences.png filter=lfs diff=lfs merge=lfs -text
 visualizations/tsne_words.png filter=lfs diff=lfs merge=lfs -text
 visualizations/zipf_law.png filter=lfs diff=lfs merge=lfs -text
+visualizations/embedding_tsne_multilingual.png filter=lfs diff=lfs merge=lfs -text
+visualizations/ngram_coverage.png filter=lfs diff=lfs merge=lfs -text

README.md

@@ -1,6 +1,6 @@
 ---
 language: blk
-language_name: BLK
+language_name: Pa'o Karen
 language_family: tibetoburman_other
 tags:
   - wikilangs
@@ -10,11 +10,21 @@ tags:
   - n-gram
   - markov
   - wikipedia
+  - feature-extraction
+  - sentence-similarity
+  - tokenization
+  - n-grams
+  - markov-chain
+  - text-mining
+  - fasttext
+  - babelvec
+  - vocabulous
+  - vocabulary
   - monolingual
   - family-tibetoburman_other
 license: mit
 library_name: wikilangs
-pipeline_tag: feature-extraction
+pipeline_tag: text-generation
 datasets:
   - omarkamali/wikipedia-monthly
 dataset_info:
@@ -23,20 +33,20 @@ dataset_info:
 metrics:
   - name: best_compression_ratio
     type: compression
-    value: 4.845
+    value: 4.848
   - name: best_isotropy
     type: isotropy
-    value: 0.8617
+    value: 0.8632
   - name: vocabulary_size
     type: vocab
     value: 0
 generated: 2026-01-03
 ---
 
-# BLK - Wikilangs Models
+# Pa'o Karen - Wikilangs Models
 ## Comprehensive Research Report & Full Ablation Study
 
-This repository contains NLP models trained and evaluated by Wikilangs, specifically on **BLK** Wikipedia data.
+This repository contains NLP models trained and evaluated by Wikilangs, specifically on **Pa'o Karen** Wikipedia data.
 We analyze tokenizers, n-gram models, Markov chains, vocabulary statistics, and word embeddings.
 
 ## 📋 Repository Contents
@@ -60,7 +70,7 @@ We analyze tokenizers, n-gram models, Markov chains, vocabulary statistics, and
 - [3. Markov Chain Evaluation](#3-markov-chain-evaluation)
 - [4. Vocabulary Analysis](#4-vocabulary-analysis)
 - [5. Word Embeddings Evaluation](#5-word-embeddings-evaluation)
-- [6. Morphological Analysis (Experimental)](#6-morphological-analysis)
+- [6. Morphological Analysis (Experimental)](#6--morphological-analysis-experimental)
 - [7. Summary & Recommendations](#7-summary--recommendations)
 - [Metrics Glossary](#appendix-metrics-glossary--interpretation-guide)
 - [Visualizations Index](#visualizations-index)
@@ -80,47 +90,47 @@ We analyze tokenizers, n-gram models, Markov chains, vocabulary statistics, and
 
 | Vocab Size | Compression | Avg Token Len | UNK Rate | Total Tokens |
 |------------|-------------|---------------|----------|--------------|
-| **8k** | 4.016x | 4.02 | 0.0510% | 1,061,065 |
-| **16k** | 4.425x | 4.43 | 0.0562% | 962,856 |
-| **32k** | 4.609x | 4.61 | 0.0585% | 924,505 |
-| **64k** | 4.845x 🏆 | 4.85 | 0.0615% | 879,406 |
+| **8k** | 4.022x | 4.02 | 0.0580% | 1,056,850 |
+| **16k** | 4.430x | 4.43 | 0.0639% | 959,541 |
+| **32k** | 4.613x | 4.61 | 0.0665% | 921,415 |
+| **64k** | 4.848x 🏆 | 4.85 | 0.0699% | 876,870 |
 
 ### Tokenization Examples
 
 Below are sample sentences tokenized with each vocabulary size:
 
-**Sample 1:** `အမုဲင် ခမ်းထီ ကသှိုပ်စဒါႏ ငဝ်းလဝ်းနီꩻ ၃၅လာအို ၉၄ ထူႏတောမ်`
+**Sample 1:** `မျန်မာခမ်းထီကိုယို တွိုင်ꩻဒေႏသတန် အဝ်ႏ ( ၇ )တွိုင်ꩻ နဝ်ꩻသွူ ။`
 
 | Vocab | Tokens | Count |
 |-------|--------|-------|
-| 8k | `▁အမုဲင် ▁ခမ်းထီ ▁က သ ှို ပ် စဒါႏ ▁ငဝ်း လ ဝ်း ... (+7 more)` | 17 |
-| 16k | `▁အမုဲင် ▁ခမ်းထီ ▁ကသ ှိုပ် စဒါႏ ▁ငဝ်း လဝ်း နီꩻ ▁၃၅ လာအို ... (+3 more)` | 13 |
-| 32k | `▁အမုဲင် ▁ခမ်းထီ ▁ကသှိုပ်စဒါႏ ▁ငဝ်း လဝ်း နီꩻ ▁၃၅လာအို ▁၉ ၄ ▁ထူႏတောမ်` | 10 |
-| 64k | `▁အမုဲင် ▁ခမ်းထီ ▁ကသှိုပ်စဒါႏ ▁ငဝ်းလဝ်းနီꩻ ▁၃၅လာအို ▁၉၄ ▁ထူႏတောမ်` | 7 |
+| 8k | `▁မျန်မာခမ်းထီ ကိုယို ▁တွိုင်ꩻဒေႏသတန် ▁အဝ်ႏ ▁( ▁၇ ▁) တွိုင်ꩻ ▁နဝ်ꩻ သွူ ... (+1 more)` | 11 |
+| 16k | `▁မျန်မာခမ်းထီ ကိုယို ▁တွိုင်ꩻဒေႏသတန် ▁အဝ်ႏ ▁( ▁၇ ▁) တွိုင်ꩻ ▁နဝ်ꩻသွူ ▁။` | 10 |
+| 32k | `▁မျန်မာခမ်းထီ ကိုယို ▁တွိုင်ꩻဒေႏသတန် ▁အဝ်ႏ ▁( ▁၇ ▁) တွိုင်ꩻ ▁နဝ်ꩻသွူ ▁။` | 10 |
+| 64k | `▁မျန်မာခမ်းထီ ကိုယို ▁တွိုင်ꩻဒေႏသတန် ▁အဝ်ႏ ▁( ▁၇ ▁) တွိုင်ꩻ ▁နဝ်ꩻသွူ ▁။` | 10 |
 
-**Sample 2:** `the war is very bad!a website to summarise the war`
+**Sample 2:** `ဝေင်ꩻနောင်ꩻတရားယိုနဝ်ꩻ အဝ်ႏဒျာႏ မျန်မာခမ်းထီ ၊ ဖြဝ်ꩻခမ်းနယ်ႏအခဝ်နဝ်၊ တောင်ႏကီꩻခရ...`
 
 | Vocab | Tokens | Count |
 |-------|--------|-------|
-| 8k | `▁the ▁w ar ▁is ▁ver y ▁b ad ! a ... (+11 more)` | 21 |
-| 16k | `▁the ▁war ▁is ▁ver y ▁b ad ! a ▁website ... (+6 more)` | 16 |
-| 32k | `▁the ▁war ▁is ▁very ▁b ad ! a ▁website ▁to ... (+3 more)` | 13 |
-| 64k | `▁the ▁war ▁is ▁very ▁bad ! a ▁website ▁to ▁summarise ... (+2 more)` | 12 |
+| 8k | `▁ဝေင်ꩻန ောင်ꩻ တရား ယိုနဝ်ꩻ ▁အဝ်ႏဒျာႏ ▁မျန်မာခမ်းထီ ▁၊ ▁ဖြဝ်ꩻခမ်းနယ်ႏ အခဝ်နဝ်၊ ▁တောင်ႏကီꩻခရဲင်ႏ ... (+8 more)` | 18 |
+| 16k | `▁ဝေင်ꩻန ောင်ꩻ တရား ယိုနဝ်ꩻ ▁အဝ်ႏဒျာႏ ▁မျန်မာခမ်းထီ ▁၊ ▁ဖြဝ်ꩻခမ်းနယ်ႏ အခဝ်နဝ်၊ ▁တောင်ႏကီꩻခရဲင်ႏ ... (+8 more)` | 18 |
+| 32k | `▁ဝေင်ꩻန ောင်ꩻ တရား ယိုနဝ်ꩻ ▁အဝ်ႏဒျာႏ ▁မျန်မာခမ်းထီ ▁၊ ▁ဖြဝ်ꩻခမ်းနယ်ႏ အခဝ်နဝ်၊ ▁တောင်ႏကီꩻခရဲင်ႏ ... (+8 more)` | 18 |
+| 64k | `▁ဝေင်ꩻနောင်ꩻ တရားယိုနဝ်ꩻ ▁အဝ်ႏဒျာႏ ▁မျန်မာခမ်းထီ ▁၊ ▁ဖြဝ်ꩻခမ်းနယ်ႏ အခဝ်နဝ်၊ ▁တောင်ႏကီꩻခရဲင်ႏ ▁၊ ▁ဝေင်ꩻနယ်ႏပ ... (+6 more)` | 16 |
 
-**Sample 3:** `မျန်မာခမ်းထီကိုယို ခမ်းနယ်ႏ အဝ်ႏ ( ၇ )ခမ်းနယ်ႏ နဝ်ꩻသွူ ။`
+**Sample 3:** `အမုဲင် ခမ်းထီ ကသှိုပ်စဒါႏ ငဝ်းလဝ်းနီꩻ ၃၅လာအို ၉၄ ထူႏတောမ်`
 
 | Vocab | Tokens | Count |
 |-------|--------|-------|
-| 8k | `▁မျန်မာခမ်းထီ ကိုယို ▁ခမ်းနယ်ႏ ▁အဝ်ႏ ▁( ▁၇ ▁) ခမ်းနယ်ႏ ▁နဝ်ꩻ သွူ ... (+1 more)` | 11 |
-| 16k | `▁မျန်မာခမ်းထီ ကိုယို ▁ခမ်းနယ်ႏ ▁အဝ်ႏ ▁( ▁၇ ▁) ခမ်းနယ်ႏ ▁နဝ်ꩻသွူ ▁။` | 10 |
-| 32k | `▁မျန်မာခမ်းထီ ကိုယို ▁ခမ်းနယ်ႏ ▁အဝ်ႏ ▁( ▁၇ ▁) ခမ်းနယ်ႏ ▁နဝ်ꩻသွူ ▁။` | 10 |
-| 64k | `▁မျန်မာခမ်းထီ ကိုယို ▁ခမ်းနယ်ႏ ▁အဝ်ႏ ▁( ▁၇ ▁) ခမ်းနယ်ႏ ▁နဝ်ꩻသွူ ▁။` | 10 |
+| 8k | `▁အမုဲင် ▁ခမ်းထီ ▁က သ ှို ပ် စဒါႏ ▁ငဝ်း လ ဝ်း ... (+6 more)` | 16 |
+| 16k | `▁အမုဲင် ▁ခမ်းထီ ▁ကသ ှိုပ် စဒါႏ ▁ငဝ်း လဝ်း နီꩻ ▁၃၅ လာအို ... (+3 more)` | 13 |
+| 32k | `▁အမုဲင် ▁ခမ်းထီ ▁ကသှိုပ်စဒါႏ ▁ငဝ်းလဝ်းနီꩻ ▁၃၅လာအို ▁၉ ၄ ▁ထူႏတောမ်` | 8 |
+| 64k | `▁အမုဲင် ▁ခမ်းထီ ▁ကသှိုပ်စဒါႏ ▁ငဝ်းလဝ်းနီꩻ ▁၃၅လာအို ▁၉၄ ▁ထူႏတောမ်` | 7 |
 
 
 ### Key Findings
 
-- **Best Compression:** 64k achieves 4.845x compression
-- **Lowest UNK Rate:** 8k with 0.0510% unknown tokens
+- **Best Compression:** 64k achieves 4.848x compression
+- **Lowest UNK Rate:** 8k with 0.0580% unknown tokens
 - **Trade-off:** Larger vocabularies improve compression but increase model size
 - **Recommendation:** 32k vocabulary provides optimal balance for production use
 
@@ -137,12 +147,14 @@ Below are sample sentences tokenized with each vocabulary size:
 
 | N-gram | Variant | Perplexity | Entropy | Unique N-grams | Top-100 Coverage | Top-1000 Coverage |
 |--------|---------|------------|---------|----------------|------------------|-------------------|
-| **2-gram** | Word | 2,554 | 11.32 | 4,328 | 21.2% | 57.8% |
-| **2-gram** | Subword | 1,405 🏆 | 10.46 | 24,351 | 42.7% | 76.9% |
-| **3-gram** | Word | 3,876 | 11.92 | 6,558 | 18.8% | 47.3% |
-| **3-gram** | Subword | 11,360 | 13.47 | 129,980 | 18.9% | 45.0% |
-| **4-gram** | Word | 16,945 | 14.05 | 23,380 | 8.9% | 21.9% |
-| **4-gram** | Subword | 54,384 | 15.73 | 407,218 | 10.1% | 25.7% |
+| **2-gram** | Word | 2,539 | 11.31 | 4,306 | 21.2% | 57.9% |
+| **2-gram** | Subword | 1,398 🏆 | 10.45 | 24,285 | 42.8% | 77.0% |
+| **3-gram** | Word | 3,862 | 11.92 | 6,537 | 18.8% | 47.3% |
+| **3-gram** | Subword | 11,299 | 13.46 | 129,572 | 19.0% | 45.1% |
+| **4-gram** | Word | 16,871 | 14.04 | 23,296 | 9.0% | 22.0% |
+| **4-gram** | Subword | 54,089 | 15.72 | 405,489 | 10.1% | 25.8% |
+| **5-gram** | Word | 15,317 | 13.90 | 19,946 | 8.7% | 21.0% |
+| **5-gram** | Subword | 138,288 | 17.08 | 617,898 | 5.8% | 16.6% |
 
 ### Top 5 N-grams by Size
 
@@ -150,9 +162,9 @@ Below are sample sentences tokenized with each vocabulary size:
 
 | Rank | N-gram | Count |
 |------|--------|-------|
-| 1 | `နဝ်ꩻ အဝ်ႏဒျာႏ` | 718 |
+| 1 | `နဝ်ꩻ အဝ်ႏဒျာႏ` | 719 |
 | 2 | `အဝ်ႏဒျာႏ မျန်မာခမ်းထီ` | 691 |
-| 3 | `ခရိစ်နေင်ႏ ဗာႏ` | 404 |
+| 3 | `ခရိစ်နေင်ႏ ဗာႏ` | 403 |
 | 4 | `ဗာႏ စာႏရင်ꩻအလꩻ` | 320 |
 | 5 | `မျန်မာခမ်းထီ အခဝ်ထာႏဝ` | 295 |
 
@@ -172,46 +184,66 @@ Below are sample sentences tokenized with each vocabulary size:
 |------|--------|-------|
 | 1 | `နဝ်ꩻ အဝ်ႏဒျာႏ မျန်မာခမ်းထီ အခဝ်ထာႏဝ` | 282 |
 | 2 | `ခရိစ်နေင်ႏ ဗာႏ စာႏရင်ꩻအလꩻ ဝေင်ꩻကိုနဝ်ꩻ` | 161 |
-| 3 | `သီမားသားဖုံႏ မွူးနီꩻအုံပဆားနီꩻဖုံႏတောမ်ႏ အထွတ်အမျတ်မွူးနီꩻဖုံႏ အာႏကွိုꩻ` | 153 |
-| 4 | `လွူးဖွာꩻသားဖုံႏ သီမားသားဖုံႏ မွူးနီꩻအုံပဆားနီꩻဖုံႏတောမ်ႏ အထွတ်အမျတ်မွူးနီꩻဖုံႏ` | 153 |
+| 3 | `လွူးဖွာꩻသားဖုံႏ သီမားသားဖုံႏ မွူးနီꩻအုံပဆားနီꩻဖုံႏတောမ်ႏ အထွတ်အမျတ်မွူးနီꩻဖုံႏ` | 153 |
+| 4 | `သီမားသားဖုံႏ မွူးနီꩻအုံပဆားနီꩻဖုံႏတောမ်ႏ အထွတ်အမျတ်မွူးနီꩻဖုံႏ အာႏကွိုꩻ` | 153 |
 | 5 | `ထာꩻထွာဖုံႏ လွူးဖွာꩻသားဖုံႏ သီမားသားဖုံႏ မွူးနီꩻအုံပဆားနီꩻဖုံႏတောမ်ႏ` | 153 |
 
+**5-grams (Word):**
+
+| Rank | N-gram | Count |
+|------|--------|-------|
+| 1 | `လွူးဖွာꩻသားဖုံႏ သီမားသားဖုံႏ မွူးနီꩻအုံပဆားနီꩻဖုံႏတောမ်ႏ အထွတ်အမျတ်မွူးနီꩻဖုံႏ အာႏကွိုꩻ` | 153 |
+| 2 | `ထာꩻထွာဖုံႏ လွူးဖွာꩻသားဖုံႏ သီမားသားဖုံႏ မွူးနီꩻအုံပဆားနီꩻဖုံႏတောမ်ႏ အထွတ်အမျတ်မွူးနီꩻဖုံႏ` | 153 |
+| 3 | `သွူ ထာꩻထွာဖုံႏ လွူးဖွာꩻသားဖုံႏ သီမားသားဖုံႏ မွူးနီꩻအုံပဆားနီꩻဖုံႏတောမ်ႏ` | 151 |
+| 4 | `ခရိစ်နေင်ႏ ဗာႏ စာႏရင်ꩻအလꩻ ဝေင်ꩻကိုနဝ်ꩻ လိုꩻဖြာꩻခြွဉ်းအဝ်ႏ` | 131 |
+| 5 | `အဝ်ႏသော့ꩻနဝ်ꩻသွူ ခရိစ်နေင်ႏ ဗာႏ စာႏရင်ꩻအလꩻ ဝေင်ꩻကိုနဝ်ꩻ` | 111 |
+
 **2-grams (Subword):**
 
 | Rank | N-gram | Count |
 |------|--------|-------|
-| 1 | `ာ ႏ` | 142,556 |
-| 2 | `၊ _` | 135,431 |
-| 3 | `ꩻ _` | 126,463 |
-| 4 | `ဝ် ꩻ` | 102,686 |
-| 5 | `င် ꩻ` | 97,010 |
+| 1 | `ာ ႏ` | 142,384 |
+| 2 | `၊ _` | 135,380 |
+| 3 | `ꩻ _` | 126,353 |
+| 4 | `ဝ် ꩻ` | 102,695 |
+| 5 | `င် ꩻ` | 96,805 |
 
 **3-grams (Subword):**
 
 | Rank | N-gram | Count |
 |------|--------|-------|
-| 1 | `န ဝ် ꩻ` | 77,017 |
-| 2 | `ဝ် ꩻ _` | 57,560 |
-| 3 | `ꩻ ၊ _` | 31,807 |
-| 4 | `သွူ ။ _` | 31,585 |
-| 5 | `ႏ ၊ _` | 30,939 |
+| 1 | `န ဝ် ꩻ` | 77,014 |
+| 2 | `ဝ် ꩻ _` | 57,567 |
+| 3 | `ꩻ ၊ _` | 31,811 |
+| 4 | `သွူ ။ _` | 31,570 |
+| 5 | `ႏ ၊ _` | 30,928 |
 
 **4-grams (Subword):**
 
 | Rank | N-gram | Count |
 |------|--------|-------|
-| 1 | `န ဝ် ꩻ _` | 45,458 |
-| 2 | `နေ ာ ဝ် ꩻ` | 23,540 |
-| 3 | `ꩻ သွူ ။ _` | 18,995 |
-| 4 | `ꩻ န ဝ် ꩻ` | 18,028 |
-| 5 | `ႏ န ဝ် ꩻ` | 17,062 |
+| 1 | `န ဝ် ꩻ _` | 45,450 |
+| 2 | `နေ ာ ဝ် ꩻ` | 23,553 |
+| 3 | `ꩻ သွူ ။ _` | 18,993 |
+| 4 | `ꩻ န ဝ် ꩻ` | 18,023 |
+| 5 | `ႏ န ဝ် ꩻ` | 17,057 |
+
+**5-grams (Subword):**
+
+| Rank | N-gram | Count |
+|------|--------|-------|
+| 1 | `ဝ် ꩻ သွူ ။ _` | 15,761 |
+| 2 | `ꩻ န ဝ် ꩻ _` | 12,522 |
+| 3 | `နေ ာ ဝ် ꩻ _` | 11,865 |
+| 4 | `ႏ န ဝ် ꩻ _` | 10,503 |
+| 5 | `န ဝ် ꩻ သွူ ။` | 10,311 |
 
 
 ### Key Findings
 
-- **Best Perplexity:** 2-gram (subword) with 1,405
+- **Best Perplexity:** 2-gram (subword) with 1,398
 - **Entropy Trend:** Decreases with larger n-grams (more predictable)
-- **Coverage:** Top-1000 patterns cover ~26% of corpus
+- **Coverage:** Top-1000 patterns cover ~17% of corpus
 - **Recommendation:** 4-gram or 5-gram for best predictive performance
 
 ---
@@ -227,14 +259,14 @@ Below are sample sentences tokenized with each vocabulary size:
 
 | Context | Variant | Avg Entropy | Perplexity | Branching Factor | Unique Contexts | Predictability |
 |---------|---------|-------------|------------|------------------|-----------------|----------------|
-| **1** | Word | 0.2313 | 1.174 | 1.60 | 382,155 | 76.9% |
-| **1** | Subword | 1.2242 | 2.336 | 21.07 | 2,910 | 0.0% |
-| **2** | Word | 0.0413 | 1.029 | 1.06 | 611,948 | 95.9% |
-| **2** | Subword | 0.7533 | 1.686 | 5.49 | 61,297 | 24.7% |
-| **3** | Word | 0.0155 | 1.011 | 1.02 | 648,373 | 98.5% |
-| **3** | Subword | 0.4736 | 1.389 | 2.77 | 336,631 | 52.6% |
-| **4** | Word | 0.0088 🏆 | 1.006 | 1.01 | 660,080 | 99.1% |
-| **4** | Subword | 0.3161 | 1.245 | 1.90 | 934,101 | 68.4% |
+| **1** | Word | 0.2308 | 1.173 | 1.60 | 381,069 | 76.9% |
+| **1** | Subword | 1.2202 | 2.330 | 20.98 | 2,909 | 0.0% |
+| **2** | Word | 0.0412 | 1.029 | 1.06 | 609,269 | 95.9% |
+| **2** | Subword | 0.7534 | 1.686 | 5.49 | 61,020 | 24.7% |
+| **3** | Word | 0.0155 | 1.011 | 1.02 | 645,305 | 98.5% |
+| **3** | Subword | 0.4733 | 1.388 | 2.77 | 335,231 | 52.7% |
+| **4** | Word | 0.0088 🏆 | 1.006 | 1.01 | 656,933 | 99.1% |
+| **4** | Subword | 0.3156 | 1.245 | 1.90 | 930,014 | 68.4% |
 
 ### Generated Text Samples (Word-based)
 
@@ -242,27 +274,27 @@ Below are text samples generated from each word-based Markov chain model:
 
 **Context Size 1:**
 
-1. `၂ ဖြားတန်မောင်ငွေ ဥက္ကဋ္ဌ နာယက ဗွေႏဗွန်ကျောင်ꩻဝေင်ꩻသီႏသဲင်ႏ အကျိုꩻဆောင်ႏနဝ်ꩻ ဗွေႏဗွန်လုံးဖိုးကျောင်ꩻ...`
-2. `၃ နီꩻကို နုဲင်ႏငံႏတောႏအစိုႏရ ကတဲမ်းထွို့ꩻဒါႏ ဗုဲင်းရတ်သ်ပုဂ္ဂိုလ်ႏယင်ဟန်ႏသားနဝ်ꩻ ဝွေꩻသီး အွဉ်မာꩻချွမ...`
-3. `၁ အဟွိုန်အထီႏ မဉ်ႏအာနောဝ်ꩻ ဗွေႏမျတ်ဘုရာꩻ ကဟော်ꩻသေꩻခါꩻအတွိုင်ꩻသွူ ပိဋကတ်ပြန်ႏပအိုဝ်ႏစွိုꩻကထေသေꩻခါꩻ ပြ...`
+1. `၂ ဖြုံႏလဲ့ အဝ်ႏသွူ ခမ်းတွူးကောင်ꩻယို အမိဉ်ꩻနဝ်ꩻ ဖန်ဖေႏ စဲဉ်ႏဖေႏဒျာႏလွဉ်းလွဉ်းသွူ ယိုလွုမ်ꩻမကာႏ ဗွေႏဗ...`
+2. `၃ ပွုမ်ႏယိုသွူ က အဟံ ခွေနဝ်ꩻ ကောလက္ခံႏသား ၂ ၃ ပေါႏပါႏဠိဒျာႏနဝ်ꩻ သော့ꩻတောဝ်းအမုဲင် ဟော်ꩻဖတ်ဗော့ꩻ ပါႏဠ...`
+3. `၁ ခြပ် စီ သွံဆီသူ တနတ်တလီꩻ air combat information management unit mimu ဝေင်ꩻနယ်ႏရွုမ်ꩻဖုံႏနဝ်ꩻ အဝ်ႏဒ...`
 
 **Context Size 2:**
 
-1. `နဝ်ꩻ အဝ်ႏဒျာႏ မျန်မာခမ်းထီ အခဝ်ထာႏဝ မကွေးတွိုင်ꩻဒေႏသတန် ချောက်ခရဲင်ႏ ဝေင်ꩻနယ်ႏချောက်ကို ကအဝ်ႏဒါႏ ဧရာ...`
-2. `အဝ်ႏဒျာႏ မျန်မာခမ်းထီ ဖြဝ်ꩻခမ်းနယ်ႏအခဝ်နဝ် ကလော်ꩻခရဲင်ႏ ဝေင်ꩻနယ်ႏညောင်ႏရွီႏကို ကအဝ်ႏဒါႏ ဝေင်ꩻတဝေင်ꩻဒ...`
-3. `ခရိစ်နေင်ႏ ဗာႏ မွူးကွို့ꩻနာꩻစာႏရင်ꩻအလꩻ အဝ်ႏ ဖြာꩻသွူ အွိုင်ႏလွယ်အွန်ႏကို လိုꩻဖြာꩻခြွဉ်းနဝ်ꩻ နေင်ႏ ဗာႏ...`
+1. `နဝ်ꩻ အဝ်ႏဒျာႏ မျန်မာခမ်းထီ ဖြဝ်ꩻခမ်းနယ်ႏအခဝ်ကွဉ်ႏ မွိုင်ꩻတုံခရဲင်ႏ ဝေင်ꩻနယ်ႏမွိုင်ꩻတုံကို ကပါဒါႏ ဝေင...`
+2. `အဝ်ႏဒျာႏ မျန်မာခမ်းထီ အခဝ်ထာႏဝ ပဂိုꩻတွိုင်ꩻဒေႏသတန် အခဝ်ကွဉ်ႏထင်ꩻ တောင်ႏအူခရဲင်ႏ ဝေင်ꩻနယ်ႏဖျူးကို ကပါ...`
+3. `ခရိစ်နေင်ႏ ဗာႏ စဲ့ꩻအစိုႏရစိုးကို ကဗွောင်လွေꩻဒါႏ ခမ်းလင်လစ်ꩻခမ်းတောမ်ႏ ဖြေꩻစာကွန်ႏ လွယ်စယ်ခမ်းကူဂဲတ်လ...`
 
 **Context Size 3:**
 
-1. `နဝ်ꩻ အဝ်ႏဒျာႏ မျန်မာခမ်းထီ အခဝ်ခိုႏ သကုဲင်းတွိုင်ꩻဒေႏသတန် အခဝ်ကွဉ်ႏထင်ꩻ ကတာခရဲင်ႏ ဝေင်ꩻနယ်ႏအိဉ်းတော်...`
-2. `အဝ်ႏဒျာႏ မျန်မာခမ်းထီ အခဝ်ထာႏဝ မန္တလေꩻတွိုင်ꩻဒေႏသတန် ဝေင်ꩻနယ်ႏနာထိုးစီးကို ကအဝ်ႏဒါႏ ဝေင်ꩻနယ်ႏရွုမ်ꩻ ...`
-3. `ခရိစ်နေင်ႏ ဗာႏ စာႏရင်ꩻအလꩻ ဝေင်ꩻကိုနဝ်ꩻ လိုꩻဖြာꩻခြွဉ်းအဝ်ႏ ၈ ၂၅၂ ဖြာꩻသွူ အာႏကွိုꩻ`
+1. `နဝ်ꩻ အဝ်ႏဒျာႏ မျန်မာခမ်းထီ အခဝ်ကွဉ်ႏထင်ꩻ ဖြဝ်ꩻခမ်းနယ်ႏ အခဝ်ထင်ꩻ ဟိုပန်ခရဲင်ႏ ဝနမ်းပဲင်ႏအိုပ်ချုတ်ခွင...`
+2. `အဝ်ႏဒျာႏ မျန်မာခမ်းထီ အခဝ်ထာႏဝ နေပီဒေါ်ခမ်းခြွဉ်းဗူႏဟံႏနယ်ႏ လယ်ဝွေးခရဲင်ႏကို ကအဝ်ႏပါသော့ꩻဒါႏ ဝေင်ꩻနယ...`
+3. `ခရိစ်နေင်ႏ ဗာႏ စာႏရင်ꩻအလꩻ ဝေင်ꩻကိုနဝ်ꩻ လိုꩻဖြာꩻအဝ်ႏ ၁၁ ၃၀၅ ဖြာꩻသွူ အဝ်ႏဒျာႏ ထာဝယ် မေက် ကာꩻတဖူꩻတန်လော...`
 
 **Context Size 4:**
 
-1. `နဝ်ꩻ အဝ်ႏဒျာႏ မျန်မာခမ်းထီ အခဝ်ထာႏဝ မန်ႏတလေꩻတွိုင်ꩻဒေႏသတန် မိဉ်းဆျန်ခရဲင်ႏကို ကအဝ်ႏပါသော့ꩻဒါႏ ဝေင်ꩻန...`
-2. `ခရိစ်နေင်ႏ ဗာႏ စာႏရင်ꩻအလꩻ ဝေင်ꩻကိုနဝ်ꩻ လိုꩻဖြာꩻခြွဉ်းအဝ်ႏ ၇ ၅၈၇ ရပ်သွူ အာႏကွိုꩻ`
-3. `လွူးဖွာꩻသားဖုံႏ သီမားသားဖုံႏ မွူးနီꩻအုံပဆားနီꩻဖုံႏတောမ်ႏ အထွတ်အမျတ်မွူးနီꩻဖုံႏ အာႏကွိုꩻ`
+1. `နဝ်ꩻ အဝ်ႏဒျာႏ မျန်မာခမ်းထီ အခဝ်ထာႏဝ ဧရာႏဝတီႏတွိုင်ꩻဒေႏသတန် မအူပိဉ်ခရဲင်ႏ ကို ကပါဒါႏ ဝေင်ꩻနယ်ႏတဖြုံႏဒ...`
+2. `ခရိစ်နေင်ႏ ဗာႏ စာႏရင်ꩻအလꩻ ဝေင်ꩻကိုနဝ်ꩻ လိုꩻဖြာꩻအဝ်ႏ ၁၀ ၄၄၃ ဖြာꩻသွူ အဉ်းမယို ကရီးခါနဝ်ꩻ ထွာဒျာႏ ဒုံအဉ...`
+3. `ထာꩻထွာဖုံႏ လွူးဖွာꩻသားဖုံႏ သီမားသားဖုံႏ မွူးနီꩻအုံပဆားနီꩻဖုံႏတောမ်ႏ အထွတ်အမျတ်မွူးနီꩻဖုံႏ အာႏကွိုꩻ`
 
 
 ### Generated Text Samples (Subword-based)
@@ -271,34 +303,34 @@ Below are text samples generated from each subword-based Markov chain model:
 
 **Context Size 1:**
 
-1. `_လွေꩻလꩻဗာꩻ_၈-_နာတ်ꩻ`
-2. `ꩻငဝ်း၊_ထွာယ်ဆည်းရွယ်ႏန`
-3. `ႏ_သမ်းပလောက်ထာႏတသီးထ`
+1. `_တသီႏပေႏစမုံးဝါꩻစွဉ်းထဲ`
+2. `ꩻနဝ်ႏပုဂ္ဂိုလ်ႏ_ဇာဝ်ꩻသား`
+3. `ႏအခြာဏ်ႏတောယိုတဲ့_ဟောႏရာ`
 
 **Context Size 2:**
 
-1. `ာႏရေꩻတွယ်ႏတယယ်ꩻထင်ႏနောဝ်`
-2. `၊_နာႏလွယ်၊_ထွာဆေ့ꩻရွစ်ဟော`
-3. `ꩻ_။_ကတ္တရာꩻနုဲင်းယိုသွူ-_သ`
+1. `ာႏနဝ်ꩻ_အောဝ်ꩻသွူကျောင်ႏဒျာ`
+2. `၊_တွိုက်_ကြွဲႏ_ဖန်_သွူ။_ဓမ္မပ`
+3. `ꩻ_ခင်ႏငံႏ_မန်း"ကို_ကတဲမ်`
 
 **Context Size 3:**
 
-1. `နဝ်ꩻတဲ့_စူꩻအကိုသူꩻ_ထွာ_ပသေဒဲ`
-2. `ဝ်ꩻ_ကဖေႏအံႏ_ခမ်းနေႏရာႏသွု`
-3. `ꩻ၊_၃။_ဖြော်ချာ_လူကြိုက်များရ`
+1. `နဝ်ꩻသွူ။_နီကွဉ်ကꩻမွိုန်း။_၂။`
+2. `ဝ်ꩻ_အံႏဖြာꩻနောဝ်ꩻ_ပအိုဝ်ႏယို`
+3. `ꩻ၊_မဲ့သျင်ႏကျင်ꩻ။_နီလိတ်_အဝ်`
 
 **Context Size 4:**
 
-1. `နဝ်ꩻ_လိုꩻဖြာꩻ၊_နောဝ်ထင်ꩻ_ဖုံ`
-2. `နောဝ်ꩻ_အွဉ်အကိုရေꩻ_(၂၂၂)။_`
-3. `ꩻသွူ။_အားထွုတ်"ဗုဒ္ဓါနုဿတိကမ္မဋ္ဌ`
+1. `နဝ်ꩻ_ဟဲ့ꩻဗာႏသꩻ_ကွား_ကွန်ပေ`
+2. `နောဝ်ꩻ_ဘဝပေါင်ꩻ_ရွဉ်ခန်ဗီႏ_`
+3. `ꩻသွူ။_ပအိုဝ်ႏစွိုးခွိုꩻသီး_သွိုန်ႏသ`
 
 
 ### Key Findings
 
 - **Best Predictability:** Context-4 (word) with 99.1% predictability
 - **Branching Factor:** Decreases with context size (more deterministic)
-- **Memory Trade-off:** Larger contexts require more storage (934,101 contexts)
+- **Memory Trade-off:** Larger contexts require more storage (930,014 contexts)
 - **Recommendation:** Context-3 or Context-4 for text generation
 
 ---
@@ -314,55 +346,55 @@ Below are text samples generated from each subword-based Markov chain model:
 
 | Metric | Value |
 |--------|-------|
-| Vocabulary Size | 68,078 |
-| Total Tokens | 398,630 |
-| Mean Frequency | 5.86 |
+| Vocabulary Size | 67,819 |
+| Total Tokens | 396,228 |
+| Mean Frequency | 5.84 |
 | Median Frequency | 2 |
-| Frequency Std Dev | 39.89 |
+| Frequency Std Dev | 39.85 |
 
 ### Most Common Words
 
 | Rank | Word | Frequency |
 |------|------|-----------|
-| 1 | ၂ | 3,802 |
-| 2 | ၃ | 3,377 |
-| 3 | ၁ | 3,336 |
+| 1 | ၂ | 3,796 |
+| 2 | ၃ | 3,380 |
+| 3 | ၁ | 3,330 |
 | 4 | အာႏကွိုꩻ | 3,141 |
-| 5 | နဝ်ꩻ | 2,713 |
-| 6 | ၄ | 2,610 |
-| 7 | ၅ | 2,059 |
-| 8 | ထွာဒျာႏ | 1,628 |
-| 9 | ၆ | 1,583 |
-| 10 | အဝ်ႏဒျာႏ | 1,493 |
+| 5 | နဝ်ꩻ | 2,717 |
+| 6 | ၄ | 2,608 |
+| 7 | ၅ | 2,058 |
+| 8 | ထွာဒျာႏ | 1,623 |
+| 9 | ၆ | 1,585 |
+| 10 | အဝ်ႏဒျာႏ | 1,494 |
 
 ### Least Common Words (from vocabulary)
 
 | Rank | Word | Frequency |
 |------|------|-----------|
-| 1 | ယံဇိတံ | 2 |
-| 2 | ထာꩻအောင်ႏယမျိုꩻနွ်ꩻ | 2 |
-| 3 | လိုꩻစင်ꩻတဖဲ့ꩻသား | 2 |
-| 4 | ပစ္စာဟရိဿာမိ | 2 |
-| 5 | အဖွန်ႏအခွမ်ꩻတွယ်ꩻမုꩻ | 2 |
-| 6 | တပုဲင်ႏဗွာ | 2 |
-| 7 | nashi | 2 |
-| 8 | ညီႏလာႏခံႏအကို | 2 |
-| 9 | ပြဲႏထောင်ႏစု | 2 |
-| 10 | ဆောင်ႏရွတ်ဖေႏ | 2 |
+| 1 | တထာနမ်းနောဝ်ꩻ | 2 |
+| 2 | တထာဖြွီꩻဖုံႏ | 2 |
+| 3 | antihistamine | 2 |
+| 4 | ပထမခွိုꩻ | 2 |
+| 5 | ဒုတိယခွိုꩻ | 2 |
+| 6 | histamine | 2 |
+| 7 | တနယ်ႏလိုမ်းဆဲင်ႏရာꩻ | 2 |
+| 8 | အခြေပြုမူလတန်ꩻ | 2 |
+| 9 | ပထမကြီးတန်ꩻတွမ်ႏ | 2 |
+| 10 | ရန်ႏကုန်ႏတုံး | 2 |
 
 ### Zipf's Law Analysis
 
 | Metric | Value |
 |--------|-------|
-| Zipf Coefficient | 0.7925 |
-| R² (Goodness of Fit) | 0.997962 |
+| Zipf Coefficient | 0.7916 |
+| R² (Goodness of Fit) | 0.998007 |
 | Adherence Quality | **excellent** |
 
 ### Coverage Analysis
 
 | Top N Words | Coverage |
 |-------------|----------|
-| Top 100 | 18.0% |
+| Top 100 | 17.9% |
 | Top 1,000 | 34.4% |
 | Top 5,000 | 51.9% |
 | Top 10,000 | 61.5% |
@@ -370,8 +402,8 @@ Below are text samples generated from each subword-based Markov chain model:
 ### Key Findings
 
 - **Zipf Compliance:** R²=0.9980 indicates excellent adherence to Zipf's law
-- **High Frequency Dominance:** Top 100 words cover 18.0% of corpus
-- **Long Tail:** 58,078 words needed for remaining 38.5% coverage
+- **High Frequency Dominance:** Top 100 words cover 17.9% of corpus
+- **Long Tail:** 57,819 words needed for remaining 38.5% coverage
 
 ---
 ## 5. Word Embeddings Evaluation
@@ -387,37 +419,40 @@ Below are text samples generated from each subword-based Markov chain model:
 
 ### 5.1 Cross-Lingual Alignment
 
-> *Note: Multilingual alignment visualization not available for this language.*
+![Alignment Quality](visualizations/embedding_alignment_quality.png)
+
+![Multilingual t-SNE](visualizations/embedding_tsne_multilingual.png)
 
 
 ### 5.2 Model Comparison
 
 | Model | Dimension | Isotropy | Semantic Density | Alignment R@1 | Alignment R@10 |
 |-------|-----------|----------|------------------|---------------|----------------|
-| **mono_32d** | 32 | 0.8617 🏆 | 0.3357 | N/A | N/A |
-| **mono_64d** | 64 | 0.8600 | 0.2769 | N/A | N/A |
-| **mono_128d** | 128 | 0.6775 | 0.2411 | N/A | N/A |
+| **mono_32d** | 32 | 0.8632 🏆 | 0.3270 | N/A | N/A |
+| **mono_64d** | 64 | 0.8595 | 0.2722 | N/A | N/A |
+| **mono_128d** | 128 | 0.6854 | 0.2261 | N/A | N/A |
+| **aligned_32d** | 32 | 0.8632 | 0.3317 | 0.0135 | 0.1716 |
+| **aligned_64d** | 64 | 0.8595 | 0.2717 | 0.0745 | 0.2844 |
+| **aligned_128d** | 128 | 0.6854 | 0.2281 | 0.1625 | 0.3386 |
 
 ### Key Findings
 
-- **Best Isotropy:** mono_32d with 0.8617 (more uniform distribution)
-- **Semantic Density:** Average pairwise similarity of 0.2846. Lower values indicate better semantic separation.
-- **Alignment Quality:** No aligned models evaluated in this run.
+- **Best Isotropy:** mono_32d with 0.8632 (more uniform distribution)
+- **Semantic Density:** Average pairwise similarity of 0.2762. Lower values indicate better semantic separation.
+- **Alignment Quality:** Aligned models achieve up to 16.3% R@1 in cross-lingual retrieval.
 - **Recommendation:** 128d aligned for best cross-lingual performance
 
 ---
 ## 6.  Morphological Analysis (Experimental)
 
-> ⚠️ **Warning:** This language shows low morphological productivity. The statistical signals used for this analysis may be noisy or less reliable than for morphologically rich languages.
-
 This section presents an automated morphological analysis derived from the statistical divergence between word-level and subword-level models. By analyzing where subword predictability spikes and where word-level coverage fails, we can infer linguistic structures without supervised data.
 
 ### 6.1 Productivity & Complexity
 
 | Metric | Value | Interpretation | Recommendation |
 |--------|-------|----------------|----------------|
-| Productivity Index | **0.000** | Low morphological productivity | ⚠️ Likely unreliable |
-| Idiomaticity Gap | **-1.000** | Low formulaic content | - |
+| Productivity Index | **5.000** | High morphological productivity | Reliable analysis |
+| Idiomaticity Gap | **0.267** | High formulaic/idiomatic content | - |
 
 ### 6.2 Affix Inventory (Productive Units)
 
@@ -426,21 +461,20 @@ These are the most productive prefixes and suffixes identified by sampling the v
 #### Productive Prefixes
 | Prefix | Examples |
 |--------|----------|
-| `-လိ` | လိတ်ပအိုဝ်ႏဗဟိုႏသွဉ်တန်ꩻ, လိုꩻမျတ်ဖုံႏ, လိတ်ပအိုဝ်ႏစောင်ႏကို |
-| `-လို` | လိုꩻမျတ်ဖုံႏ, လိုꩻသီးဖုံႏယို, လိုꩻသီးယိုနဝ်ꩻ |
-| `-လိုꩻ` | လိုꩻမျတ်ဖုံႏ, လိုꩻသီးဖုံႏယို, လိုꩻသီးယိုနဝ်ꩻ |
+| `-လိ` | လိက်ပအိုဝ်ႏ, လိုꩻစားယိုဖုံႏနဝ်ꩻ, လိတ်လုံးကို |
+| `-လို` | လိုꩻစားယိုဖုံႏနဝ်ꩻ, လိုꩻခိုဖုံႏလဲ့, လိုꩻမွိုက်နဝ်ꩻ |
 
 #### Productive Suffixes
 | Suffix | Examples |
 |--------|----------|
-| `-ꩻ` | လိတ်ပအိုဝ်ႏဗဟိုႏသွဉ်တန်ꩻ, ခိုမူႏခွန်နင်ꩻ, အလင်နဝ်ꩻ |
-| `-ႏ` | ပအိုဝ်ႏတာႏ, ကျင်ꩻလွဉ်ꩻမဲဉ်ႏမဲဉ်ႏဒျာႏ, ခမ်းထီနဲင်ႏငန်ႏ |
-| `-်ꩻ` | လိတ်ပအိုဝ်ႏဗဟိုႏသွဉ်တန်ꩻ, ခိုမူႏခွန်နင်ꩻ, အလင်နဝ်ꩻ |
-| `-ဝ်ꩻ` | အလင်နဝ်ꩻ, အမတ်ဖုံႏနောဝ်ꩻ, ပါꩻမုဲင်ꩻနဝ်ꩻ |
-| `-နဝ်ꩻ` | အလင်နဝ်ꩻ, ပါꩻမုဲင်ꩻနဝ်ꩻ, ခွန်ထွန်းအောင်နဝ်ꩻ |
-| `-်း` | လုမ်းလုမ်း, ဘဝလိုꩻခမ်း, အုံတပန်း |
-| `-ာႏ` | ပအိုဝ်ႏတာႏ, ကျင်ꩻလွဉ်ꩻမဲဉ်ႏမဲဉ်ႏဒျာႏ, ကိုꩻကွယ်ႏဆရာႏမာႏ |
-| `-်ႏ` | ခမ်းထီနဲင်ႏငန်ႏ, ကမ္ဘာႏဟမ်ႏ, သကဒါဂါမိဖိုလ်ႏ |
+| `-ꩻ` | ဝန်ႏကိုတွော့ꩻ, ရခဲင်ႏခွန်ဟော်ခံꩻ, သဗ္ဗညုဘုရာꩻ |
+| `-ႏ` | လဲဉ်အံႏ, အလင်္ကာႏ, မာꩻသွော့ကုသိုလ်ႏ |
+| `-်ꩻ` | လာအိုခမ်းထီနဝ်ꩻ, တသီႏအံႏနယ်ꩻနဝ်ꩻ, ယိုသွံပါꩻထွာနဝ်ꩻ |
+| `-း` | အောဝ်ႏဟမ်ႏခမ်ႏဖာႏလောင်း, လူထုအလောင်း, ဉာဏ်ႏတောႏဆꩻချာလွဉ်းလွဉ်း |
+| `-ဝ်ꩻ` | လာအိုခမ်းထီနဝ်ꩻ, တသီႏအံႏနယ်ꩻနဝ်ꩻ, ယိုသွံပါꩻထွာနဝ်ꩻ |
+| `-်း` | အောဝ်ႏဟမ်ႏခမ်ႏဖာႏလောင်း, လူထုအလောင်း, ဉာဏ်ႏတောႏဆꩻချာလွဉ်းလွဉ်း |
+| `-နဝ်ꩻ` | လာအိုခမ်းထီနဝ်ꩻ, တသီႏအံႏနယ်ꩻနဝ်ꩻ, ယိုသွံပါꩻထွာနဝ်ꩻ |
+| `-ာႏ` | အလင်္ကာႏ, ဖန်ဆင်ꩻမာꩻခါꩻဒျာႏ, ကိုꩻကွယ်ႏသားအာဗာႏ |
 
 ### 6.3 Bound Stems (Lexical Roots)
 
@@ -455,16 +489,16 @@ This table shows which prefixes and suffixes most frequently co-occur on the sam
 
 | Prefix | Suffix | Frequency | Examples |
 |--------|--------|-----------|----------|
-| `-လိ` | `-ꩻ` | 82 words | လိုꩻရွိုင်ꩻ, လိုꩻဘဝခြွေနယ်ꩻ |
-| `-လိ` | `-ႏ` | 54 words | လိုႏဖေႏအာႏငါႏ, လိုꩻနွို့လိုꩻထန်ႏ |
-| `-လိ` | `-်ꩻ` | 50 words | လိုꩻရွိုင်ꩻ, လိုꩻဘဝခြွေနယ်ꩻ |
-| `-လိ` | `-ဝ်ꩻ` | 38 words | လိတ်လုဲင်ꩻပညာႏသျင်ႏသီးနဝ်ꩻ, လိတ်မွူးတွယ်ꩻနဝ်ꩻ |
-| `-လိ` | `-နဝ်ꩻ` | 30 words | လိတ်လုဲင်ꩻပညာႏသျင်ႏသီးနဝ်ꩻ, လိတ်မွူးတွယ်ꩻနဝ်ꩻ |
-| `-လိ` | `-ို` | 24 words | လိုႏသော့ꩻလိတ်မွူးကို, လိုꩻတဟဝ်တဝ်းယို |
-| `-လိ` | `-်ႏ` | 18 words | လိုꩻနွို့လိုꩻထန်ႏ, လိုꩻဖြာꩻခြွဉ်းအောဝ်ႏ |
-| `-လိ` | `-်း` | 17 words | လိုꩻတဲ့ယဝ်း, လိုꩻတသေတဝ်း |
-| `-လိ` | `-ာႏ` | 16 words | လိုꩻသꩻရာႏ, လိုꩻခြွေလိုꩻခြာႏ |
-| `-လိ` | `-ွူ` | 7 words | လိုꩻမျိုꩻဖုံႏဒျာႏသွူ, လိုꩻအွူးဟွူ |
+| `-လိ` | `-ꩻ` | 83 words | လိုꩻမဉ်ꩻ, လိုꩻနမ်းအကိုအထန်ႏနီဖဲ့ꩻ |
+| `-လိ` | `-ႏ` | 64 words | လိုꩻစွဲဉ်ႏ, လိုꩻမုရေꩻအစွိုꩻအဗူႏဖုံႏ |
+| `-လိ` | `-်ꩻ` | 61 words | လိုꩻမဉ်ꩻ, လိုꩻယုက်နဝ်ꩻ |
+| `-လိ` | `-ဝ်ꩻ` | 45 words | လိုꩻယုက်နဝ်ꩻ, လိတ်မွူးပအိုဝ်ႏယိုခါနဝ်ꩻ |
+| `-လိ` | `-နဝ်ꩻ` | 37 words | လိုꩻယုက်နဝ်ꩻ, လိတ်မွူးပအိုဝ်ႏယိုခါနဝ်ꩻ |
+| `-လိ` | `-း` | 36 words | လိုꩻခမ်း, လိုႏတဝ်း |
+| `-လိ` | `-်ႏ` | 23 words | လိုꩻစွဲဉ်ႏ, လိုꩻသွုန်ႏထီဓာတ်တွမ်ႏ |
+| `-လိ` | `-်း` | 19 words | လိုꩻခမ်း, လိုႏတဝ်း |
+| `-လိ` | `-ာႏ` | 15 words | လိုꩻမျိုꩻတွမ်ႏခမ်းထီအတာႏ, လိတ်လုဲင်ꩻတွမ်ႏအနုပညာႏ |
+| `-လိ` | `-ွူ` | 5 words | လိုꩻမဉ်အံႏနွောင်ꩻနိစ်စက်ဒါႏဝင်ꩻဖုံႏနဝ်ꩻသွူ, လိုႏမာꩻထူႏလွလဲဉ်းဒျာႏနောဝ်ꩻသွူ |
 
 ### 6.5 Recursive Morpheme Segmentation
 
@@ -472,26 +506,28 @@ Using **Recursive Hierarchical Substitutability**, we decompose complex words in
 
 | Word | Suggested Split | Confidence | Stem |
 |------|-----------------|------------|------|
-| ဥပဇ္ဈာယ်ႏ | **`ဥပဇ္ဈာယ-်ႏ`** | 4.5 | `ဥပဇ္ဈာယ` |
-| ပငါပရာꩻဖုံႏနဝ်ꩻ | **`ပငါပရာꩻဖုံႏ-နဝ်ꩻ`** | 4.5 | `ပငါပရာꩻဖုံႏ` |
-| အနမ်းနဝ်ꩻ | **`အနမ်း-နဝ်ꩻ`** | 4.5 | `အနမ်း` |
-| မွူးရဝ်ꩻနီꩻနဝ်ꩻ | **`မွူးရဝ်ꩻနီꩻ-နဝ်ꩻ`** | 4.5 | `မွူးရဝ်ꩻနီꩻ` |
-| ရဟန္တာႏသီးနဝ်ꩻ | **`ရဟန္တာႏသီး-နဝ်ꩻ`** | 4.5 | `ရဟန္တာႏသီး` |
-| ယိုခါနဝ်ꩻ | **`ယိုခါ-နဝ်ꩻ`** | 4.5 | `ယိုခါ` |
-| စဲ့ꩻရေꩻနဝ်ꩻ | **`စဲ့ꩻရေꩻ-နဝ်ꩻ`** | 4.5 | `စဲ့ꩻရေꩻ` |
-| လိတ်ကရိုꩻယိုနဝ်ꩻ | **`လိ-တ်ကရိုꩻယ-ို-နဝ်ꩻ`** | 4.5 | `တ်ကရိုꩻယ` |
-| ကုဲင်ထိုꩻနဝ်ꩻ | **`ကုဲင်ထိုꩻ-နဝ်ꩻ`** | 4.5 | `ကုဲင်ထိုꩻ` |
-| လိုꩻသꩻရာႏ | **`လိုꩻ-သꩻရာႏ`** | 4.5 | `သꩻရာႏ` |
-| လိက်ဖြိုင်ႏ | **`လိ-က်ဖြိုင-်ႏ`** | 3.0 | `က်ဖြိုင` |
-| လိုꩻအဆင်ႏအရန်း | **`လိုꩻ-အဆင်ႏအရန-်း`** | 3.0 | `အဆင်ႏအရန` |
-| လိတ်ကျမ်ꩻ | **`လိ-တ်ကျမ-်ꩻ`** | 3.0 | `တ်ကျမ` |
-| လိုꩻသဒ္ဓါႏအဝ်ႏ | **`လိုꩻ-သဒ္ဓါႏအဝ-်ႏ`** | 3.0 | `သဒ္ဓါႏအဝ` |
-| ဘာႏဝနာႏနဝ်ꩻ | **`ဘာႏဝန-ာႏ-နဝ်ꩻ`** | 3.0 | `ဘာႏဝန` |
+| ကွဲညညနဝ်ꩻ | **`ကွဲညည-နဝ်ꩻ`** | 4.5 | `က���ဲညည` |
+| သꩻကိုနဝ်ꩻ | **`သꩻကို-နဝ်ꩻ`** | 4.5 | `သꩻကို` |
+| လိုꩻယင်ဟန်ႏနဝ်ꩻ | **`လို-ꩻယင်ဟန-်ႏ-နဝ်ꩻ`** | 4.5 | `ꩻယင်ဟန` |
+| နင်ꩻသုမနာနဝ်ꩻ | **`နင်ꩻသုမနာ-နဝ်ꩻ`** | 4.5 | `နင်ꩻသုမနာ` |
+| ပုဏ္ဏာꩻနဝ်ꩻ | **`ပုဏ္ဏာꩻ-နဝ်ꩻ`** | 4.5 | `ပုဏ္ဏာꩻ` |
+| နာꩻတဲ့နဝ်ꩻ | **`နာꩻတဲ့-နဝ်ꩻ`** | 4.5 | `နာꩻတဲ့` |
+| ခန္ဓာႏတန်ယိုနဝ်ꩻ | **`ခန္ဓာႏတန်ယို-နဝ်ꩻ`** | 4.5 | `ခန္ဓာႏတန်ယို` |
+| ရောင်ထာꩻနဝ်ꩻ | **`ရောင်ထာꩻ-နဝ်ꩻ`** | 4.5 | `ရောင်ထာꩻ` |
+| ခယ်ႏမူႏနဝ်ꩻ | **`ခယ်ႏမူႏ-နဝ်ꩻ`** | 4.5 | `ခယ်ႏမူႏ` |
+| အနာႏဂတ်နဝ်ꩻ | **`အနာႏဂတ်-နဝ်ꩻ`** | 4.5 | `အနာႏဂတ်` |
+| ရဟန်ꩻသာႏမဏေႏနဝ်ꩻ | **`ရဟန်ꩻသာႏမဏေႏ-နဝ်ꩻ`** | 4.5 | `ရဟန်ꩻသာႏမဏေႏ` |
+| ထွို့ꩻစွဲႏနဝ်ꩻ | **`ထွို့ꩻစွဲႏ-နဝ်ꩻ`** | 4.5 | `ထွို့ꩻစွဲႏ` |
+| စူမွူးနဝ်ꩻ | **`စူမွူး-နဝ်ꩻ`** | 4.5 | `စူမွူး` |
+| ပွိုးနဝ်ꩻ | **`ပွိုး-နဝ်ꩻ`** | 4.5 | `ပွိုး` |
+| သင်္ဃာႏတောႏနဝ်ꩻ | **`သင်္ဃာႏတေ-ာႏ-နဝ်ꩻ`** | 3.0 | `သင်္ဃာႏတေ` |
 
 ### 6.6 Linguistic Interpretation
 
 > **Automated Insight:**
-The language BLK appears to be more isolating or has a highly fixed vocabulary. Word-level models perform nearly as well as subword models, indicating fewer productive morphological processes.
+The language Pa'o Karen shows high morphological productivity. The subword models are significantly more efficient than word models, suggesting a rich system of affixation or compounding.
+
+> **Note on Idiomaticity:** The high Idiomaticity Gap suggests a large number of frequent multi-word expressions or formulaic sequences that are statistically distinct from their component parts.
 
 ---
 ## 7. Summary & Recommendations
@@ -503,7 +539,7 @@ The language BLK appears to be more isolating or has a highly fixed vocabulary.
 | Component | Recommended | Rationale |
 |-----------|-------------|-----------|
 | Tokenizer | **64k BPE** | Best compression (4.85x) |
-| N-gram | **2-gram** | Lowest perplexity (1,405) |
+| N-gram | **2-gram** | Lowest perplexity (1,398) |
 | Markov | **Context-4** | Highest predictability (99.1%) |
 | Embeddings | **100d** | Balanced semantic capture and isotropy |
 
@@ -718,4 +754,4 @@ MIT License - Free for academic and commercial use.
 ---
 *Generated by Wikilangs Models Pipeline*
 
-*Report Date: 2026-01-03 07:25:42*
+*Report Date: 2026-01-03 19:13:44*

models/embeddings/aligned/blk_128d.bin

@@ -0,0 +1,3 @@
+version https://git-lfs.github.com/spec/v1
+oid sha256:403700a4e9862340aaa7a24e865cde86065373f52217722bf81e7cfa17087900
+size 1035782926

models/embeddings/aligned/blk_128d.meta.json

@@ -0,0 +1 @@
+{"lang": "blk", "dim": 128, "max_seq_len": 512, "is_aligned": true}

models/embeddings/aligned/blk_128d.projection.npy

@@ -0,0 +1,3 @@
+version https://git-lfs.github.com/spec/v1
+oid sha256:2788b6ffae44eec975960edafea55b75c0d04f5dc4c549d8dd1ee9e6e68a6082
+size 65664

models/embeddings/aligned/blk_128d_metadata.json

@@ -0,0 +1,8 @@
+{
+  "language": "blk",
+  "dimension": 128,
+  "version": "aligned",
+  "hub_language": "en",
+  "seed_vocab_size": 443,
+  "vocab_size": 11047
+}

models/embeddings/aligned/blk_32d.bin

@@ -0,0 +1,3 @@
+version https://git-lfs.github.com/spec/v1
+oid sha256:3c4dfad7bd3baa1b474eab1507ac372f77e770d7754062f51acd866cdaa048fa
+size 259298830

models/embeddings/aligned/blk_32d.meta.json

@@ -0,0 +1 @@
+{"lang": "blk", "dim": 32, "max_seq_len": 512, "is_aligned": true}

models/embeddings/aligned/blk_32d.projection.npy

@@ -0,0 +1,3 @@
+version https://git-lfs.github.com/spec/v1
+oid sha256:7d02f3aa633829607bafb710514b3bdef5e180bb6d6c5e529057276d14df54a1
+size 4224

models/embeddings/aligned/blk_32d_metadata.json

@@ -0,0 +1,8 @@
+{
+  "language": "blk",
+  "dimension": 32,
+  "version": "aligned",
+  "hub_language": "en",
+  "seed_vocab_size": 443,
+  "vocab_size": 11047
+}

models/embeddings/aligned/blk_64d.bin

@@ -0,0 +1,3 @@
+version https://git-lfs.github.com/spec/v1
+oid sha256:0fa083255cd98cbc2b60e9b5a608ab16bbf3ed3c3691498c7c74c9b713e1a565
+size 518126862

models/embeddings/aligned/blk_64d.meta.json

@@ -0,0 +1 @@
+{"lang": "blk", "dim": 64, "max_seq_len": 512, "is_aligned": true}

models/embeddings/aligned/blk_64d.projection.npy

@@ -0,0 +1,3 @@
+version https://git-lfs.github.com/spec/v1
+oid sha256:1c54425017a59dd8729ea29c9822d943c1550022b477b13069132755a49f81f6
+size 16512

models/embeddings/aligned/blk_64d_metadata.json

@@ -0,0 +1,8 @@
+{
+  "language": "blk",
+  "dimension": 64,
+  "version": "aligned",
+  "hub_language": "en",
+  "seed_vocab_size": 443,
+  "vocab_size": 11047
+}

models/embeddings/monolingual/blk_128d.bin

@@ -1,3 +1,3 @@
 version https://git-lfs.github.com/spec/v1
-oid sha256:849c0bf818b84aff6ad56616057a43cf1087071bb06730ea49f4f4fd35fc3106
-size 1035828932
+oid sha256:403700a4e9862340aaa7a24e865cde86065373f52217722bf81e7cfa17087900
+size 1035782926

models/embeddings/monolingual/blk_128d_metadata.json

@@ -11,5 +11,5 @@
     "encoding_method": "rope",
     "dim": 128
   },
-  "vocab_size": 11091
+  "vocab_size": 11047
 }

models/embeddings/monolingual/blk_32d.bin

@@ -1,3 +1,3 @@
 version https://git-lfs.github.com/spec/v1
-oid sha256:de9eeb9d196eece4ed3965d511a1314e0f2cf59efc97054b08865446875f3bbd
-size 259311044
+oid sha256:3c4dfad7bd3baa1b474eab1507ac372f77e770d7754062f51acd866cdaa048fa
+size 259298830

models/embeddings/monolingual/blk_32d_metadata.json

@@ -11,5 +11,5 @@
     "encoding_method": "rope",
     "dim": 32
   },
-  "vocab_size": 11091
+  "vocab_size": 11047
 }

models/embeddings/monolingual/blk_64d.bin

@@ -1,3 +1,3 @@
 version https://git-lfs.github.com/spec/v1
-oid sha256:27b17305d78322b33cc4baaad0b9e0e0fdb42f39380214b5f5965697b4cad3ae
-size 518150340
+oid sha256:0fa083255cd98cbc2b60e9b5a608ab16bbf3ed3c3691498c7c74c9b713e1a565
+size 518126862

models/embeddings/monolingual/blk_64d_metadata.json

@@ -11,5 +11,5 @@
     "encoding_method": "rope",
     "dim": 64
   },
-  "vocab_size": 11091
+  "vocab_size": 11047
 }

models/subword_markov/blk_markov_ctx1_subword.parquet

@@ -1,3 +1,3 @@
 version https://git-lfs.github.com/spec/v1
-oid sha256:f3b2f1848d241b73c04054b4240c8432860a0e2355d8a3823c68d65c2387e9f3
-size 370202
+oid sha256:8408df6165f248626fd4210eb323ab4d4b42675200c9aa45aa1c12b12a79d849
+size 369981

models/subword_markov/blk_markov_ctx1_subword_metadata.json

@@ -2,6 +2,6 @@
   "context_size": 1,
   "variant": "subword",
   "language": "blk",
-  "unique_contexts": 2910,
-  "total_transitions": 6938576
+  "unique_contexts": 2909,
+  "total_transitions": 6915482
 }

models/subword_markov/blk_markov_ctx2_subword.parquet

@@ -1,3 +1,3 @@
 version https://git-lfs.github.com/spec/v1
-oid sha256:8d89d3ad1a647826ea8221d87d4f188b1de1a7d698456940763c0aed02388fdf
-size 2224824
+oid sha256:a5e324d6710acdab35813a0690df45b4bb82a1f338fefeb1dfb302cb862feffb
+size 2207526

models/subword_markov/blk_markov_ctx2_subword_metadata.json

@@ -2,6 +2,6 @@
   "context_size": 2,
   "variant": "subword",
   "language": "blk",
-  "unique_contexts": 61297,
-  "total_transitions": 6935314
+  "unique_contexts": 61020,
+  "total_transitions": 6912217
 }

models/subword_markov/blk_markov_ctx3_subword.parquet

@@ -1,3 +1,3 @@
 version https://git-lfs.github.com/spec/v1
-oid sha256:e7a1aadc96aaeb58a6546d15275e93c39e8ee61c836927fd4300c346d76a391b
-size 8382547
+oid sha256:cc2951517ed22f32a80efd5e9e298688441e727a479bf113c80c825cfdecccec
+size 8349591

models/subword_markov/blk_markov_ctx3_subword_metadata.json

@@ -2,6 +2,6 @@
   "context_size": 3,
   "variant": "subword",
   "language": "blk",
-  "unique_contexts": 336631,
-  "total_transitions": 6932052
+  "unique_contexts": 335231,
+  "total_transitions": 6908952
 }

models/subword_markov/blk_markov_ctx4_subword.parquet

@@ -1,3 +1,3 @@
 version https://git-lfs.github.com/spec/v1
-oid sha256:ea3c67743f31a2c851e8f3f3a6592c350caec10a77d9fea4ac375a862f6be6ae
-size 20618538
+oid sha256:a88ac23056b5d8ff51043e29ec4fb0dad72fa159e6eb03a7ae5ac83b04eebeca
+size 20532781

models/subword_markov/blk_markov_ctx4_subword_metadata.json

@@ -2,6 +2,6 @@
   "context_size": 4,
   "variant": "subword",
   "language": "blk",
-  "unique_contexts": 934101,
-  "total_transitions": 6928790
+  "unique_contexts": 930014,
+  "total_transitions": 6905687
 }

models/subword_ngram/blk_2gram_subword.parquet

@@ -1,3 +1,3 @@
 version https://git-lfs.github.com/spec/v1
-oid sha256:aa3fd33203c185a7173b0a19a097c225f98847fe4b5e8d2470493098adeffc4f
-size 361985
+oid sha256:ddd57f72086d45f08c72496387c4748bf0eed17d21967adf6aa6cbc8aaa904f6
+size 360618

models/subword_ngram/blk_2gram_subword_metadata.json

@@ -2,6 +2,6 @@
   "n": 2,
   "variant": "subword",
   "language": "blk",
-  "unique_ngrams": 24351,
-  "total_ngrams": 6938576
+  "unique_ngrams": 24285,
+  "total_ngrams": 6915482
 }

models/subword_ngram/blk_3gram_subword.parquet

@@ -1,3 +1,3 @@
 version https://git-lfs.github.com/spec/v1
-oid sha256:34a673bb8ff0f8d0ce8a38c20764c99b533e5d3b05e2b0409cec35a4dc63f108
-size 1910510
+oid sha256:7a261c56eaf693966bbbe141ad39a52625a255d363b681f0c73cfbab8fd56fb7
+size 1911098

models/subword_ngram/blk_3gram_subword_metadata.json

@@ -2,6 +2,6 @@
   "n": 3,
   "variant": "subword",
   "language": "blk",
-  "unique_ngrams": 129980,
-  "total_ngrams": 6935314
+  "unique_ngrams": 129572,
+  "total_ngrams": 6912217
 }

models/subword_ngram/blk_4gram_subword.parquet

@@ -1,3 +1,3 @@
 version https://git-lfs.github.com/spec/v1
-oid sha256:ad489f9217fc89e1f791b12a3222263cddcb0e0633e8c10a4c0c47aedfdc9570
-size 6363654
+oid sha256:be032f1abb64e62b3c61e15dfdb12233c96f20d0e7cdaf4e3d9963642d73c6a2
+size 6340669

models/subword_ngram/blk_4gram_subword_metadata.json

@@ -2,6 +2,6 @@
   "n": 4,
   "variant": "subword",
   "language": "blk",
-  "unique_ngrams": 407218,
-  "total_ngrams": 6932052
+  "unique_ngrams": 405489,
+  "total_ngrams": 6908952
 }

models/subword_ngram/blk_5gram_subword.parquet

@@ -0,0 +1,3 @@
+version https://git-lfs.github.com/spec/v1
+oid sha256:779c130b39e10df04bd2e6b93a828523b14d28ebb8b83b15eec8f0ec66c7c017
+size 10402193

models/subword_ngram/blk_5gram_subword_metadata.json

@@ -0,0 +1,7 @@
+{
+  "n": 5,
+  "variant": "subword",
+  "language": "blk",
+  "unique_ngrams": 617898,
+  "total_ngrams": 6905687
+}

models/tokenizer/blk_tokenizer_16k.model

@@ -1,3 +1,3 @@
 version https://git-lfs.github.com/spec/v1
-oid sha256:cc0e9e63fac0ed90decd12841053888549e74d29340b045b453d1d22af1d7ddc
-size 681362
+oid sha256:30eb488c8e0f35b91a2678a2a9d2078827de56f06c0d91649abd05d522350e02
+size 682843

models/tokenizer/blk_tokenizer_32k.model

@@ -1,3 +1,3 @@
 version https://git-lfs.github.com/spec/v1
-oid sha256:f126ac43be0e6ce337bb595e3f2c105d53ace6fe352dcb131fd8f674b76159cf
-size 1258797
+oid sha256:1988f84f7a26b3f64cce0a6218fee9d6621004dd26480800f9e27ff7cba05a55
+size 1262243

models/tokenizer/blk_tokenizer_64k.model

@@ -1,3 +1,3 @@
 version https://git-lfs.github.com/spec/v1
-oid sha256:167575152f3e5342b9a090a90d5e343cfd3cdd0597adfa44421d24c67af92969
-size 2501030
+oid sha256:10e2f514fe94c1a565806a68b496d89bc55964e9c23541ad67bb6c042b1fd56f
+size 2509455

models/tokenizer/blk_tokenizer_8k.model

@@ -1,3 +1,3 @@
 version https://git-lfs.github.com/spec/v1
-oid sha256:7b0d3dcf17c7a21318f97a63127193ca8986b12cc4621950f17ca81225afe7fa
-size 458144
+oid sha256:ab465d697427d54b9749f77fdbe4485162e186bd196a241169b52118e40872c7
+size 458800

models/vocabulary/blk_vocabulary.parquet

@@ -1,3 +1,3 @@
 version https://git-lfs.github.com/spec/v1
-oid sha256:55be2c429edb280fe0b2070ded305af1d3f07559a14b5a9bac8cf0766d0ff793
-size 1555201
+oid sha256:2da353abc73b25a9c1b4a97a0d21ff4dfc3e247ecbc23be8aedcb6270aece732
+size 1545076

models/vocabulary/blk_vocabulary_metadata.json

@@ -1,17 +1,17 @@
 {
   "language": "blk",
-  "vocabulary_size": 68078,
+  "vocabulary_size": 67819,
   "variant": "full",
   "statistics": {
-    "type_token_ratio": 0.5362379026940269,
+    "type_token_ratio": 0.5371489778516916,
     "coverage": {
-      "top_100": 0.10057494647582223,
-      "top_1000": 0.19264495020778324,
-      "top_5000": 0.2903072834971561,
-      "top_10000": 0.34396334260243955
+      "top_100": 0.10017123890999034,
+      "top_1000": 0.1920032133721381,
+      "top_5000": 0.28973059820868596,
+      "top_10000": 0.3434249191371814
     },
-    "hapax_count": 314132,
-    "hapax_ratio": 0.8218832578948746,
-    "total_documents": 3262
+    "hapax_count": 313307,
+    "hapax_ratio": 0.8220562228764241,
+    "total_documents": 3265
   }
 }

models/word_markov/blk_markov_ctx1_word.parquet

@@ -1,3 +1,3 @@
 version https://git-lfs.github.com/spec/v1
-oid sha256:cdc7fcee57f6aee4ec698d86445b90105b2a0598b31b2c1cfe8e2a3d113bedf3
-size 21335834
+oid sha256:a51f3825d5a92f3a490fc29ce0872293d964a2e1e6d05e98aa89e181cf1b79cf
+size 21280155

models/word_markov/blk_markov_ctx1_word_metadata.json

@@ -2,6 +2,6 @@
   "context_size": 1,
   "variant": "word",
   "language": "blk",
-  "unique_contexts": 382155,
-  "total_transitions": 709500
+  "unique_contexts": 381069,
+  "total_transitions": 706270
 }

models/word_markov/blk_markov_ctx2_word.parquet

@@ -1,3 +1,3 @@
 version https://git-lfs.github.com/spec/v1
-oid sha256:0a68a819a624f91e8cbe47de3432324bf5c1e928d4c5aa0ccbbbf3f6b3680065
-size 29817330
+oid sha256:0ee560c8743ec212f1ab8718c192d6d770ae27a5c3bb622e626bd6d8d9558d66
+size 29714039

models/word_markov/blk_markov_ctx2_word_metadata.json

@@ -2,6 +2,6 @@
   "context_size": 2,
   "variant": "word",
   "language": "blk",
-  "unique_contexts": 611948,
-  "total_transitions": 706238
+  "unique_contexts": 609269,
+  "total_transitions": 703005
 }