Upload all models and assets for bh (latest)

.gitattributes

@@ -39,3 +39,4 @@ visualizations/position_encoding_comparison.png filter=lfs diff=lfs merge=lfs -t
 visualizations/tsne_sentences.png filter=lfs diff=lfs merge=lfs -text
 visualizations/tsne_words.png filter=lfs diff=lfs merge=lfs -text
 visualizations/zipf_law.png filter=lfs diff=lfs merge=lfs -text
+visualizations/embedding_tsne_multilingual.png filter=lfs diff=lfs merge=lfs -text

README.md

@@ -1,6 +1,6 @@
 ---
 language: bh
-language_name: BH
+language_name: Bihari languages
 language_family: indoaryan_central
 tags:
   - wikilangs
@@ -10,11 +10,21 @@ tags:
   - n-gram
   - markov
   - wikipedia
+  - feature-extraction
+  - sentence-similarity
+  - tokenization
+  - n-grams
+  - markov-chain
+  - text-mining
+  - fasttext
+  - babelvec
+  - vocabulous
+  - vocabulary
   - monolingual
   - family-indoaryan_central
 license: mit
 library_name: wikilangs
-pipeline_tag: feature-extraction
+pipeline_tag: text-generation
 datasets:
   - omarkamali/wikipedia-monthly
 dataset_info:
@@ -23,20 +33,20 @@ dataset_info:
 metrics:
   - name: best_compression_ratio
     type: compression
-    value: 4.103
+    value: 4.105
   - name: best_isotropy
     type: isotropy
-    value: 0.8668
+    value: 0.8673
   - name: vocabulary_size
     type: vocab
     value: 0
 generated: 2026-01-03
 ---
 
-# BH - Wikilangs Models
+# Bihari languages - Wikilangs Models
 ## Comprehensive Research Report & Full Ablation Study
 
-This repository contains NLP models trained and evaluated by Wikilangs, specifically on **BH** Wikipedia data.
+This repository contains NLP models trained and evaluated by Wikilangs, specifically on **Bihari languages** Wikipedia data.
 We analyze tokenizers, n-gram models, Markov chains, vocabulary statistics, and word embeddings.
 
 ## 📋 Repository Contents
@@ -60,7 +70,7 @@ We analyze tokenizers, n-gram models, Markov chains, vocabulary statistics, and
 - [3. Markov Chain Evaluation](#3-markov-chain-evaluation)
 - [4. Vocabulary Analysis](#4-vocabulary-analysis)
 - [5. Word Embeddings Evaluation](#5-word-embeddings-evaluation)
-- [6. Morphological Analysis (Experimental)](#6-morphological-analysis)
+- [6. Morphological Analysis (Experimental)](#6--morphological-analysis-experimental)
 - [7. Summary & Recommendations](#7-summary--recommendations)
 - [Metrics Glossary](#appendix-metrics-glossary--interpretation-guide)
 - [Visualizations Index](#visualizations-index)
@@ -80,47 +90,47 @@ We analyze tokenizers, n-gram models, Markov chains, vocabulary statistics, and
 
 | Vocab Size | Compression | Avg Token Len | UNK Rate | Total Tokens |
 |------------|-------------|---------------|----------|--------------|
-| **8k** | 3.436x | 3.44 | 0.1753% | 369,577 |
-| **16k** | 3.741x | 3.74 | 0.1909% | 339,439 |
-| **32k** | 3.960x | 3.96 | 0.2021% | 320,666 |
-| **64k** | 4.103x 🏆 | 4.11 | 0.2094% | 309,485 |
+| **8k** | 3.440x | 3.44 | 0.1739% | 367,965 |
+| **16k** | 3.744x | 3.75 | 0.1893% | 338,089 |
+| **32k** | 3.961x | 3.96 | 0.2003% | 319,582 |
+| **64k** | 4.105x 🏆 | 4.11 | 0.2075% | 308,421 |
 
 ### Tokenization Examples
 
 Below are sample sentences tokenized with each vocabulary size:
 
-**Sample 1:** `अँगारपाथर भारत के झारखंड राज्य में धनबाद शहर के एगो मोहल्ला बाटे। संदर्भ के शहर‏...`
+**Sample 1:** `नेल्सन मंडेला दक्खिन अफिरका के पहिला करिया राष्ट्रपति आ पहिला चुनल गइल राष्ट्रपत...`
 
 | Vocab | Tokens | Count |
 |-------|--------|-------|
-| 8k | `▁अँ गार पा थर ▁भारत ▁के ▁झारखंड ▁राज्य ▁में ▁धन ... (+12 more)` | 22 |
-| 16k | `▁अँ गार पा थर ▁भारत ▁के ▁झारखंड ▁राज्य ▁में ▁धनबाद ... (+11 more)` | 21 |
-| 32k | `▁अँ गार पाथर ▁भारत ▁के ▁झारखंड ▁राज्य ▁में ▁धनबाद ▁शहर ... (+10 more)` | 20 |
-| 64k | `▁अँगारपाथर ▁भारत ▁के ▁झारखंड ▁राज्य ▁में ▁धनबाद ▁शहर ▁के ▁एगो ... (+8 more)` | 18 |
+| 8k | `▁ने ल् सन ▁मंड ेला ▁दक्खिन ▁अफिरका ▁के ▁पहिला ▁करिया ... (+9 more)` | 19 |
+| 16k | `▁ने ल्सन ▁मंड ेला ▁दक्खिन ▁अफिरका ▁के ▁पहिला ▁करिया ▁राष्ट्रपति ... (+8 more)` | 18 |
+| 32k | `▁नेल्सन ▁मंड ेला ▁दक्खिन ▁अफिरका ▁के ▁पहिला ▁करिया ▁राष्ट्रपति ▁आ ... (+7 more)` | 17 |
+| 64k | `▁नेल्सन ▁मंड ेला ▁दक्खिन ▁अफिरका ▁के ▁पहिला ▁करिया ▁राष्ट्रपति ▁आ ... (+7 more)` | 17 |
 
-**Sample 2:** `जून ग्रेगरियन कैलेंडर के छठवाँ महीना ह। घटना तिहुआर अउरी दूसर महत्व के दिन अउरी ...`
+**Sample 2:** `बबुआ कलां भारत के झारखंड राज्य में एक ठो कसबा बाटे। के शहर‏‎ आ कस्बा`
 
 | Vocab | Tokens | Count |
 |-------|--------|-------|
-| 8k | `▁जून ▁ग्रेगरियन ▁कैलेंडर ▁के ▁छठ वाँ ▁महीना ▁ह । ▁घटना ... (+14 more)` | 24 |
-| 16k | `▁जून ▁ग्रेगरियन ▁कैलेंडर ▁के ▁छठवाँ ▁महीना ▁ह । ▁घटना ▁तिहुआर ... (+13 more)` | 23 |
-| 32k | `▁जून ▁ग्रेगरियन ▁कैलेंडर ▁के ▁छठवाँ ▁महीना ▁ह । ▁घटना ▁तिहुआर ... (+13 more)` | 23 |
-| 64k | `▁जून ▁ग्रेगरियन ▁कैलेंडर ▁के ▁छठवाँ ▁महीना ▁ह । ▁घटना ▁तिहुआर ... (+13 more)` | 23 |
+| 8k | `▁ब ब ुआ ▁कला ं ▁भारत ▁के ▁झारखंड ▁राज्य ▁में ... (+9 more)` | 19 |
+| 16k | `▁ब बुआ ▁कला ं ▁भारत ▁के ▁झारखंड ▁राज्य ▁में ▁एक ... (+8 more)` | 18 |
+| 32k | `▁ब बुआ ▁कलां ▁भारत ▁के ▁झारखंड ▁राज्य ▁में ▁एक ▁ठो ... (+7 more)` | 17 |
+| 64k | `▁बबुआ ▁कलां ▁भारत ▁के ▁झारखंड ▁राज्य ▁में ▁एक ▁ठो ▁कसबा ... (+6 more)` | 16 |
 
-**Sample 3:** `बदायूँ जिला उत्तर प्रदेश की बरेली मंडल में एगो जिला बाटे जौना के मुख्यालय बदायूँ...`
+**Sample 3:** `घटना जनम - मन्मथनाथ गुप्त - भारतीय स्वतन्त्रता संग्राम क एगो प्रमुख क्रान्तिकारी...`
 
 | Vocab | Tokens | Count |
 |-------|--------|-------|
-| 8k | `▁ब दाय ूँ ▁जिला ▁उत्तर ▁प्रदेश ▁की ▁ब रेली ▁मंडल ... (+19 more)` | 29 |
-| 16k | `▁ब दाय ूँ ▁जिला ▁उत्तर ▁प्रदेश ▁की ▁बरेली ▁मंडल ▁में ... (+18 more)` | 28 |
-| 32k | `▁ब दायूँ ▁जिला ▁उत्तर ▁प्रदेश ▁की ▁बरेली ▁मंडल ▁में ▁एगो ... (+16 more)` | 26 |
-| 64k | `▁बदायूँ ▁जिला ▁उत्तर ▁प्रदेश ▁की ▁बरेली ▁मंडल ▁में ▁एगो ▁जिला ... (+14 more)` | 24 |
+| 8k | `▁घटना ▁जनम ▁- ▁म न् म थ नाथ ▁गुप्त ▁- ... (+28 more)` | 38 |
+| 16k | `▁घटना ▁जनम ▁- ▁म न् मथ नाथ ▁गुप्त ▁- ▁भारतीय ... (+26 more)` | 36 |
+| 32k | `▁घटना ▁जनम ▁- ▁मन् मथ नाथ ▁गुप्त ▁- ▁भारतीय ▁स्वतन्त्रता ... (+21 more)` | 31 |
+| 64k | `▁घटना ▁जनम ▁- ▁मन्मथनाथ ▁गुप्त ▁- ▁भारतीय ▁स्वतन्त्रता ▁संग्राम ▁क ... (+17 more)` | 27 |
 
 
 ### Key Findings
 
-- **Best Compression:** 64k achieves 4.103x compression
-- **Lowest UNK Rate:** 8k with 0.1753% unknown tokens
+- **Best Compression:** 64k achieves 4.105x compression
+- **Lowest UNK Rate:** 8k with 0.1739% unknown tokens
 - **Trade-off:** Larger vocabularies improve compression but increase model size
 - **Recommendation:** 32k vocabulary provides optimal balance for production use
 
@@ -137,12 +147,14 @@ Below are sample sentences tokenized with each vocabulary size:
 
 | N-gram | Variant | Perplexity | Entropy | Unique N-grams | Top-100 Coverage | Top-1000 Coverage |
 |--------|---------|------------|---------|----------------|------------------|-------------------|
-| **2-gram** | Word | 9,163 | 13.16 | 29,857 | 16.5% | 43.3% |
-| **2-gram** | Subword | 1,500 🏆 | 10.55 | 21,796 | 39.5% | 76.5% |
-| **3-gram** | Word | 13,824 | 13.75 | 38,729 | 15.8% | 36.1% |
-| **3-gram** | Subword | 11,162 | 13.45 | 93,652 | 16.7% | 42.2% |
-| **4-gram** | Word | 17,666 | 14.11 | 53,247 | 17.6% | 35.4% |
-| **4-gram** | Subword | 44,915 | 15.45 | 295,453 | 9.1% | 27.7% |
+| **2-gram** | Word | 9,136 | 13.16 | 29,778 | 16.5% | 43.4% |
+| **2-gram** | Subword | 1,496 🏆 | 10.55 | 21,749 | 39.6% | 76.5% |
+| **3-gram** | Word | 13,783 | 13.75 | 38,633 | 15.8% | 36.1% |
+| **3-gram** | Subword | 11,127 | 13.44 | 93,435 | 16.7% | 42.3% |
+| **4-gram** | Word | 17,572 | 14.10 | 53,047 | 17.6% | 35.4% |
+| **4-gram** | Subword | 44,731 | 15.45 | 294,486 | 9.1% | 27.8% |
+| **5-gram** | Word | 8,139 | 12.99 | 30,163 | 24.3% | 46.7% |
+| **5-gram** | Subword | 95,769 | 16.55 | 421,404 | 6.3% | 19.7% |
 
 ### Top 5 N-grams by Size
 
@@ -150,20 +162,20 @@ Below are sample sentences tokenized with each vocabulary size:
 
 | Rank | N-gram | Count |
 |------|--------|-------|
-| 1 | `सभ के` | 4,161 |
-| 2 | `भारत के` | 3,814 |
-| 3 | `रूप में` | 3,157 |
-| 4 | `के रूप` | 2,933 |
-| 5 | `देखल जाय` | 2,149 |
+| 1 | `सभ के` | 4,152 |
+| 2 | `भारत के` | 3,812 |
+| 3 | `रूप में` | 3,160 |
+| 4 | `के रूप` | 2,936 |
+| 5 | `देखल जाय` | 2,147 |
 
 **3-grams (Word):**
 
 | Rank | N-gram | Count |
 |------|--------|-------|
-| 1 | `के रूप में` | 2,740 |
-| 2 | `इहो देखल जाय` | 2,002 |
-| 3 | `के हिसाब से` | 1,423 |
-| 4 | `संदर्भ बाहरी कड़ी` | 1,392 |
+| 1 | `के रूप में` | 2,742 |
+| 2 | `इहो देखल जाय` | 2,001 |
+| 3 | `के हिसाब से` | 1,425 |
+| 4 | `संदर्भ बाहरी कड़ी` | 1,391 |
 | 5 | `शहर आ कस्बा` | 1,209 |
 
 **4-grams (Word):**
@@ -171,47 +183,67 @@ Below are sample sentences tokenized with each vocabulary size:
 | Rank | N-gram | Count |
 |------|--------|-------|
 | 1 | `के शहर आ कस्बा` | 1,206 |
-| 2 | `बाटे इहो देखल जाय` | 780 |
-| 3 | `राज्य में एक ठो` | 667 |
+| 2 | `बाटे इहो देखल जाय` | 781 |
+| 3 | `राज्य में एक ठो` | 666 |
 | 4 | `के हिसाब से ई` | 539 |
 | 5 | `में एगो जिला बाटे` | 536 |
 
+**5-grams (Word):**
+
+| Rank | N-gram | Count |
+|------|--------|-------|
+| 1 | `संदर्भ के शहर आ कस्बा` | 496 |
+| 2 | `के जनगणना के हिसाब से` | 496 |
+| 3 | `में एगो जिला बाटे एकर` | 465 |
+| 4 | `जनसंख्या साल के जनगणना के` | 449 |
+| 5 | `साल के जनगणना के हिसाब` | 448 |
+
 **2-grams (Subword):**
 
 | Rank | N-gram | Count |
 |------|--------|-------|
-| 1 | `के _` | 114,253 |
-| 2 | `_ के` | 110,824 |
-| 3 | `र _` | 75,001 |
-| 4 | `ल _` | 68,413 |
-| 5 | `न _` | 54,528 |
+| 1 | `के _` | 114,017 |
+| 2 | `_ के` | 110,574 |
+| 3 | `र _` | 75,090 |
+| 4 | `ल _` | 68,378 |
+| 5 | `न _` | 54,576 |
 
 **3-grams (Subword):**
 
 | Rank | N-gram | Count |
 |------|--------|-------|
-| 1 | `_ के _` | 109,027 |
-| 2 | `_ में _` | 44,490 |
-| 3 | `_ आ _` | 29,937 |
-| 4 | `_ से _` | 20,956 |
-| 5 | `ल _ जा` | 13,886 |
+| 1 | `_ के _` | 108,779 |
+| 2 | `_ में _` | 44,499 |
+| 3 | `_ आ _` | 30,014 |
+| 4 | `_ से _` | 20,994 |
+| 5 | `ल _ जा` | 13,915 |
 
 **4-grams (Subword):**
 
 | Rank | N-gram | Count |
 |------|--------|-------|
-| 1 | `न _ के _` | 9,495 |
-| 2 | `_ स भ _` | 8,569 |
-| 3 | `_ ए गो _` | 8,113 |
-| 4 | `र _ के _` | 7,353 |
-| 5 | `ल _ जा ला` | 7,231 |
+| 1 | `न _ के _` | 9,485 |
+| 2 | `_ स भ _` | 8,539 |
+| 3 | `_ ए गो _` | 8,025 |
+| 4 | `र _ के _` | 7,333 |
+| 5 | `ल _ जा ला` | 7,264 |
+
+**5-grams (Subword):**
+
+| Rank | N-gram | Count |
+|------|--------|-------|
+| 1 | `_ बा टे । _` | 5,947 |
+| 2 | `_ भा र त _` | 5,876 |
+| 3 | `_ सं द र्भ _` | 5,473 |
+| 4 | `_ t h e _` | 4,933 |
+| 5 | `ल _ ग इ ल` | 4,916 |
 
 
 ### Key Findings
 
-- **Best Perplexity:** 2-gram (subword) with 1,500
+- **Best Perplexity:** 2-gram (subword) with 1,496
 - **Entropy Trend:** Decreases with larger n-grams (more predictable)
-- **Coverage:** Top-1000 patterns cover ~28% of corpus
+- **Coverage:** Top-1000 patterns cover ~20% of corpus
 - **Recommendation:** 4-gram or 5-gram for best predictive performance
 
 ---
@@ -227,14 +259,14 @@ Below are sample sentences tokenized with each vocabulary size:
 
 | Context | Variant | Avg Entropy | Perplexity | Branching Factor | Unique Contexts | Predictability |
 |---------|---------|-------------|------------|------------------|-----------------|----------------|
-| **1** | Word | 0.8766 | 1.836 | 6.16 | 84,482 | 12.3% |
-| **1** | Subword | 0.9997 | 2.000 | 12.30 | 4,952 | 0.0% |
-| **2** | Word | 0.2946 | 1.227 | 1.77 | 519,009 | 70.5% |
-| **2** | Subword | 0.5586 | 1.473 | 4.02 | 60,879 | 44.1% |
-| **3** | Word | 0.1069 | 1.077 | 1.19 | 917,743 | 89.3% |
-| **3** | Subword | 0.5222 | 1.436 | 2.95 | 244,880 | 47.8% |
-| **4** | Word | 0.0351 🏆 | 1.025 | 1.05 | 1,088,288 | 96.5% |
-| **4** | Subword | 0.3351 | 1.261 | 1.87 | 721,221 | 66.5% |
+| **1** | Word | 0.8731 | 1.832 | 6.14 | 84,373 | 12.7% |
+| **1** | Subword | 0.9992 | 1.999 | 12.29 | 4,950 | 0.1% |
+| **2** | Word | 0.2948 | 1.227 | 1.78 | 516,874 | 70.5% |
+| **2** | Subword | 0.5582 | 1.472 | 4.02 | 60,819 | 44.2% |
+| **3** | Word | 0.1070 | 1.077 | 1.19 | 914,610 | 89.3% |
+| **3** | Subword | 0.5218 | 1.436 | 2.94 | 244,457 | 47.8% |
+| **4** | Word | 0.0352 🏆 | 1.025 | 1.05 | 1,084,862 | 96.5% |
+| **4** | Subword | 0.3349 | 1.261 | 1.87 | 719,467 | 66.5% |
 
 ### Generated Text Samples (Word-based)
 
@@ -242,27 +274,27 @@ Below are text samples generated from each word-based Markov chain model:
 
 **Context Size 1:**
 
-1. `के कुछ अउरी पढ़े के इस्तेमाल होला आ नया विमानन क के दैविक घटना जनम 11`
-2. `में एकट्ठा क क्षमता में राजा दशरथ आ एकर नक़ल उतारे जा सके ला बाद के`
-3. `आ भोजपुरी में एक ठो इतिहासी भूबिज्ञान आ मिजोरम के नाँव ढेर बरफ के अबतक ले`
+1. `के काम कइल जाला के जिला भारत के संतान लक्ष्मीदास जे पर्यावरणी आ मेडिकल कॉलेज दारोगा`
+2. `में भगवान शिव के होखे ला दुनों जाना जाता था जो में जमल पानी प्रदूषण कहल`
+3. `आ निर्वासित दुनों ओर ना कौनों सामान सभ के नाट्यमण्डली के संभाव्यता अध्‍ययन राइट्स ऑफ हिज`
 
 **Context Size 2:**
 
-1. `सभ के कक्षा ऑर्बिट सुरुज के सभसे पबित्र मानल जाला एह दिन के मतलब मैदान के मैदान`
-2. `भारत के बारहवाँ कार्यकाल अनुसार 14वाँ आ वर्तमान में भारत के प्रतिनिधित्व यूरोपियन कमीशन द्वारा 12 मई`
-3. `रूप में अवधारणा के अंतर्राष्ट्रीय बॉर्डर के रूप में निरूपण नक्शा कौनों इलाका के मिला लिहल जाय`
+1. `सभ के समर्थन वाली मीरा कुमार रहली ई कहल गइल आ सन ई में बेंजामिन फ्रैंकलिन के`
+2. `भारत के 27वाँ शहर बाटे जनगणना आँकड़ा के मोताबिक राजा पृथु के नाँव सैयद शफ़ीक़ हुसैन रहल`
+3. `रूप में रखल जाला 23 मार्च locks down over 100 and 1 450 m oromediterranean zone nemoral`
 
 **Context Size 3:**
 
-1. `के रूप में बर्गीकरण कइल जाला कुछ दशा में घार्मिक कामकाज खातिर भी ई नगर के महतव बा`
-2. `इहो देखल जाय बिहार सरकार बिहार के बिकास के रूप में एमबीए कइलें स्टैनफोर्ड में पढ़त घरी इनके`
-3. `के हिसाब से दुनिया के छत्तीसवाँ देस हवे आ पूरबी हिस्सा में उत्तर से दक्खिन ओर फइलल बिसाल`
+1. `के रूप में भी देखल जाला आ पोसल जाला इन्हन क कई गो अवतार कमल क फूल अतिरिक्त`
+2. `इहो देखल जाय नारियल पानी नारियल गरी संदर्भ पानी`
+3. `के हिसाब से ई भारत के 476वाँ शहर बाटे जनगणना आँकड़ा के मोताबिक एह शहर में लिंगानुपात 934`
 
 **Context Size 4:**
 
-1. `बाटे इहो देखल जाय ओडिशा के जिला भारत के जिला सभ के लिस्ट संदर्भ बाहरी कड़ी जिला समन्वय समिति`
-2. `राज्य में एक ठो कसबा बाटे के शहर आ कस्बा जिला के शहर आ कस्बा बंगाल के शहर आ`
-3. `के हिसाब से ई भारत के 191वाँ शहर बाटे जनगणना आँकड़ा के मोताबिक एह शहर में लिंगानुपात 992 आ`
+1. `बाटे इहो देखल जाय भारत के शहर संदर्भ के शहर आ कस्बा के शहर आ कस्बा प्रदेश के शहर`
+2. `राज्य में एक ठो कसबा बाटे इहो देखल जाय ग��जरात के जिला संदर्भ बाहरी कड़ी ऑफिशियल वेबसाइट के जिला`
+3. `के हिसाब से ई भारत के 204वाँ शहर बाटे जनगणना आँकड़ा के मोताबिक एह शहर में लिंगानुपात 883 आ`
 
 
 ### Generated Text Samples (Subword-based)
@@ -271,34 +303,34 @@ Below are text samples generated from each subword-based Markov chain model:
 
 **Context Size 1:**
 
-1. `_क्रिके_की_दर्भ_रव_धन_हो`
-2. `रण_योना_ल_मिल_बिकरेडिट`
-3. `के_mainnaronamoxt`
+1. `_शार_खाई_ऋ_भूगो_स्थापत्र_`
+2. `र_के_बत_oudeasuña`
+3. `के_में_का_djoriid_नित`
 
 **Context Size 2:**
 
-1. `के_पाँचवीं_सस्पेंसन_-टिप्पणी_के`
-2. `_के_दिल्ली_गेम_बस_ce_th`
-3. `र_स्थान_का_आउटवारा_से_सुन`
+1. `के_युवल_जाति_बा_जे_दुनों_ची`
+2. `_के_तुलसीदास_लोगन-पूर्व_में`
+3. `र_द्वारा_पूरा_लोग_के_रूप_में`
 
 **Context Size 3:**
 
-1. `_के_राजा_हवे,_एक_ठो_छोट_`
-2. `_में_इनहन_में_गलुन्गाम,_पीप`
-3. `_आ_इनकर_दि_बीच_के_पहिला`
+1. `_के_पुरान_खान,_तसही_संभव`
+2. `_में_तीन_गो_देस_बनल_ईस्ट_`
+3. `_आ_सन्देश_पर_करा_जरूरत_`
 
 **Context Size 4:**
 
-1. `न_के_राजनर्तकी_अंबपाली_(आम्रपा`
-2. `_सभ_में_राज_कर_सके_ला,_ब`
-3. `_एगो_काल्पनिक_दुनिया_के_इस्तेमाल`
+1. `न_के_सीखल_आ_एह_मंदिर,_मा`
+2. `_सभ_के_बिसेसता_के_कारण_मूल्य`
+3. `_एगो_नागरिक_उत्पादन_के_प्रति_`
 
 
 ### Key Findings
 
 - **Best Predictability:** Context-4 (word) with 96.5% predictability
 - **Branching Factor:** Decreases with context size (more deterministic)
-- **Memory Trade-off:** Larger contexts require more storage (721,221 contexts)
+- **Memory Trade-off:** Larger contexts require more storage (719,467 contexts)
 - **Recommendation:** Context-3 or Context-4 for text generation
 
 ---
@@ -314,64 +346,64 @@ Below are text samples generated from each subword-based Markov chain model:
 
 | Metric | Value |
 |--------|-------|
-| Vocabulary Size | 38,858 |
-| Total Tokens | 1,245,419 |
-| Mean Frequency | 32.05 |
+| Vocabulary Size | 38,630 |
+| Total Tokens | 1,241,622 |
+| Mean Frequency | 32.14 |
 | Median Frequency | 4 |
-| Frequency Std Dev | 665.90 |
+| Frequency Std Dev | 666.83 |
 
 ### Most Common Words
 
 | Rank | Word | Frequency |
 |------|------|-----------|
-| 1 | के | 109,634 |
-| 2 | में | 46,202 |
-| 3 | आ | 30,024 |
-| 4 | से | 21,308 |
-| 5 | बा | 11,775 |
-| 6 | ई | 10,655 |
-| 7 | सभ | 8,830 |
-| 8 | बाटे | 8,519 |
-| 9 | एगो | 8,159 |
-| 10 | जाला | 8,051 |
+| 1 | के | 109,386 |
+| 2 | में | 46,201 |
+| 3 | आ | 30,101 |
+| 4 | से | 21,341 |
+| 5 | बा | 11,787 |
+| 6 | ई | 10,672 |
+| 7 | सभ | 8,798 |
+| 8 | बाटे | 8,511 |
+| 9 | जाला | 8,084 |
+| 10 | एगो | 8,063 |
 
 ### Least Common Words (from vocabulary)
 
 | Rank | Word | Frequency |
 |------|------|-----------|
-| 1 | मापे | 2 |
-| 2 | संयुक्‍त | 2 |
-| 3 | व्युत्क्रमानुपात | 2 |
-| 4 | सीमाएँ | 2 |
-| 5 | एहन | 2 |
-| 6 | परिपथ | 2 |
-| 7 | voltage | 2 |
-| 8 | विभवांतर | 2 |
-| 9 | वोल्ट | 2 |
-| 10 | एम्पियर | 2 |
+| 1 | बंटवारे | 2 |
+| 2 | सीटेंराष्ट्रीय | 2 |
+| 3 | पासवानभाकपा | 2 |
+| 4 | शेयरमतदान | 2 |
+| 5 | तिथिबहुमतराष्ट्रीय | 2 |
+| 6 | गठबंधनमहागठबंधन | 2 |
+| 7 | मैट्रिज़सितंबर | 2 |
+| 8 | बोनो | 2 |
+| 9 | नगद | 2 |
+| 10 | रचनन | 2 |
 
 ### Zipf's Law Analysis
 
 | Metric | Value |
 |--------|-------|
-| Zipf Coefficient | 1.1200 |
-| R² (Goodness of Fit) | 0.994371 |
+| Zipf Coefficient | 1.1214 |
+| R² (Goodness of Fit) | 0.994355 |
 | Adherence Quality | **excellent** |
 
 ### Coverage Analysis
 
 | Top N Words | Coverage |
 |-------------|----------|
-| Top 100 | 43.0% |
-| Top 1,000 | 69.5% |
+| Top 100 | 43.1% |
+| Top 1,000 | 69.6% |
 | Top 5,000 | 86.1% |
 | Top 10,000 | 91.7% |
 
 ### Key Findings
 
 - **Zipf Compliance:** R²=0.9944 indicates excellent adherence to Zipf's law
-- **High Frequency Dominance:** Top 100 words cover 43.0% of corpus
-- **Long Tail:** 28,858 words needed for remaining 8.3% coverage
+- **High Frequency Dominance:** Top 100 words cover 43.1% of corpus
+- **Long Tail:** 28,630 words needed for remaining 8.3% coverage
 
 ---
 ## 5. Word Embeddings Evaluation
@@ -387,37 +419,40 @@ Below are text samples generated from each subword-based Markov chain model:
 
 ### 5.1 Cross-Lingual Alignment
 
-> *Note: Multilingual alignment visualization not available for this language.*
+![Alignment Quality](visualizations/embedding_alignment_quality.png)
+
+![Multilingual t-SNE](visualizations/embedding_tsne_multilingual.png)
 
 
 ### 5.2 Model Comparison
 
 | Model | Dimension | Isotropy | Semantic Density | Alignment R@1 | Alignment R@10 |
 |-------|-----------|----------|------------------|---------------|----------------|
-| **mono_32d** | 32 | 0.8668 🏆 | 0.3638 | N/A | N/A |
-| **mono_64d** | 64 | 0.8282 | 0.2819 | N/A | N/A |
-| **mono_128d** | 128 | 0.6394 | 0.2329 | N/A | N/A |
+| **mono_32d** | 32 | 0.8673 | 0.3719 | N/A | N/A |
+| **mono_64d** | 64 | 0.8240 | 0.2806 | N/A | N/A |
+| **mono_128d** | 128 | 0.6337 | 0.2390 | N/A | N/A |
+| **aligned_32d** | 32 | 0.8673 🏆 | 0.3586 | 0.0220 | 0.1540 |
+| **aligned_64d** | 64 | 0.8240 | 0.2867 | 0.0220 | 0.2300 |
+| **aligned_128d** | 128 | 0.6337 | 0.2384 | 0.0780 | 0.2560 |
 
 ### Key Findings
 
-- **Best Isotropy:** mono_32d with 0.8668 (more uniform distribution)
-- **Semantic Density:** Average pairwise similarity of 0.2929. Lower values indicate better semantic separation.
-- **Alignment Quality:** No aligned models evaluated in this run.
+- **Best Isotropy:** aligned_32d with 0.8673 (more uniform distribution)
+- **Semantic Density:** Average pairwise similarity of 0.2959. Lower values indicate better semantic separation.
+- **Alignment Quality:** Aligned models achieve up to 7.8% R@1 in cross-lingual retrieval.
 - **Recommendation:** 128d aligned for best cross-lingual performance
 
 ---
 ## 6.  Morphological Analysis (Experimental)
 
-> ⚠️ **Warning:** This language shows low morphological productivity. The statistical signals used for this analysis may be noisy or less reliable than for morphologically rich languages.
-
 This section presents an automated morphological analysis derived from the statistical divergence between word-level and subword-level models. By analyzing where subword predictability spikes and where word-level coverage fails, we can infer linguistic structures without supervised data.
 
 ### 6.1 Productivity & Complexity
 
 | Metric | Value | Interpretation | Recommendation |
 |--------|-------|----------------|----------------|
-| Productivity Index | **0.000** | Low morphological productivity | ⚠️ Likely unreliable |
-| Idiomaticity Gap | **-1.000** | Low formulaic content | - |
+| Productivity Index | **5.000** | High morphological productivity | Reliable analysis |
+| Idiomaticity Gap | **1.367** | High formulaic/idiomatic content | - |
 
 ### 6.2 Affix Inventory (Productive Units)
 
@@ -432,18 +467,18 @@ Bound stems are high-frequency subword units that are semantically cohesive but
 
 | Stem | Cohesion | Substitutability | Examples |
 |------|----------|------------------|----------|
-| `ther` | 2.68x | 27 contexts | other, there, rather |
-| `ight` | 2.68x | 21 contexts | fight, right, light |
-| `tion` | 2.59x | 21 contexts | action, nation, motion |
-| `ount` | 2.65x | 15 contexts | count, mount, amount |
-| `atio` | 2.62x | 15 contexts | ratio, nation, nations |
-| `ctio` | 2.61x | 14 contexts | action, fiction, auction |
-| `ater` | 2.67x | 11 contexts | eater, water, later |
-| `stat` | 2.63x | 10 contexts | stato, state, stats |
-| `vers` | 2.52x | 11 contexts | verse, covers, rivers |
-| `rati` | 2.58x | 9 contexts | ratio, rating, bharati |
-| `ment` | 2.50x | 9 contexts | cement, ferment, element |
-| `ical` | 2.57x | 8 contexts | radical, musical, typical |
+| `ther` | 2.76x | 26 contexts | there, other, mother |
+| `tion` | 2.68x | 19 contexts | motion, action, nation |
+| `ount` | 2.74x | 15 contexts | mount, count, counts |
+| `atio` | 2.66x | 15 contexts | ratio, nation, nations |
+| `ctio` | 2.70x | 14 contexts | action, section, actions |
+| `ater` | 2.74x | 11 contexts | later, eater, water |
+| `stat` | 2.72x | 10 contexts | stato, stats, state |
+| `vers` | 2.62x | 11 contexts | verse, covers, rivers |
+| `rati` | 2.70x | 9 contexts | ratio, rating, bharati |
+| `ment` | 2.55x | 9 contexts | cement, ferment, element |
+| `ical` | 2.65x | 8 contexts | typical, medical, optical |
+| `ated` | 2.73x | 7 contexts | dated, stated, related |
 
 ### 6.4 Affix Compatibility (Co-occurrence)
 
@@ -462,7 +497,9 @@ Using **Recursive Hierarchical Substitutability**, we decompose complex words in
 ### 6.6 Linguistic Interpretation
 
 > **Automated Insight:**
-The language BH appears to be more isolating or has a highly fixed vocabulary. Word-level models perform nearly as well as subword models, indicating fewer productive morphological processes.
+The language Bihari languages shows high morphological productivity. The subword models are significantly more efficient than word models, suggesting a rich system of affixation or compounding.
+
+> **Note on Idiomaticity:** The high Idiomaticity Gap suggests a large number of frequent multi-word expressions or formulaic sequences that are statistically distinct from their component parts.
 
 ---
 ## 7. Summary & Recommendations
@@ -474,7 +511,7 @@ The language BH appears to be more isolating or has a highly fixed vocabulary. W
 | Component | Recommended | Rationale |
 |-----------|-------------|-----------|
 | Tokenizer | **64k BPE** | Best compression (4.10x) |
-| N-gram | **2-gram** | Lowest perplexity (1,500) |
+| N-gram | **2-gram** | Lowest perplexity (1,496) |
 | Markov | **Context-4** | Highest predictability (96.5%) |
 | Embeddings | **100d** | Balanced semantic capture and isotropy |
 
@@ -689,4 +726,4 @@ MIT License - Free for academic and commercial use.
 ---
 *Generated by Wikilangs Models Pipeline*
 
-*Report Date: 2026-01-03 07:15:04*
+*Report Date: 2026-01-03 18:51:04*

models/embeddings/aligned/bh_128d.bin

@@ -0,0 +1,3 @@
+version https://git-lfs.github.com/spec/v1
+oid sha256:eea85d4d38b8a1eafd02a0f4039143227a6f20c432fbc6a6fd550310ae30a184
+size 1042277480

models/embeddings/aligned/bh_128d.meta.json

@@ -0,0 +1 @@
+{"lang": "bh", "dim": 128, "max_seq_len": 512, "is_aligned": true}

models/embeddings/aligned/bh_128d.projection.npy

@@ -0,0 +1,3 @@
+version https://git-lfs.github.com/spec/v1
+oid sha256:fedd4bb9adeb9e4a881c22581a45bc9960409cbbec867b7989c19984436e1845
+size 65664

models/embeddings/aligned/bh_128d_metadata.json

@@ -0,0 +1,8 @@
+{
+  "language": "bh",
+  "dimension": 128,
+  "version": "aligned",
+  "hub_language": "en",
+  "seed_vocab_size": 2989,
+  "vocab_size": 17426
+}

models/embeddings/aligned/bh_32d.bin

@@ -0,0 +1,3 @@
+version https://git-lfs.github.com/spec/v1
+oid sha256:da9461279c26e26024cae2aab208a18288148ec7cb32f5d81abaebf0820bc365
+size 260894312

models/embeddings/aligned/bh_32d.meta.json

@@ -0,0 +1 @@
+{"lang": "bh", "dim": 32, "max_seq_len": 512, "is_aligned": true}

models/embeddings/aligned/bh_32d.projection.npy

@@ -0,0 +1,3 @@
+version https://git-lfs.github.com/spec/v1
+oid sha256:8da2bf5ce3276a7611f46c2747071b98c1577b4bc399b70e8744a8ebc0ad2eef
+size 4224

models/embeddings/aligned/bh_32d_metadata.json

@@ -0,0 +1,8 @@
+{
+  "language": "bh",
+  "dimension": 32,
+  "version": "aligned",
+  "hub_language": "en",
+  "seed_vocab_size": 2989,
+  "vocab_size": 17426
+}

models/embeddings/aligned/bh_64d.bin

@@ -0,0 +1,3 @@
+version https://git-lfs.github.com/spec/v1
+oid sha256:d06828c33b47aa9adba0339cd59eefcd097881e7258a4a70ad7b1db05455c426
+size 521355368

models/embeddings/aligned/bh_64d.meta.json

@@ -0,0 +1 @@
+{"lang": "bh", "dim": 64, "max_seq_len": 512, "is_aligned": true}

models/embeddings/aligned/bh_64d.projection.npy

@@ -0,0 +1,3 @@
+version https://git-lfs.github.com/spec/v1
+oid sha256:4482a19a4c700d106e3e055db5374c7ee471b6b83dc203f5be371cc104115ce1
+size 16512

models/embeddings/aligned/bh_64d_metadata.json

@@ -0,0 +1,8 @@
+{
+  "language": "bh",
+  "dimension": 64,
+  "version": "aligned",
+  "hub_language": "en",
+  "seed_vocab_size": 2989,
+  "vocab_size": 17426
+}

models/embeddings/monolingual/bh_128d.bin

@@ -1,3 +1,3 @@
 version https://git-lfs.github.com/spec/v1
-oid sha256:b54269438aa2440d60ff4d391e0d7d5fe6f82e878ecccb3b40c6d625a663fdac
-size 1042368151
+oid sha256:eea85d4d38b8a1eafd02a0f4039143227a6f20c432fbc6a6fd550310ae30a184
+size 1042277480

models/embeddings/monolingual/bh_128d_metadata.json

@@ -11,5 +11,5 @@
     "encoding_method": "rope",
     "dim": 128
   },
-  "vocab_size": 17513
+  "vocab_size": 17426
 }

models/embeddings/monolingual/bh_32d.bin

@@ -1,3 +1,3 @@
 version https://git-lfs.github.com/spec/v1
-oid sha256:8fc27b77183033d6f955d2050d7664babad88301230b75a3837360a073560355
-size 260918167
+oid sha256:da9461279c26e26024cae2aab208a18288148ec7cb32f5d81abaebf0820bc365
+size 260894312

models/embeddings/monolingual/bh_32d_metadata.json

@@ -11,5 +11,5 @@
     "encoding_method": "rope",
     "dim": 32
   },
-  "vocab_size": 17513
+  "vocab_size": 17426
 }

models/embeddings/monolingual/bh_64d.bin

@@ -1,3 +1,3 @@
 version https://git-lfs.github.com/spec/v1
-oid sha256:3e537a56a3e60b9d66cfebd9427db3b6086b87ba6d254b7115af9f4351f51ee9
-size 521401495
+oid sha256:d06828c33b47aa9adba0339cd59eefcd097881e7258a4a70ad7b1db05455c426
+size 521355368

models/embeddings/monolingual/bh_64d_metadata.json

@@ -11,5 +11,5 @@
     "encoding_method": "rope",
     "dim": 64
   },
-  "vocab_size": 17513
+  "vocab_size": 17426
 }

models/subword_markov/bh_markov_ctx1_subword.parquet

@@ -1,3 +1,3 @@
 version https://git-lfs.github.com/spec/v1
-oid sha256:8a66696e8530ad494e5751234f5b92a3bd0818c8159bfbb9706dcb5b0b509e8c
-size 417541
+oid sha256:ac710a309d0b5689e8773f979c3608ce9a0d07db0f59e06b9f80e15194627585
+size 420239

models/subword_markov/bh_markov_ctx1_subword_metadata.json

@@ -2,6 +2,6 @@
   "context_size": 1,
   "variant": "subword",
   "language": "bh",
-  "unique_contexts": 4952,
-  "total_transitions": 4812401
+  "unique_contexts": 4950,
+  "total_transitions": 4792901
 }

models/subword_markov/bh_markov_ctx2_subword.parquet

@@ -1,3 +1,3 @@
 version https://git-lfs.github.com/spec/v1
-oid sha256:9c671b706107b700c31f8eb2af638805a0914ba3b55f1ce6cbdde36b234bc3e5
-size 1958764
+oid sha256:dc8132d17d971115a0b274db540a9f6644dc081f775bd77056355bafb5dd606a
+size 1959380

models/subword_markov/bh_markov_ctx2_subword_metadata.json

@@ -2,6 +2,6 @@
   "context_size": 2,
   "variant": "subword",
   "language": "bh",
-  "unique_contexts": 60879,
-  "total_transitions": 4803696
+  "unique_contexts": 60819,
+  "total_transitions": 4784188
 }

models/subword_markov/bh_markov_ctx3_subword.parquet

@@ -1,3 +1,3 @@
 version https://git-lfs.github.com/spec/v1
-oid sha256:d82bb62a4fc528dad712c5f681a9bc4d24b2fb4660975eb2b9fd5687311890b9
-size 6336160
+oid sha256:83798f708304c8896ec57234c8ffe4d4bdd1e596b8997c3d81c249e7e408917d
+size 6309306

models/subword_markov/bh_markov_ctx3_subword_metadata.json

@@ -2,6 +2,6 @@
   "context_size": 3,
   "variant": "subword",
   "language": "bh",
-  "unique_contexts": 244880,
-  "total_transitions": 4794991
+  "unique_contexts": 244457,
+  "total_transitions": 4775475
 }

models/subword_markov/bh_markov_ctx4_subword.parquet

@@ -1,3 +1,3 @@
 version https://git-lfs.github.com/spec/v1
-oid sha256:2311c03179b14bfb2afa166ca250ff4c7d2dea7a46e1bf00cd42ce46698deb50
-size 15120750
+oid sha256:4d804da70fb19cfc45f9559841c58db7cbdbc65b5a134b30fd635d351a7c5938
+size 15126741

models/subword_markov/bh_markov_ctx4_subword_metadata.json

@@ -2,6 +2,6 @@
   "context_size": 4,
   "variant": "subword",
   "language": "bh",
-  "unique_contexts": 721221,
-  "total_transitions": 4786286
+  "unique_contexts": 719467,
+  "total_transitions": 4766762
 }

models/subword_ngram/bh_2gram_subword.parquet

@@ -1,3 +1,3 @@
 version https://git-lfs.github.com/spec/v1
-oid sha256:8ccdb8f666b779178ca817f13ce58935b027cf7910ea8685631ae2bed535b525
-size 327904
+oid sha256:103e2977a1400e02b226091f8d359d50c33a4c1b8f949c0a326a8ff9c80fb2f4
+size 327300

models/subword_ngram/bh_2gram_subword_metadata.json

@@ -2,6 +2,6 @@
   "n": 2,
   "variant": "subword",
   "language": "bh",
-  "unique_ngrams": 21796,
-  "total_ngrams": 4812401
+  "unique_ngrams": 21749,
+  "total_ngrams": 4792901
 }

models/subword_ngram/bh_3gram_subword.parquet

@@ -1,3 +1,3 @@
 version https://git-lfs.github.com/spec/v1
-oid sha256:4a7163268a6eacd9599d89bf5194ce294c4818e15be4eee3b8f7e92ec8dbbc7d
-size 1357005
+oid sha256:50ed6491fd2b119d9feaecea99e0f03ec4cd34e04e6ec70a95c09e0f54f5f4ca
+size 1358561

models/subword_ngram/bh_3gram_subword_metadata.json

@@ -2,6 +2,6 @@
   "n": 3,
   "variant": "subword",
   "language": "bh",
-  "unique_ngrams": 93652,
-  "total_ngrams": 4803696
+  "unique_ngrams": 93435,
+  "total_ngrams": 4784188
 }

models/subword_ngram/bh_4gram_subword.parquet

@@ -1,3 +1,3 @@
 version https://git-lfs.github.com/spec/v1
-oid sha256:55ff05f51da64f27b2db568ecf99adc094808b5963aba504d817728e105ceaf2
-size 4398449
+oid sha256:bb9e46b8c4db1c9131d1b4dbfc2d5c6701f479cf66ef50fe6922288b582d53cd
+size 4384689

models/subword_ngram/bh_4gram_subword_metadata.json

@@ -2,6 +2,6 @@
   "n": 4,
   "variant": "subword",
   "language": "bh",
-  "unique_ngrams": 295453,
-  "total_ngrams": 4794991
+  "unique_ngrams": 294486,
+  "total_ngrams": 4775475
 }

models/subword_ngram/bh_5gram_subword.parquet

@@ -0,0 +1,3 @@
+version https://git-lfs.github.com/spec/v1
+oid sha256:2d26eedca2939b6437bb580f51f3cb3bd6a67e05db9a99a9118ed8107a1444e9
+size 6650702

models/subword_ngram/bh_5gram_subword_metadata.json

@@ -0,0 +1,7 @@
+{
+  "n": 5,
+  "variant": "subword",
+  "language": "bh",
+  "unique_ngrams": 421404,
+  "total_ngrams": 4766762
+}

models/tokenizer/bh_tokenizer_16k.model

@@ -1,3 +1,3 @@
 version https://git-lfs.github.com/spec/v1
-oid sha256:8e2c6b69efb0696c2593a4e674d531da6cc186970c006b009a5da905fa2c510c
-size 609055
+oid sha256:d673d6cc2c6ac90d1d2ca7fc20652e10b454d2918c20da38dd17913cfef448de
+size 609528

models/tokenizer/bh_tokenizer_32k.model

@@ -1,3 +1,3 @@
 version https://git-lfs.github.com/spec/v1
-oid sha256:a0da439439d6270f2063db9c16c1f281095ac0ed4458b76695c52f7cde9774aa
-size 994788
+oid sha256:9e6db347251e4dce2ecc87dd2333e35549ee873caa97fcb62d90ebe18e32f3f6
+size 995212

models/tokenizer/bh_tokenizer_64k.model

@@ -1,3 +1,3 @@
 version https://git-lfs.github.com/spec/v1
-oid sha256:7e2b6202b97f515f97c09ecfc32ba51664cabebf6f035981a41fc7b7dd5f2814
-size 1811363
+oid sha256:8f6f2b05c63efaaa5d7198d1e9e86edf6a92a8b6c8a2efb7ecc5f0be6a87caca
+size 1813185

models/tokenizer/bh_tokenizer_8k.model

@@ -1,3 +1,3 @@
 version https://git-lfs.github.com/spec/v1
-oid sha256:628a8222f74f579cd406af45e334c28746fbd9325f4a9fcd5c6793ab2534c437
-size 420480
+oid sha256:862301998f448e3ad6016198bd11504ae0eaebc483f07c5422baa0a9e3366e26
+size 420533

models/vocabulary/bh_vocabulary.parquet

@@ -1,3 +1,3 @@
 version https://git-lfs.github.com/spec/v1
-oid sha256:ebd185f91b3ddec379354027ad53da261b000d0e2dccfa4cbfda1efe36a7354d
-size 740324
+oid sha256:d376e1ccd56a6b560f8ef35f5dab7b2a85ebb689ec3c060b70d3b927b61d1de5
+size 739098

models/vocabulary/bh_vocabulary_metadata.json

@@ -1,17 +1,17 @@
 {
   "language": "bh",
-  "vocabulary_size": 38858,
+  "vocabulary_size": 38630,
   "variant": "full",
   "statistics": {
-    "type_token_ratio": 0.06547537905779276,
+    "type_token_ratio": 0.06557704302490956,
     "coverage": {
-      "top_100": 0.41446182158414246,
-      "top_1000": 0.6701453648682979,
-      "top_5000": 0.8302279613599608,
-      "top_10000": 0.8843223122060637
+      "top_100": 0.4151956980527677,
+      "top_1000": 0.6710545223497903,
+      "top_5000": 0.8308271523523458,
+      "top_10000": 0.8847211121182957
     },
-    "hapax_count": 45677,
-    "hapax_ratio": 0.5403324066954516,
-    "total_documents": 8705
+    "hapax_count": 45795,
+    "hapax_ratio": 0.5424341131181523,
+    "total_documents": 8713
   }
 }

models/word_markov/bh_markov_ctx1_word.parquet

@@ -1,3 +1,3 @@
 version https://git-lfs.github.com/spec/v1
-oid sha256:073f45c70364978f33599e10f7fceb20f9022efb2b123ccffca4352c3c559f2b
-size 5186664
+oid sha256:ecde81a1120e9421780f95ce3dc4ab053ecc5e3d4fc1ee6c9aaa63ce280a6469
+size 5178637

models/word_markov/bh_markov_ctx1_word_metadata.json

@@ -2,6 +2,6 @@
   "context_size": 1,
   "variant": "word",
   "language": "bh",
-  "unique_contexts": 84482,
-  "total_transitions": 1282391
+  "unique_contexts": 84373,
+  "total_transitions": 1278704
 }

models/word_markov/bh_markov_ctx2_word.parquet

@@ -1,3 +1,3 @@
 version https://git-lfs.github.com/spec/v1
-oid sha256:a451816cb173e2f9ea644994e76882f796bf7065d5fff1d37c89f78c1ae41b17
-size 14774364
+oid sha256:297824500dbc5072907959bbe396412abce85e0161151273299d228c617723bd
+size 14730272

models/word_markov/bh_markov_ctx2_word_metadata.json

@@ -2,6 +2,6 @@
   "context_size": 2,
   "variant": "word",
   "language": "bh",
-  "unique_contexts": 519009,
-  "total_transitions": 1273686
+  "unique_contexts": 516874,
+  "total_transitions": 1269991
 }