Upload all models and assets for bn (latest)

.gitattributes

@@ -39,3 +39,4 @@ visualizations/position_encoding_comparison.png filter=lfs diff=lfs merge=lfs -t
 visualizations/tsne_sentences.png filter=lfs diff=lfs merge=lfs -text
 visualizations/tsne_words.png filter=lfs diff=lfs merge=lfs -text
 visualizations/zipf_law.png filter=lfs diff=lfs merge=lfs -text
+visualizations/embedding_tsne_multilingual.png filter=lfs diff=lfs merge=lfs -text

README.md

@@ -1,6 +1,6 @@
 ---
 language: bn
-language_name: Bengali
+language_name: Bangla
 language_family: indoaryan_eastern
 tags:
   - wikilangs
@@ -10,11 +10,21 @@ tags:
   - n-gram
   - markov
   - wikipedia
+  - feature-extraction
+  - sentence-similarity
+  - tokenization
+  - n-grams
+  - markov-chain
+  - text-mining
+  - fasttext
+  - babelvec
+  - vocabulous
+  - vocabulary
   - monolingual
   - family-indoaryan_eastern
 license: mit
 library_name: wikilangs
-pipeline_tag: feature-extraction
+pipeline_tag: text-generation
 datasets:
   - omarkamali/wikipedia-monthly
 dataset_info:
@@ -23,20 +33,20 @@ dataset_info:
 metrics:
   - name: best_compression_ratio
     type: compression
-    value: 4.983
+    value: 5.044
   - name: best_isotropy
     type: isotropy
-    value: 0.8133
+    value: 0.8095
   - name: vocabulary_size
     type: vocab
-    value: 250463
-generated: 2025-12-28
+    value: 0
+generated: 2026-01-07
 ---
 
-# Bengali - Wikilangs Models
+# Bangla - Wikilangs Models
 ## Comprehensive Research Report & Full Ablation Study
 
-This repository contains NLP models trained and evaluated by Wikilangs, specifically on **Bengali** Wikipedia data.
+This repository contains NLP models trained and evaluated by Wikilangs, specifically on **Bangla** Wikipedia data.
 We analyze tokenizers, n-gram models, Markov chains, vocabulary statistics, and word embeddings.
 
 ## 📋 Repository Contents
@@ -44,12 +54,13 @@ We analyze tokenizers, n-gram models, Markov chains, vocabulary statistics, and
 ### Models & Assets
 
 - Tokenizers (8k, 16k, 32k, 64k)
-- N-gram models (2, 3, 4-gram)
-- Markov chains (context of 1, 2, 3 and 4)
+- N-gram models (2, 3, 4, 5-gram)
+- Markov chains (context of 1, 2, 3, 4 and 5)
 - Subword N-gram and Markov chains
-- Embeddings in various sizes and dimensions
+- Embeddings in various sizes and dimensions (aligned and unaligned)
 - Language Vocabulary
 - Language Statistics
+
 ![Performance Dashboard](visualizations/performance_dashboard.png)
 
 ### Analysis and Evaluation
@@ -59,7 +70,8 @@ We analyze tokenizers, n-gram models, Markov chains, vocabulary statistics, and
 - [3. Markov Chain Evaluation](#3-markov-chain-evaluation)
 - [4. Vocabulary Analysis](#4-vocabulary-analysis)
 - [5. Word Embeddings Evaluation](#5-word-embeddings-evaluation)
-- [6. Summary & Recommendations](#6-summary--recommendations)
+- [6. Morphological Analysis (Experimental)](#6--morphological-analysis-experimental)
+- [7. Summary & Recommendations](#7-summary--recommendations)
 - [Metrics Glossary](#appendix-metrics-glossary--interpretation-guide)
 - [Visualizations Index](#visualizations-index)
 
@@ -68,75 +80,57 @@ We analyze tokenizers, n-gram models, Markov chains, vocabulary statistics, and
 
 ![Tokenizer Compression](visualizations/tokenizer_compression.png)
 
+![Tokenizer Fertility](visualizations/tokenizer_fertility.png)
+
+![Tokenizer OOV](visualizations/tokenizer_oov.png)
+
+![Total Tokens](visualizations/tokenizer_total_tokens.png)
+
 ### Results
 
 | Vocab Size | Compression | Avg Token Len | UNK Rate | Total Tokens |
 |------------|-------------|---------------|----------|--------------|
-| **8k** | 3.731x | 3.70 | 0.0813% | 2,819,192 |
-| **16k** | 4.228x | 4.19 | 0.0921% | 2,487,647 |
-| **32k** | 4.650x | 4.61 | 0.1013% | 2,262,081 |
-| **64k** | 4.983x 🏆 | 4.94 | 0.1085% | 2,111,066 |
+| **8k** | 3.770x | 3.77 | 0.0982% | 2,627,489 |
+| **16k** | 4.281x | 4.28 | 0.1115% | 2,313,780 |
+| **32k** | 4.713x | 4.71 | 0.1227% | 2,101,756 |
+| **64k** | 5.044x 🏆 | 5.04 | 0.1313% | 1,964,118 |
 
 ### Tokenization Examples
 
 Below are sample sentences tokenized with each vocabulary size:
 
-**Sample 1:** `ইতিহাস 
-
- ঘটনাবলী 
-
- জন্ম 
-
- মৃত্যু 
-মিশেল আফলাক
-
- ছুটি এবং অন্যান্য 
-
- বহিঃসংযো...`
+**Sample 1:** `ছেউড়িয়া কুষ্টিয়া শহরের পূর্ব দিকে অবস্থিত একটি এলাকা। লালন শাহের মাজার এই ছেউ...`
 
 | Vocab | Tokens | Count |
 |-------|--------|-------|
-| 8k | `▁ইতিহাস ▁ঘটনাবলী ▁জন্ম ▁মৃত্যু ▁মিশ েল ▁আ ফল াক ▁ছ ... (+16 more)` | 26 |
-| 16k | `▁ইতিহাস ▁ঘটনাবলী ▁জন্ম ▁মৃত্যু ▁মিশেল ▁আ ফল াক ▁ছুটি ▁এবং ... (+12 more)` | 22 |
-| 32k | `▁ইতিহাস ▁ঘটনাবলী ▁জন্ম ▁মৃত্যু ▁মিশেল ▁আ ফল াক ▁ছুটি ▁এবং ... (+11 more)` | 21 |
-| 64k | `▁ইতিহাস ▁ঘটনাবলী ▁জন্ম ▁মৃত্যু ▁মিশেল ▁আ ফল াক ▁ছুটি ▁এবং ... (+11 more)` | 21 |
+| 8k | `▁ছে উ ড়িয়া ▁কুষ্টিয়া ▁শহরের ▁পূর্ব ▁দিকে ▁অবস্থিত ▁একটি ▁এলাকা ... (+17 more)` | 27 |
+| 16k | `▁ছে উ ড়িয়া ▁কুষ্টিয়া ▁শহরের ▁পূর্ব ▁দিকে ▁অবস্থিত ▁একটি ▁এলাকা ... (+15 more)` | 25 |
+| 32k | `▁ছে উ ড়িয়া ▁কুষ্টিয়া ▁শহরের ▁পূর্ব ▁দিকে ▁অবস্থিত ▁একটি ▁এলাকা ... (+15 more)` | 25 |
+| 64k | `▁ছে উ ড়িয়া ▁কুষ্টিয়া ▁শহরের ▁পূর্ব ▁দিকে ▁অবস্থিত ▁একটি ▁এলাকা ... (+15 more)` | 25 |
 
-**Sample 2:** `চিলমারী ইউনিয়ন নামে বাংলাদেশে মোট ২টি ইউনিয়ন রয়েছে। যথা:
- চিলমারী ইউনিয়ন, চি...`
+**Sample 2:** `বনী কেনানাহ () হল জর্ডানের ইরবিড গভর্নরেটের একটি জেলা। তথ্যসূত্র জেলা`
 
 | Vocab | Tokens | Count |
 |-------|--------|-------|
-| 8k | `▁চিল ম ারী ▁ইউনিয়ন ▁নামে ▁বাংলাদেশে ▁মোট ▁২টি ▁ইউনিয়ন ▁রয়েছে ... (+34 more)` | 44 |
-| 16k | `▁চিল মারী ▁ইউনিয়ন ▁নামে ▁বাংলাদেশে ▁মোট ▁২টি ▁ইউনিয়ন ▁রয়েছে । ... (+27 more)` | 37 |
-| 32k | `▁চিল মারী ▁ইউনিয়ন ▁নামে ▁বাংলাদেশে ▁মোট ▁২টি ▁ইউনিয়ন ▁রয়েছে । ... (+24 more)` | 34 |
-| 64k | `▁চিলমারী ▁ইউনিয়ন ▁নামে ▁বাংলাদেশে ▁মোট ▁২টি ▁ইউনিয়ন ▁রয়েছে । ▁যথা ... (+19 more)` | 29 |
-
-**Sample 3:** `ইতিহাস 
+| 8k | `▁ব নী ▁কেন ান াহ ▁() ▁হল ▁জর্ ড ানের ... (+11 more)` | 21 |
+| 16k | `▁ব নী ▁কেন ান াহ ▁() ▁হল ▁জর্ডানের ▁ইর বি ... (+7 more)` | 17 |
+| 32k | `▁ব নী ▁কেন ান াহ ▁() ▁হল ▁জর্ডানের ▁ইর বি ... (+7 more)` | 17 |
+| 64k | `▁বনী ▁কেন ানাহ ▁() ▁হল ▁জর্ডানের ▁ইর বিড ▁গভর্নরেটের ▁একটি ... (+4 more)` | 14 |
 
- ঘটনাবলী 
-
- জন্ম 
-
- মৃত্যু 
-
- ছুটি এবং অন্যান্য 
-
- বহিঃসংযোগ 
-
-বিষয়শ্র...`
+**Sample 3:** `উপভাষাতত্ত্ব () ভাষাবিজ্ঞানের একটি উপশাখা যেখানে ভাষার ভৌগোলিক বৈচিত্র্য নিয়ে গ...`
 
 | Vocab | Tokens | Count |
 |-------|--------|-------|
-| 8k | `▁ইতিহাস ▁ঘটনাবলী ▁জন্ম ▁মৃত্যু ▁ছ ুটি ▁এবং ▁অন্যান্য ▁বহিঃসংযোগ ▁বিষয়শ্রেণী ... (+12 more)` | 22 |
-| 16k | `▁ইতিহাস ▁ঘটনাবলী ▁জন্ম ▁মৃত্যু ▁ছুটি ▁এবং ▁অন্যান্য ▁বহিঃসংযোগ ▁বিষয়শ্রেণী : ... (+9 more)` | 19 |
-| 32k | `▁ইতিহাস ▁ঘটনাবলী ▁জন্ম ▁মৃত্যু ▁ছুটি ▁এবং ▁অন্যান্য ▁বহিঃসংযোগ ▁বিষয়শ্রেণী : ... (+9 more)` | 19 |
-| 64k | `▁ইতিহাস ▁ঘটনাবলী ▁জন্ম ▁মৃত্যু ▁ছুটি ▁এবং ▁অন্যান্য ▁বহিঃসংযোগ ▁বিষয়শ্রেণী : ... (+7 more)` | 17 |
+| 8k | `▁উপ ভাষ াত ত্ত্ব ▁() ▁ভাষ াবি জ্ঞ ানের ▁একটি ... (+25 more)` | 35 |
+| 16k | `▁উপ ভাষ াত ত্ত্ব ▁() ▁ভাষ াবিজ্ঞ ানের ▁একটি ▁উপ ... (+22 more)` | 32 |
+| 32k | `▁উপভাষ াত ত্ত্ব ▁() ▁ভাষাবিজ্ঞানের ▁একটি ▁উপ শাখা ▁যেখানে ▁ভাষার ... (+17 more)` | 27 |
+| 64k | `▁উপভাষ াতত্ত্ব ▁() ▁ভাষাবিজ্ঞানের ▁একটি ▁উপশাখা ▁যেখানে ▁ভাষার ▁ভৌগোলিক ▁বৈচিত্র্য ... (+15 more)` | 25 |
 
 
 ### Key Findings
 
-- **Best Compression:** 64k achieves 4.983x compression
-- **Lowest UNK Rate:** 8k with 0.0813% unknown tokens
+- **Best Compression:** 64k achieves 5.044x compression
+- **Lowest UNK Rate:** 8k with 0.0982% unknown tokens
 - **Trade-off:** Larger vocabularies improve compression but increase model size
 - **Recommendation:** 32k vocabulary provides optimal balance for production use
 
@@ -145,57 +139,111 @@ Below are sample sentences tokenized with each vocabulary size:
 
 ![N-gram Perplexity](visualizations/ngram_perplexity.png)
 
+![N-gram Unique](visualizations/ngram_unique.png)
+
 ![N-gram Coverage](visualizations/ngram_coverage.png)
 
 ### Results
 
-| N-gram | Perplexity | Entropy | Unique N-grams | Top-100 Coverage | Top-1000 Coverage |
-|--------|------------|---------|----------------|------------------|-------------------|
-| **2-gram** | 1,729 🏆 | 10.76 | 514,602 | 43.5% | 78.4% |
-| **2-gram** | 617 🏆 | 9.27 | 33,180 | 50.6% | 92.9% |
-| **3-gram** | 17,027 | 14.06 | 2,087,238 | 16.5% | 45.3% |
-| **3-gram** | 5,420 | 12.40 | 328,172 | 19.8% | 55.7% |
-| **4-gram** | 101,821 | 16.64 | 6,958,889 | 8.9% | 25.5% |
-| **4-gram** | 30,323 | 14.89 | 1,934,479 | 10.4% | 31.7% |
+| N-gram | Variant | Perplexity | Entropy | Unique N-grams | Top-100 Coverage | Top-1000 Coverage |
+|--------|---------|------------|---------|----------------|------------------|-------------------|
+| **2-gram** | Word | 291,514 | 18.15 | 1,574,708 | 4.7% | 13.8% |
+| **2-gram** | Subword | 2,633 🏆 | 11.36 | 151,712 | 33.5% | 66.9% |
+| **3-gram** | Word | 772,868 | 19.56 | 2,366,241 | 2.2% | 7.8% |
+| **3-gram** | Subword | 26,877 | 14.71 | 1,149,281 | 12.1% | 33.1% |
+| **4-gram** | Word | 1,492,191 | 20.51 | 3,512,891 | 1.8% | 5.9% |
+| **4-gram** | Subword | 176,159 | 17.43 | 5,668,680 | 6.6% | 19.0% |
+| **5-gram** | Word | 1,031,104 | 19.98 | 2,302,686 | 2.2% | 6.7% |
+| **5-gram** | Subword | 672,872 | 19.36 | 12,813,291 | 4.0% | 12.3% |
 
 ### Top 5 N-grams by Size
 
-**2-grams:**
+**2-grams (Word):**
+
+| Rank | N-gram | Count |
+|------|--------|-------|
+| 1 | `করা হয়` | 178,320 |
+| 2 | `তথ্যসূত্র বহিঃসংযোগ` | 62,509 |
+| 3 | `করা হয়েছিল` | 55,266 |
+| 4 | `করা হয়েছে` | 52,752 |
+| 5 | `হয় এবং` | 47,516 |
+
+**3-grams (Word):**
 
 | Rank | N-gram | Count |
 |------|--------|-------|
-| 1 | `া র` | 6,292,455 |
-| 2 | `ে র` | 5,308,140 |
-| 3 | `্ র` | 4,972,400 |
-| 4 | `য ়` | 4,738,290 |
-| 5 | `্ য` | 4,282,578 |
+| 1 | `থেকে সাল পর্যন্ত` | 15,509 |
+| 2 | `করা হয় এবং` | 12,875 |
+| 3 | `দায়িত্ব পালন করেন` | 11,918 |
+| 4 | `উপর ভিত্তি করে` | 11,195 |
+| 5 | `করা যেতে পারে` | 11,181 |
 
-**3-grams:**
+**4-grams (Word):**
 
 | Rank | N-gram | Count |
 |------|--------|-------|
-| 1 | `্ য া` | 2,328,201 |
-| 2 | `্ র ে` | 1,699,814 |
-| 3 | `ি য ়` | 1,654,809 |
-| 4 | `া য ়` | 1,550,712 |
-| 5 | `য ় া` | 1,358,961 |
+| 1 | `তথ্যসূত্র বহিঃসংযোগ জন্ম ব্যক্তি` | 6,636 |
+| 2 | `সংসদ সদস্য সংসদ সদস্য` | 6,370 |
+| 3 | `হিসেবে দায়িত্ব পালন করেন` | 5,513 |
+| 4 | `এপ্রিল জুন জুলাই সেপ্টেম্বর` | 5,102 |
+| 5 | `জুলাই সেপ্টেম্বর অক্টোবর ডিসেম্বর` | 5,100 |
 
-**4-grams:**
+**5-grams (Word):**
 
 | Rank | N-gram | Count |
 |------|--------|-------|
-| 1 | `শ ্ র ে` | 1,127,020 |
-| 2 | `ব ি ষয ়` | 1,117,741 |
-| 3 | `্ র ে ণ` | 1,092,505 |
-| 4 | `র ে ণ ী` | 1,077,879 |
-| 5 | `় শ ্ র` | 1,049,641 |
+| 1 | `জুন জুলাই সেপ্টেম্বর অক্টোবর ডিসেম্বর` | 5,049 |
+| 2 | `এপ্রিল জুন জুলাই সেপ্টেম্বর অক্টোবর` | 5,048 |
+| 3 | `মার্চ এপ্রিল জুন জুলাই সেপ্টেম্বর` | 5,040 |
+| 4 | `জানুয়ারি মার্চ এপ্রিল জুন জুলাই` | 5,039 |
+| 5 | `সদস্য সংসদ সদস্য সংসদ সদস্য` | 4,613 |
+
+**2-grams (Subword):**
+
+| Rank | N-gram | Count |
+|------|--------|-------|
+| 1 | `র _` | 10,460,613 |
+| 2 | `_ এ` | 4,233,657 |
+| 3 | `ন _` | 4,097,869 |
+| 4 | `। _` | 3,608,688 |
+| 5 | `_ ক` | 3,135,335 |
+
+**3-grams (Subword):**
+
+| Rank | N-gram | Count |
+|------|--------|-------|
+| 1 | `_ ক রে` | 1,380,255 |
+| 2 | `এ বং _` | 1,266,527 |
+| 3 | `_ এ বং` | 1,265,068 |
+| 4 | `_ এ ক` | 991,360 |
+| 5 | `ন । _` | 910,746 |
+
+**4-grams (Subword):**
+
+| Rank | N-gram | Count |
+|------|--------|-------|
+| 1 | `_ এ বং _` | 1,263,055 |
+| 2 | `_ এ ক টি` | 584,296 |
+| 3 | `এ ক টি _` | 578,361 |
+| 4 | `_ তি নি _` | 473,133 |
+| 5 | `_ ক রা _` | 429,980 |
+
+**5-grams (Subword):**
+
+| Rank | N-gram | Count |
+|------|--------|-------|
+| 1 | `_ এ ক টি _` | 571,779 |
+| 2 | `_ হ য় । _` | 358,749 |
+| 3 | `র _ জ ��্য _` | 344,350 |
+| 4 | `_ ক রা _ হ` | 325,163 |
+| 5 | `_ ক রে ন ।` | 253,567 |
 
 
 ### Key Findings
 
-- **Best Perplexity:** 2-gram with 617
+- **Best Perplexity:** 2-gram (subword) with 2,633
 - **Entropy Trend:** Decreases with larger n-grams (more predictable)
-- **Coverage:** Top-1000 patterns cover ~32% of corpus
+- **Coverage:** Top-1000 patterns cover ~12% of corpus
 - **Recommendation:** 4-gram or 5-gram for best predictive performance
 
 ---
@@ -203,55 +251,86 @@ Below are sample sentences tokenized with each vocabulary size:
 
 ![Markov Entropy](visualizations/markov_entropy.png)
 
+![Markov Contexts](visualizations/markov_contexts.png)
+
 ![Markov Branching](visualizations/markov_branching.png)
 
 ### Results
 
-| Context | Avg Entropy | Perplexity | Branching Factor | Unique Contexts | Predictability |
-|---------|-------------|------------|------------------|-----------------|----------------|
-| **1** | 0.4721 | 1.387 | 5.55 | 741,598 | 52.8% |
-| **1** | 1.3088 | 2.477 | 9.81 | 11,996 | 0.0% |
-| **2** | 0.3508 | 1.275 | 2.80 | 4,117,166 | 64.9% |
-| **2** | 0.8170 | 1.762 | 6.18 | 117,615 | 18.3% |
-| **3** | 0.2622 | 1.199 | 2.09 | 11,539,749 | 73.8% |
-| **3** | 0.8527 | 1.806 | 4.88 | 727,384 | 14.7% |
-| **4** | 0.2332 🏆 | 1.175 | 1.80 | 24,106,813 | 76.7% |
-| **4** | 0.6914 🏆 | 1.615 | 3.38 | 3,549,554 | 30.9% |
+| Context | Variant | Avg Entropy | Perplexity | Branching Factor | Unique Contexts | Predictability |
+|---------|---------|-------------|------------|------------------|-----------------|----------------|
+| **1** | Word | 0.8427 | 1.793 | 11.19 | 2,081,488 | 15.7% |
+| **1** | Subword | 0.9831 | 1.977 | 14.53 | 30,042 | 1.7% |
+| **2** | Word | 0.3490 | 1.274 | 2.13 | 23,273,031 | 65.1% |
+| **2** | Subword | 0.7496 | 1.681 | 6.59 | 436,358 | 25.0% |
+| **3** | Word | 0.1187 | 1.086 | 1.25 | 49,621,155 | 88.1% |
+| **3** | Subword | 0.5931 | 1.508 | 4.11 | 2,877,364 | 40.7% |
+| **4** | Word | 0.0412 🏆 | 1.029 | 1.07 | 61,780,303 | 95.9% |
+| **4** | Subword | 0.5053 | 1.419 | 2.78 | 11,819,297 | 49.5% |
 
-### Generated Text Samples
+### Generated Text Samples (Word-based)
 
-Below are text samples generated from each Markov chain model:
+Below are text samples generated from each word-based Markov chain model:
 
 **Context Size 1:**
 
-1. `া র া মর ্ র ু ড ় ঐত ি ল ো নও ধরন ে`
-2. `্ ড০০ তথ ্ ভরশ ী শ া স ৃ হহ ী দ ি ক া`
-3. `ে ণ ী বন ্ দ ্ র ্ টগ ্ ন , দক ্ দ`
+1. `এবং পেনাল্টি শুট করা ঐতিহ্যগতভাবে মে তারিখে স্বাগতিক নিউজিল্যান্ড পুরুষ দীর্ঘ এবং ফোকসোনমি সালে u1 ১...`
+2. `ও বিদ্রোহী দুর্গগুলির ধ্বংসাবশেষ এবং মহিলা ফুটবল ক্লাবের দৃশ্যের মিল মালিক মুম্বাইয়ে গুজরাটি ভাষায়...`
+3. `হয় যা মামলুকের পদক্ষেপকে ইসরায়েল বেইট শেমেশের কাছে উন্মুক্ত এবং বাবা মাকে ডেকে পিছনে চার্জার কেইস`
 
 **Context Size 2:**
 
-1. `া র হ া ত ি প ি ত া র া ল ী ব ি প`
-2. `ে র স ্ তর আয ় শ ্ ব া ইর া ক ি ন ব`
-3. `্ র ে ণ ী : য ু ৎ ক ে আমর া ত া ড া`
+1. `করা হয় ১৫ নভেম্বর the day of francophonie ২০ মার্চ রাজ্য সরকার মাদুরাইয়ে দুটি আইটি ভিত্তিক সরঞ্জাম...`
+2. `তথ্যসূত্র বহিঃসংযোগ উপজেলার ইউনিয়ন বিভাগের ইউনিয়ন জেলার ইউনিয়ন বিভাগের ইউনিয়ন জেলার ইউনিয়ন পরিষ...`
+3. `করা হয়েছিল যে সামাজিক প্রভাবের প্রক্রিয়া যার মাধ্যমে গুগল টক ক্লায়েন্ট তৈরি করেন texier charles r...`
 
 **Context Size 3:**
 
-1. `্ য া ঙ ্ ক া য ় য ে শব ্ দ ে গ ু ল`
-2. `্ র ে ণ ী : ১৯৭৯ - এ প ্ রত ি রক ্ ষ ি ত`
-3. `ি য ় ে ছ ে , ত া দ ে র য া ত ি ক ব`
+1. `থেকে সাল পর্যন্ত শাখাহার ইউনিয়নের পরপর পাঁচমেয়াদে নির্বাচিত চেয়ারম্যান ছিলেন তিনি থেকে সময়কালে অ...`
+2. `করা হয় এবং এই ডকুমেন্ট সম্মেলনে আ��োচনা হওয়ার পর সেখানেই একটি মাদরাসা প্রতিষ্ঠার ব্যাপারে অভিমত ব্য...`
+3. `দায়িত্ব পালন করেন যেখানে তিনি দ্বিতীয় স্থান অধিকার করে সমালোচনামূলক প্রতিক্রিয়া রিভিউ অ্যাগ্রিগেট...`
 
 **Context Size 4:**
 
-1. `শ ্ র ে ণ ী : ১৮০৬ - এ জন ্ ম ব ি ষয ় শ ্`
-2. `ব ি ষয ় শ ্ র ে ণ ী : ভ া রত ী য ় ধ া`
-3. `্ র ে ণ ী : ভ া রত ী য ় স ্ থ ১৯৬৬ - স ৌ`
+1. `তথ্যসূত্র বহিঃসংযোগ জন্ম ব্যক্তি কোরীয় চলচ্চিত্র অভিনেত্রী কোরীয় নারী আইডল কোরীয় নারী মডেল কোরীয়...`
+2. `সংসদ সদস্য সংসদ সদস্য সংসদ সদস্য সংসদ সদস্য সংসদ সদস্য সংসদ সদস্য সংসদ সদস্য সংসদ সদস্য সংসদ সদস্য স...`
+3. `হিসেবে দায়িত্ব পালন করেন জাতীয় সংসদের স্পিকার উপরাষ্ট্রপতি নিয়োগের বিধান না থাকায় রাষ্ট্রপতির অব...`
+
+
+### Generated Text Samples (Subword-based)
+
+Below are text samples generated from each subword-based Markov chain model:
+
+**Context Size 1:**
+
+1. `_প্রান্তে_সারকারীতামসদর_শের`
+2. `র_আবহ_নের_থাকে_জেদেরজা`
+3. `ন_সাইকে_স_পরিলাক্সিকাশ্মীর_`
+
+**Context Size 2:**
+
+1. `র_ভূপৃষ্ঠতলের_জনসংখ্যান_একা`
+2. `_এবং_ডুবে_ঝুঁকিপূর্ণ_ছিলেন,_`
+3. `ন_নাট্যধর্মীয়_লেজে_দৃশ্য_চলচ্চি`
+
+**Context Size 3:**
+
+1. `_করেন_এবং_সর্বোচ্চ_কানাডাব্যাপী_`
+2. `এবং_এর_মাত্র_এবং_"প্রক্সিমালি"`
+3. `_এবং_ওল্ফের_একটি_হল_৬৪-`
+
+**Context Size 4:**
+
+1. `_এবং_তাদের_তালিকা_১৬৩_±_০`
+2. `_একটি_বিরোধ_দেখেন।_সাম্রাজ্যের_`
+3. `একটি_কাজ_শুরু,_সালেই_প্রায়_৭`
 
 
 ### Key Findings
 
-- **Best Predictability:** Context-4 with 76.7% predictability
+- **Best Predictability:** Context-4 (word) with 95.9% predictability
 - **Branching Factor:** Decreases with context size (more deterministic)
-- **Memory Trade-off:** Larger contexts require more storage (3,549,554 contexts)
+- **Memory Trade-off:** Larger contexts require more storage (11,819,297 contexts)
 - **Recommendation:** Context-3 or Context-4 for text generation
 
 ---
@@ -267,64 +346,64 @@ Below are text samples generated from each Markov chain model:
 
 | Metric | Value |
 |--------|-------|
-| Vocabulary Size | 250,463 |
-| Total Tokens | 201,406,640 |
-| Mean Frequency | 804.14 |
+| Vocabulary Size | 838,913 |
+| Total Tokens | 71,898,290 |
+| Mean Frequency | 85.70 |
 | Median Frequency | 4 |
-| Frequency Std Dev | 71598.48 |
+| Frequency Std Dev | 2805.67 |
 
 ### Most Common Words
 
 | Rank | Word | Frequency |
 |------|------|-----------|
-| 1 | র | 21,510,159 |
-| 2 | ন | 11,295,997 |
-| 3 | য | 10,867,520 |
-| 4 | ত | 9,714,992 |
-| 5 | ব | 9,151,878 |
-| 6 | ক | 8,792,666 |
-| 7 | স | 7,892,623 |
-| 8 | ল | 7,373,804 |
-| 9 | প | 5,927,003 |
-| 10 | ম | 5,815,632 |
+| 1 | এবং | 1,267,871 |
+| 2 | ও | 702,980 |
+| 3 | হয় | 618,329 |
+| 4 | করে | 616,816 |
+| 5 | একটি | 586,525 |
+| 6 | তিনি | 495,350 |
+| 7 | করা | 454,721 |
+| 8 | থেকে | 424,445 |
+| 9 | এই | 402,971 |
+| 10 | তার | 388,104 |
 
 ### Least Common Words (from vocabulary)
 
 | Rank | Word | Frequency |
 |------|------|-----------|
-| 1 | kovidara | 2 |
-| 2 | ৩৩w | 2 |
-| 3 | vuer | 2 |
-| 4 | ২০১৯২১ | 2 |
-| 5 | dilg | 2 |
-| 6 | দ১70px | 2 |
-| 7 | ciacrimes | 2 |
-| 8 | এএমএইচএস | 2 |
-| 9 | yohanna | 2 |
-| 10 | katanacho | 2 |
+| 1 | সণ্ডিলা | 2 |
+| 2 | শূকরক্ষেত | 2 |
+| 3 | প্লীপেন | 2 |
+| 4 | মস্‌ম্যান | 2 |
+| 5 | শোরোশ | 2 |
+| 6 | yohanna | 2 |
+| 7 | katanacho | 2 |
+| 8 | শোরোশের | 2 |
+| 9 | ট্রাঞ্চবলের | 2 |
+| 10 | হুলশফ | 2 |
 
 ### Zipf's Law Analysis
 
 | Metric | Value |
 |--------|-------|
-| Zipf Coefficient | 1.5776 |
-| R² (Goodness of Fit) | 0.996866 |
+| Zipf Coefficient | 1.0269 |
+| R² (Goodness of Fit) | 0.987733 |
 | Adherence Quality | **excellent** |
 
 ### Coverage Analysis
 
 | Top N Words | Coverage |
 |-------------|----------|
-| Top 100 | 81.9% |
-| Top 1,000 | 95.2% |
-| Top 5,000 | 98.2% |
-| Top 10,000 | 98.8% |
+| Top 100 | 23.9% |
+| Top 1,000 | 50.1% |
+| Top 5,000 | 71.3% |
+| Top 10,000 | 78.8% |
 
 ### Key Findings
 
-- **Zipf Compliance:** R²=0.9969 indicates excellent adherence to Zipf's law
-- **High Frequency Dominance:** Top 100 words cover 81.9% of corpus
-- **Long Tail:** 240,463 words needed for remaining 1.2% coverage
+- **Zipf Compliance:** R²=0.9877 indicates excellent adherence to Zipf's law
+- **High Frequency Dominance:** Top 100 words cover 23.9% of corpus
+- **Long Tail:** 828,913 words needed for remaining 21.2% coverage
 
 ---
 ## 5. Word Embeddings Evaluation
@@ -337,24 +416,115 @@ Below are text samples generated from each Markov chain model:
 
 ![t-SNE Sentences](visualizations/tsne_sentences.png)
 
-### Model Comparison
 
-| Model | Vocab Size | Dimension | Avg Norm | Std Norm | Isotropy |
-|-------|------------|-----------|----------|----------|----------|
-| **mono_32d** | 502,529 | 32 | 3.036 | 0.774 | 0.8133 🏆 |
-| **mono_64d** | 502,529 | 64 | 3.445 | 0.763 | 0.7938 |
-| **mono_128d** | 502,529 | 128 | 3.881 | 0.802 | 0.7502 |
-| **embeddings_enhanced** | 0 | 0 | 0.000 | 0.000 | 0.0000 |
+### 5.1 Cross-Lingual Alignment
+
+![Alignment Quality](visualizations/embedding_alignment_quality.png)
+
+![Multilingual t-SNE](visualizations/embedding_tsne_multilingual.png)
+
+
+### 5.2 Model Comparison
+
+| Model | Dimension | Isotropy | Semantic Density | Alignment R@1 | Alignment R@10 |
+|-------|-----------|----------|------------------|---------------|----------------|
+| **mono_32d** | 32 | 0.8095 🏆 | 0.3709 | N/A | N/A |
+| **mono_64d** | 64 | 0.8011 | 0.2937 | N/A | N/A |
+| **mono_128d** | 128 | 0.7560 | 0.2281 | N/A | N/A |
+| **aligned_32d** | 32 | 0.8095 | 0.3802 | 0.0980 | 0.4600 |
+| **aligned_64d** | 64 | 0.8011 | 0.2992 | 0.2280 | 0.6000 |
+| **aligned_128d** | 128 | 0.7560 | 0.2319 | 0.3880 | 0.7640 |
 
 ### Key Findings
 
-- **Best Isotropy:** mono_32d with 0.8133 (more uniform distribution)
-- **Dimension Trade-off:** Higher dimensions capture more semantics but reduce isotropy
-- **Vocabulary Coverage:** All models cover 502,529 words
-- **Recommendation:** 100d for balanced semantic capture and efficiency
+- **Best Isotropy:** mono_32d with 0.8095 (more uniform distribution)
+- **Semantic Density:** Average pairwise similarity of 0.3007. Lower values indicate better semantic separation.
+- **Alignment Quality:** Aligned models achieve up to 38.8% R@1 in cross-lingual retrieval.
+- **Recommendation:** 128d aligned for best cross-lingual performance
 
 ---
-## 6. Summary & Recommendations
+## 6.  Morphological Analysis (Experimental)
+
+This section presents an automated morphological analysis derived from the statistical divergence between word-level and subword-level models. By analyzing where subword predictability spikes and where word-level coverage fails, we can infer linguistic structures without supervised data.
+
+### 6.1 Productivity & Complexity
+
+| Metric | Value | Interpretation | Recommendation |
+|--------|-------|----------------|----------------|
+| Productivity Index | **5.000** | High morphological productivity | Reliable analysis |
+| Idiomaticity Gap | **-0.452** | Low formulaic content | - |
+
+### 6.2 Affix Inventory (Productive Units)
+
+These are the most productive prefixes and suffixes identified by sampling the vocabulary for global substitutability patterns. A unit is considered an affix if stripping it leaves a valid stem that appears in other contexts.
+
+#### Productive Prefixes
+| Prefix | Examples |
+|--------|----------|
+
+#### Productive Suffixes
+| Suffix | Examples |
+|--------|----------|
+| `-র` | মোহানপুর, গুরবানীর, শান্তির |
+| `-ের` | সেরাদের, সাইট্রেটের, লিওঁনের |
+| `-ার` | ভোজভোদিনার, স্পেকটার, মনোরোগবিদ্যার |
+| `-কে` | দুঃস্বপ্নকে, ক্লাইনকে, হাংচৌকে |
+
+### 6.3 Bound Stems (Lexical Roots)
+
+Bound stems are high-frequency subword units that are semantically cohesive but rarely appear as standalone words. These often correspond to the 'core' of a word that requires inflection or derivation to be valid.
+
+| Stem | Cohesion | Substitutability | Examples |
+|------|----------|------------------|----------|
+| `ress` | 3.30x | 93 contexts | press, dress, cress |
+| `nter` | 3.28x | 88 contexts | enter, unter, anter |
+| `atio` | 3.33x | 77 contexts | ratio, ation, natio |
+| `ctio` | 3.38x | 50 contexts | action, lectio, suction |
+| `stor` | 2.96x | 87 contexts | astor, stora, stori |
+| `mber` | 3.07x | 60 contexts | umber, ember, amber |
+| `ence` | 3.40x | 37 contexts | pence, fence, bence |
+| `ersi` | 3.11x | 43 contexts | ersin, persia, persie |
+| `nati` | 3.22x | 34 contexts | natio, nativa, nation |
+| `ical` | 3.23x | 33 contexts | epical, apical, micali |
+| `ieve` | 3.35x | 25 contexts | sieve, lieve, pieve |
+| `embe` | 3.34x | 20 contexts | ember, rember, embers |
+
+### 6.4 Affix Compatibility (Co-occurrence)
+
+This table shows which prefixes and suffixes most frequently co-occur on the same stems, revealing the 'stacking' rules of the language's morphology.
+
+*No significant affix co-occurrences detected.*
+
+
+### 6.5 Recursive Morpheme Segmentation
+
+Using **Recursive Hierarchical Substitutability**, we decompose complex words into their constituent morphemes. This approach handles nested affixes (e.g., `prefix-prefix-root-suffix`).
+
+| Word | Suggested Split | Confidence | Stem |
+|------|-----------------|------------|------|
+| স্যাপারের | **`স্যাপ-ার-ের`** | 6.0 | `স্যাপ` |
+| ক্রুসেডারের | **`ক্রুসেড-ার-ের`** | 6.0 | `ক্রুসেড` |
+| পরিষদসমূহের | **`পরিষদসমূহ-ের`** | 4.5 | `পরিষদসমূহ` |
+| তন্তুগুলিকে | **`তন্তুগুলি-কে`** | 4.5 | `তন্তুগুলি` |
+| ইতালিয়াসের | **`ইতালিয়াস-ের`** | 4.5 | `ইতালিয়াস` |
+| দ্বিতীয়কে | **`দ্বিতীয়-কে`** | 4.5 | `দ্বিতীয়` |
+| অ্যাসপার্টের | **`অ্যাসপার্ট-ের`** | 4.5 | `অ্যাসপার্ট` |
+| পেটারসেনের | **`পেটারসেন-ের`** | 4.5 | `পেটারসেন` |
+| হার্জেগোভিনাকে | **`হার্জেগোভিনা-কে`** | 4.5 | `হার্জেগোভিনা` |
+| অ্যাক্টিনের | **`অ্যাক্টিন-ের`** | 4.5 | `অ্যাক্টিন` |
+| মাইগ্রেশনের | **`মাইগ্রেশন-ের`** | 4.5 | `মাইগ্রেশন` |
+| এরদোয়ানকে | **`এরদোয়ান-কে`** | 4.5 | `এরদোয়ান` |
+| ক্রীড়াঙ্গণের | **`ক্রীড়াঙ্গণ-ের`** | 4.5 | `ক্রীড়াঙ্গণ` |
+| অ্যাপোপটোসিসের | **`অ্যাপোপটোসিস-ের`** | 4.5 | `অ্যাপোপটোসিস` |
+| জার্নালকে | **`জার্নাল-কে`** | 4.5 | `জার্নাল` |
+
+### 6.6 Linguistic Interpretation
+
+> **Automated Insight:**
+The language Bangla shows high morphological productivity. The subword models are significantly more efficient than word models, suggesting a rich system of affixation or compounding.
+
+---
+## 7. Summary & Recommendations
 
 ![Performance Dashboard](visualizations/performance_dashboard.png)
 
@@ -362,11 +532,12 @@ Below are text samples generated from each Markov chain model:
 
 | Component | Recommended | Rationale |
 |-----------|-------------|-----------|
-| Tokenizer | **32k BPE** | Best compression (4.98x) with low UNK rate |
-| N-gram | **5-gram** | Lowest perplexity (617) |
-| Markov | **Context-4** | Highest predictability (76.7%) |
+| Tokenizer | **64k BPE** | Best compression (5.04x) |
+| N-gram | **2-gram** | Lowest perplexity (2,633) |
+| Markov | **Context-4** | Highest predictability (95.9%) |
 | Embeddings | **100d** | Balanced semantic capture and isotropy |
 
+
 ---
 ## Appendix: Metrics Glossary & Interpretation Guide
 
@@ -556,7 +727,8 @@ If you use these models in your research, please cite:
   author = {Kamali, Omar},
   title = {Wikilangs: Open NLP Models for Wikipedia Languages},
   year = {2025},
-  publisher = {HuggingFace},
+  doi = {10.5281/zenodo.18073153},
+  publisher = {Zenodo},
   url = {https://huggingface.co/wikilangs}
   institution = {Omneity Labs}
 }
@@ -572,7 +744,8 @@ MIT License - Free for academic and commercial use.
 - 🤗 Models: [huggingface.co/wikilangs](https://huggingface.co/wikilangs)
 - 📊 Data: [wikipedia-monthly](https://huggingface.co/datasets/omarkamali/wikipedia-monthly)
 - 👤 Author: [Omar Kamali](https://huggingface.co/omarkamali)
+- 🤝 Sponsor: [Featherless AI](https://featherless.ai)
 ---
 *Generated by Wikilangs Models Pipeline*
 
-*Report Date: 2025-12-28 07:23:06*
+*Report Date: 2026-01-07 08:35:42*

models/embeddings/aligned/bn_128d.bin

@@ -0,0 +1,3 @@
+version https://git-lfs.github.com/spec/v1
+oid sha256:68c66e714e796460e582954847cb35abb587c0db7712e7425e5b035727bf8a71
+size 1522489051

models/embeddings/aligned/bn_128d.meta.json

@@ -0,0 +1 @@
+{"lang": "bn", "dim": 128, "max_seq_len": 512, "is_aligned": true}

models/embeddings/aligned/bn_128d.projection.npy

@@ -0,0 +1,3 @@
+version https://git-lfs.github.com/spec/v1
+oid sha256:c8e4d1c2fa3f959df7f016741c06c87ad9f287fe383323bc1e2889047af1a37b
+size 65664

models/embeddings/aligned/bn_128d_metadata.json

@@ -0,0 +1,8 @@
+{
+  "language": "bn",
+  "dimension": 128,
+  "version": "aligned",
+  "hub_language": "en",
+  "seed_vocab_size": 68079,
+  "vocab_size": 472687
+}

models/embeddings/aligned/bn_32d.bin

@@ -0,0 +1,3 @@
+version https://git-lfs.github.com/spec/v1
+oid sha256:c0539f5f093dd8322c982c9af1d262ccff60369a3317c1f6aa4bff095a116759
+size 391465435

models/embeddings/aligned/bn_32d.meta.json

@@ -0,0 +1 @@
+{"lang": "bn", "dim": 32, "max_seq_len": 512, "is_aligned": true}

models/embeddings/aligned/bn_32d.projection.npy

@@ -0,0 +1,3 @@
+version https://git-lfs.github.com/spec/v1
+oid sha256:9a40a9776f59f0cdfe0b5e0c350ac03106d0e80a652cc8779bd9ec60c0ed7d98
+size 4224

models/embeddings/aligned/bn_32d_metadata.json

@@ -0,0 +1,8 @@
+{
+  "language": "bn",
+  "dimension": 32,
+  "version": "aligned",
+  "hub_language": "en",
+  "seed_vocab_size": 68079,
+  "vocab_size": 472687
+}

models/embeddings/aligned/bn_64d.bin

@@ -0,0 +1,3 @@
+version https://git-lfs.github.com/spec/v1
+oid sha256:8a5240606f2e4e32f6b075e98ca2452149f390164f74fb35686ef8a9087536b0
+size 768473307

models/embeddings/aligned/bn_64d.meta.json

@@ -0,0 +1 @@
+{"lang": "bn", "dim": 64, "max_seq_len": 512, "is_aligned": true}

models/embeddings/aligned/bn_64d.projection.npy

@@ -0,0 +1,3 @@
+version https://git-lfs.github.com/spec/v1
+oid sha256:c9cca8d773a7278be093c697acf22fd4397e79fae7cf2ceb7c92dbb098080cb0
+size 16512

models/embeddings/aligned/bn_64d_metadata.json

@@ -0,0 +1,8 @@
+{
+  "language": "bn",
+  "dimension": 64,
+  "version": "aligned",
+  "hub_language": "en",
+  "seed_vocab_size": 68079,
+  "vocab_size": 472687
+}

models/embeddings/monolingual/bn_128d.bin

@@ -1,3 +1,3 @@
 version https://git-lfs.github.com/spec/v1
-oid sha256:26e2e2343255830a534f320fde4263aaa50541a543b5fbc99b4a836d1708f6ed
-size 1554303761
+oid sha256:68c66e714e796460e582954847cb35abb587c0db7712e7425e5b035727bf8a71
+size 1522489051

models/embeddings/monolingual/bn_128d_metadata.json

@@ -3,11 +3,13 @@
   "dimension": 128,
   "version": "monolingual",
   "training_params": {
-    "dim": 128,
+    "algorithm": "skipgram",
     "min_count": 5,
     "window": 5,
     "negative": 5,
-    "epochs": 5
+    "epochs": 5,
+    "encoding_method": "rope",
+    "dim": 128
   },
-  "vocab_size": 502529
+  "vocab_size": 472687
 }

models/embeddings/monolingual/bn_32d.bin

@@ -1,3 +1,3 @@
 version https://git-lfs.github.com/spec/v1
-oid sha256:911654690f1911e79d553aca3a334439dafa8c950bae483cf0c07d3ea4e1772b
-size 400361489
+oid sha256:c0539f5f093dd8322c982c9af1d262ccff60369a3317c1f6aa4bff095a116759
+size 391465435

models/embeddings/monolingual/bn_32d_metadata.json

@@ -3,11 +3,13 @@
   "dimension": 32,
   "version": "monolingual",
   "training_params": {
-    "dim": 32,
+    "algorithm": "skipgram",
     "min_count": 5,
     "window": 5,
     "negative": 5,
-    "epochs": 5
+    "epochs": 5,
+    "encoding_method": "rope",
+    "dim": 32
   },
-  "vocab_size": 502529
+  "vocab_size": 472687
 }

models/embeddings/monolingual/bn_64d.bin

@@ -1,3 +1,3 @@
 version https://git-lfs.github.com/spec/v1
-oid sha256:94bb8ad1b61a560bfdb17d79f222765c5f109aca6fedef51a4f335af7d665217
-size 785008913
+oid sha256:8a5240606f2e4e32f6b075e98ca2452149f390164f74fb35686ef8a9087536b0
+size 768473307

models/embeddings/monolingual/bn_64d_metadata.json

@@ -3,11 +3,13 @@
   "dimension": 64,
   "version": "monolingual",
   "training_params": {
-    "dim": 64,
+    "algorithm": "skipgram",
     "min_count": 5,
     "window": 5,
     "negative": 5,
-    "epochs": 5
+    "epochs": 5,
+    "encoding_method": "rope",
+    "dim": 64
   },
-  "vocab_size": 502529
+  "vocab_size": 472687
 }

models/subword_markov/bn_markov_ctx1_subword.parquet

@@ -1,3 +1,3 @@
 version https://git-lfs.github.com/spec/v1
-oid sha256:13a0b6a9ac2105c1af4f886f06a71d9db23ecb5a32652e818e7c2ddf640bc671
-size 772286
+oid sha256:bee913e9687b7aed1884b6f654b28eafdcfe7591f8ac85e3e1f9cab7fb669f30
+size 2979826

models/subword_markov/bn_markov_ctx1_subword_metadata.json

@@ -2,6 +2,6 @@
   "context_size": 1,
   "variant": "subword",
   "language": "bn",
-  "unique_contexts": 11996,
-  "total_transitions": 553695182
+  "unique_contexts": 30042,
+  "total_transitions": 322811994
 }

models/subword_markov/bn_markov_ctx2_subword.parquet

@@ -1,3 +1,3 @@
 version https://git-lfs.github.com/spec/v1
-oid sha256:e1c81da270a2a82d5b8c625aa355045c0a0670e6228e198544f60acda4472ec5
-size 5606771
+oid sha256:52ddbc3da358a1d2de9569e04c85887a7f5c0b6349661ae791f5fbe08b4fb9bc
+size 21164179

models/subword_markov/bn_markov_ctx2_subword_metadata.json

@@ -2,6 +2,6 @@
   "context_size": 2,
   "variant": "subword",
   "language": "bn",
-  "unique_contexts": 117615,
-  "total_transitions": 553516718
+  "unique_contexts": 436358,
+  "total_transitions": 322633866
 }

models/subword_markov/bn_markov_ctx3_subword.parquet

@@ -1,3 +1,3 @@
 version https://git-lfs.github.com/spec/v1
-oid sha256:a4b88518401525add742d578b9efa13a5511741c545ce0dcc6ceeb6acb7704ab
-size 26159855
+oid sha256:55410138c445ba7227950ea53bd23fc17de183b6debb4d55f57ff5feb99dc2cc
+size 99596508

models/subword_markov/bn_markov_ctx3_subword_metadata.json

@@ -2,6 +2,6 @@
   "context_size": 3,
   "variant": "subword",
   "language": "bn",
-  "unique_contexts": 727384,
-  "total_transitions": 553338254
+  "unique_contexts": 2877364,
+  "total_transitions": 322455738
 }

models/subword_markov/bn_markov_ctx4_subword.parquet

@@ -1,3 +1,3 @@
 version https://git-lfs.github.com/spec/v1
-oid sha256:4c54eb916a5048ffb603a48ea1d6d64f6bfe3b00818a8d1bffa427255daa9c99
-size 100901318
+oid sha256:7cc7e1d9e58c4380879adab5ceb35224de567178fe2ff64f9c504c42de2d8b99
+size 342488328

models/subword_markov/bn_markov_ctx4_subword_metadata.json

@@ -2,6 +2,6 @@
   "context_size": 4,
   "variant": "subword",
   "language": "bn",
-  "unique_contexts": 3549554,
-  "total_transitions": 553159790
+  "unique_contexts": 11819297,
+  "total_transitions": 322277610
 }

models/subword_ngram/bn_2gram_subword.parquet

@@ -1,3 +1,3 @@
 version https://git-lfs.github.com/spec/v1
-oid sha256:87c44bccc6719de458cb056280276826654f9ecfa18d99048424106a8f1b8f40
-size 469388
+oid sha256:fbf8fc71e8d1e830d2fddd16bb11b242c968e902d23bc55680c772166962f303
+size 2349611

models/subword_ngram/bn_2gram_subword_metadata.json

@@ -2,6 +2,6 @@
   "n": 2,
   "variant": "subword",
   "language": "bn",
-  "unique_ngrams": 33180,
-  "total_ngrams": 553695182
+  "unique_ngrams": 151712,
+  "total_ngrams": 322811994
 }

models/subword_ngram/bn_3gram_subword.parquet

@@ -1,3 +1,3 @@
 version https://git-lfs.github.com/spec/v1
-oid sha256:78fb7840741ea86971d4925542c9e6ce6e6c79ac8ce399abba98433705fb070b
-size 4114566
+oid sha256:dfcc6ae0e58e0f09d55e8cc261f9c636ca0f30341a8ee4d84f42eda6049d2b39
+size 18658634

models/subword_ngram/bn_3gram_subword_metadata.json

@@ -2,6 +2,6 @@
   "n": 3,
   "variant": "subword",
   "language": "bn",
-  "unique_ngrams": 328172,
-  "total_ngrams": 553516718
+  "unique_ngrams": 1149281,
+  "total_ngrams": 322633866
 }

models/subword_ngram/bn_4gram_subword.parquet

@@ -1,3 +1,3 @@
 version https://git-lfs.github.com/spec/v1
-oid sha256:46b2845e143d5e9021ee5b87cb38819dcdfb00f50601547315a5117b4da42688
-size 25302225
+oid sha256:ab89edc239619a5c3da3703b8a892f8dc9d9443cb8f0b83b26ef15b3719a24f3
+size 95979511

models/subword_ngram/bn_4gram_subword_metadata.json

@@ -2,6 +2,6 @@
   "n": 4,
   "variant": "subword",
   "language": "bn",
-  "unique_ngrams": 1934479,
-  "total_ngrams": 553338254
+  "unique_ngrams": 5668680,
+  "total_ngrams": 322455738
 }

models/subword_ngram/bn_5gram_subword.parquet

@@ -0,0 +1,3 @@
+version https://git-lfs.github.com/spec/v1
+oid sha256:2fe48b6d0b51077cbfd219963c3bfd1ac3d955c94ec27e6c5a4d83301d473044
+size 231529766

models/subword_ngram/bn_5gram_subword_metadata.json

@@ -0,0 +1,7 @@
+{
+  "n": 5,
+  "variant": "subword",
+  "language": "bn",
+  "unique_ngrams": 12813291,
+  "total_ngrams": 322277610
+}

models/tokenizer/bn_tokenizer_16k.model

@@ -1,3 +1,3 @@
 version https://git-lfs.github.com/spec/v1
-oid sha256:68e1ac6a6a41154f9552ef7791eb5aaad0d47e5f8c5657a570b191e0f483c20a
-size 641106
+oid sha256:3c72f276c4670959b69a6b71906a8ebfea694c3627b7dc13630d54b2bd8b0c9e
+size 643727

models/tokenizer/bn_tokenizer_32k.model

@@ -1,3 +1,3 @@
 version https://git-lfs.github.com/spec/v1
-oid sha256:39be559e8432dcd4b0837f4c1116b1daaaeb8f85ead3a786b09b36cd27681a88
-size 1074049
+oid sha256:3bc92ae339db46a16c14382611a1c0b63b4dae6b9831140d3a80723bc6519fc2
+size 1074282

models/tokenizer/bn_tokenizer_64k.model

@@ -1,3 +1,3 @@
 version https://git-lfs.github.com/spec/v1
-oid sha256:4d1cb3f78cd4392dd3e19ff9cde695d104459cebc3f75d35d45933142a9489e9
-size 1967297
+oid sha256:8e4dc9fa0b527e7c29a1b9cce533d08c97606addc1e2e5246e7684f5010cdfd5
+size 1958130

models/tokenizer/bn_tokenizer_8k.model

@@ -1,3 +1,3 @@
 version https://git-lfs.github.com/spec/v1
-oid sha256:fe2dd93cbc1830854f019c57ff5e0efd8b11fcda823d0bb65cfbbef3ad4eca53
-size 433093
+oid sha256:875e1c45c6faaaba63c82f02e50788d2a18b799f9821901f0d97a1ab73e6643d
+size 436160

models/vocabulary/bn_vocabulary.parquet

@@ -1,3 +1,3 @@
 version https://git-lfs.github.com/spec/v1
-oid sha256:8da3f061defc453cbf1bb0c1e36b511077f05f0d399b060245d1a6a437f8c4a1
-size 3901209
+oid sha256:113c1e6f021ed34e9d055dc2e3a5f3c6c32149d04fa6150c0d28b08de6ccddba
+size 14747596

models/vocabulary/bn_vocabulary_metadata.json

@@ -1,16 +1,17 @@
 {
   "language": "bn",
-  "vocabulary_size": 250463,
+  "vocabulary_size": 838913,
+  "variant": "full",
   "statistics": {
-    "type_token_ratio": 0.0036646333232905415,
+    "type_token_ratio": 0.028463334355100994,
     "coverage": {
-      "top_100": 0.8173536449340773,
-      "top_1000": 0.9499165937132837,
-      "top_5000": 0.9795696203113472,
-      "top_10000": 0.9855947158392181
+      "top_100": 0.23472311509159952,
+      "top_1000": 0.49273622999452293,
+      "top_5000": 0.7004163862730208,
+      "top_10000": 0.7745431098907019
     },
-    "hapax_count": 489412,
-    "hapax_ratio": 0.6614793039364758,
-    "total_documents": 178464
+    "hapax_count": 1242930,
+    "hapax_ratio": 0.5970334938801821,
+    "total_documents": 178128
   }
 }

models/word_markov/bn_markov_ctx1_word.parquet

@@ -1,3 +1,3 @@
 version https://git-lfs.github.com/spec/v1
-oid sha256:3e4832f62be8b99ea4eeb5d4269e7bbe06d6de2b4621946fad64f9ec22957eea
-size 38908723
+oid sha256:79fe1bda80924de3abc69e1f62f8a82bf9082d23bf8c9fd44590c2059e2897c2
+size 288772075

models/word_markov/bn_markov_ctx1_word_metadata.json

@@ -2,6 +2,6 @@
   "context_size": 1,
   "variant": "word",
   "language": "bn",
-  "unique_contexts": 741598,
-  "total_transitions": 376897683
+  "unique_contexts": 2081488,
+  "total_transitions": 72963092
 }

models/word_markov/bn_markov_ctx2_word.parquet

@@ -1,3 +1,3 @@
 version https://git-lfs.github.com/spec/v1
-oid sha256:a4ba7c5295c6739716c57443fe46ae2ac3abef527a4acbe3169b854b8d2cda2f
-size 117081865
+oid sha256:20ccc0069fa50aec10ee75ed6ea5351816fba18aef3fb75c4cd6abc5374e784a
+size 1037331421

models/word_markov/bn_markov_ctx2_word_metadata.json

@@ -2,6 +2,6 @@
   "context_size": 2,
   "variant": "word",
   "language": "bn",
-  "unique_contexts": 4117166,
-  "total_transitions": 376719219
+  "unique_contexts": 23273031,
+  "total_transitions": 72784964
 }