Upload all models and assets for ba (latest)

.gitattributes

@@ -39,3 +39,4 @@ visualizations/position_encoding_comparison.png filter=lfs diff=lfs merge=lfs -t
 visualizations/tsne_sentences.png filter=lfs diff=lfs merge=lfs -text
 visualizations/tsne_words.png filter=lfs diff=lfs merge=lfs -text
 visualizations/zipf_law.png filter=lfs diff=lfs merge=lfs -text
+visualizations/embedding_tsne_multilingual.png filter=lfs diff=lfs merge=lfs -text

README.md

@@ -1,6 +1,6 @@
 ---
 language: ba
-language_name: BA
+language_name: Bashkir
 language_family: turkic_kipchak
 tags:
   - wikilangs
@@ -10,11 +10,21 @@ tags:
   - n-gram
   - markov
   - wikipedia
+  - feature-extraction
+  - sentence-similarity
+  - tokenization
+  - n-grams
+  - markov-chain
+  - text-mining
+  - fasttext
+  - babelvec
+  - vocabulous
+  - vocabulary
   - monolingual
   - family-turkic_kipchak
 license: mit
 library_name: wikilangs
-pipeline_tag: feature-extraction
+pipeline_tag: text-generation
 datasets:
   - omarkamali/wikipedia-monthly
 dataset_info:
@@ -23,20 +33,20 @@ dataset_info:
 metrics:
   - name: best_compression_ratio
     type: compression
-    value: 4.673
+    value: 4.674
   - name: best_isotropy
     type: isotropy
-    value: 0.7751
+    value: 0.7711
   - name: vocabulary_size
     type: vocab
     value: 0
 generated: 2026-01-03
 ---
 
-# BA - Wikilangs Models
+# Bashkir - Wikilangs Models
 ## Comprehensive Research Report & Full Ablation Study
 
-This repository contains NLP models trained and evaluated by Wikilangs, specifically on **BA** Wikipedia data.
+This repository contains NLP models trained and evaluated by Wikilangs, specifically on **Bashkir** Wikipedia data.
 We analyze tokenizers, n-gram models, Markov chains, vocabulary statistics, and word embeddings.
 
 ## 📋 Repository Contents
@@ -60,7 +70,7 @@ We analyze tokenizers, n-gram models, Markov chains, vocabulary statistics, and
 - [3. Markov Chain Evaluation](#3-markov-chain-evaluation)
 - [4. Vocabulary Analysis](#4-vocabulary-analysis)
 - [5. Word Embeddings Evaluation](#5-word-embeddings-evaluation)
-- [6. Morphological Analysis (Experimental)](#6-morphological-analysis)
+- [6. Morphological Analysis (Experimental)](#6--morphological-analysis-experimental)
 - [7. Summary & Recommendations](#7-summary--recommendations)
 - [Metrics Glossary](#appendix-metrics-glossary--interpretation-guide)
 - [Visualizations Index](#visualizations-index)
@@ -80,47 +90,47 @@ We analyze tokenizers, n-gram models, Markov chains, vocabulary statistics, and
 
 | Vocab Size | Compression | Avg Token Len | UNK Rate | Total Tokens |
 |------------|-------------|---------------|----------|--------------|
-| **8k** | 3.556x | 3.56 | 0.3956% | 1,547,491 |
-| **16k** | 3.995x | 4.00 | 0.4444% | 1,377,561 |
-| **32k** | 4.373x | 4.37 | 0.4864% | 1,258,583 |
-| **64k** | 4.673x 🏆 | 4.68 | 0.5198% | 1,177,657 |
+| **8k** | 3.561x | 3.56 | 0.3982% | 1,530,967 |
+| **16k** | 3.999x | 4.00 | 0.4471% | 1,363,432 |
+| **32k** | 4.374x | 4.38 | 0.4891% | 1,246,440 |
+| **64k** | 4.674x 🏆 | 4.68 | 0.5226% | 1,166,431 |
 
 ### Tokenization Examples
 
 Below are sample sentences tokenized with each vocabulary size:
 
-**Sample 1:** `йыл — шишәмбе көнөнән башланған йыл, кәбисә түгел. Ваҡиғалар Тыуғандар Вафат бул...`
+**Sample 1:** `Нортленд - (ҡитға исеме) лағы дәүләт. Иҫкәрмәләр Һылтанмалар`
 
 | Vocab | Tokens | Count |
 |-------|--------|-------|
-| 8k | `▁йыл ▁— ▁шиш әм бе ▁көнөнән ▁башланған ▁йыл , ▁кәбисә ... (+10 more)` | 20 |
-| 16k | `▁йыл ▁— ▁шиш әм бе ▁көнөнән ▁башланған ▁йыл , ▁кәбисә ... (+10 more)` | 20 |
-| 32k | `▁йыл ▁— ▁шишәмбе ▁көнөнән ▁башланған ▁йыл , ▁кәбисә ▁түгел . ... (+8 more)` | 18 |
-| 64k | `▁йыл ▁— ▁шишәмбе ▁көнөнән ▁башланған ▁йыл , ▁кәбисә ▁түгел . ... (+8 more)` | 18 |
+| 8k | `▁н орт лен д ▁- ▁( ҡит ға ▁исеме ) ... (+6 more)` | 16 |
+| 16k | `▁н орт ленд ▁- ▁( ҡит ға ▁исеме ) ▁лағы ... (+4 more)` | 14 |
+| 32k | `▁н орт ленд ▁- ▁( ҡитға ▁исеме ) ▁лағы ▁дәүләт ... (+3 more)` | 13 |
+| 64k | `▁норт ленд ▁- ▁( ҡитға ▁исеме ) ▁лағы ▁дәүләт . ... (+2 more)` | 12 |
 
-**Sample 2:** `Азимут: Азимут — геодезияла бирелгән йүнәлеш менән төньяҡҡа табан булған йүнәлеш...`
+**Sample 2:** `Австралия — Көньяҡ ярымшарҙарҙа урынлашҡан дәүләт. Австралия (ҡитға) — Көнсығыш ...`
 
 | Vocab | Tokens | Count |
 |-------|--------|-------|
-| 8k | `▁аз им ут : ▁аз им ут ▁— ▁ге од ... (+29 more)` | 39 |
-| 16k | `▁аз им ут : ▁аз им ут ▁— ▁геод ез ... (+27 more)` | 37 |
-| 32k | `▁аз им ут : ▁аз им ут ▁— ▁геодез ияла ... (+23 more)` | 33 |
-| 64k | `▁азим ут : ▁азим ут ▁— ▁геодез ияла ▁бирелгән ▁йүнәлеш ... (+19 more)` | 29 |
+| 8k | `▁австр алия ▁— ▁көньяҡ ▁ярым шар ҙарҙа ▁урынлашҡан ▁дәүләт . ... (+18 more)` | 28 |
+| 16k | `▁австралия ▁��� ▁көньяҡ ▁ярымшар ҙарҙа ▁урынлашҡан ▁дәүләт . ▁австралия ▁( ... (+13 more)` | 23 |
+| 32k | `▁австралия ▁— ▁көньяҡ ▁ярымшар ҙарҙа ▁урынлашҡан ▁дәүләт . ▁австралия ▁( ... (+11 more)` | 21 |
+| 64k | `▁австралия ▁— ▁көньяҡ ▁ярымшар ҙарҙа ▁урынлашҡан ▁дәүләт . ▁австралия ▁( ... (+11 more)` | 21 |
 
-**Sample 3:** `Апанай мәсете ( ) — Ҡазан мәсете , татар архитектура культы ҡомартҡыһы. Ҡаҙанда ...`
+**Sample 3:** `йыл — йәкшәмбе көнөнән башланған йыл, кәбисә түгел. Ваҡиғалар Тыуғандар Вафат бу...`
 
 | Vocab | Tokens | Count |
 |-------|--------|-------|
-| 8k | `▁ап ан ай ▁мәсете ▁( ▁) ▁— ▁ҡазан ▁мәсете ▁, ... (+18 more)` | 28 |
-| 16k | `▁ап ан ай ▁мәсете ▁( ▁) ▁— ▁ҡазан ▁мәсете ▁, ... (+16 more)` | 26 |
-| 32k | `▁ап ан ай ▁мәсете ▁( ▁) ▁— ▁ҡазан ▁мәсете ▁, ... (+15 more)` | 25 |
-| 64k | `▁ап ан ай ▁мәсете ▁( ▁) ▁— ▁ҡазан ▁мәсете ▁, ... (+14 more)` | 24 |
+| 8k | `▁йыл ▁— ▁й әк шәмбе ▁көнөнән ▁башланған ▁йыл , ▁кәбисә ... (+10 more)` | 20 |
+| 16k | `▁йыл ▁— ▁йәкшәмбе ▁көнөнән ▁башланған ▁йыл , ▁кәбисә ▁түгел . ... (+8 more)` | 18 |
+| 32k | `▁йыл ▁— ▁йәкшәмбе ▁көнөнән ▁башланған ▁йыл , ▁кәбисә ▁түгел . ... (+8 more)` | 18 |
+| 64k | `▁йыл ▁— ▁йәкшәмбе ▁көнөнән ▁башланған ▁йыл , ▁кәбисә ▁түгел . ... (+8 more)` | 18 |
 
 
 ### Key Findings
 
-- **Best Compression:** 64k achieves 4.673x compression
-- **Lowest UNK Rate:** 8k with 0.3956% unknown tokens
+- **Best Compression:** 64k achieves 4.674x compression
+- **Lowest UNK Rate:** 8k with 0.3982% unknown tokens
 - **Trade-off:** Larger vocabularies improve compression but increase model size
 - **Recommendation:** 32k vocabulary provides optimal balance for production use
 
@@ -137,12 +147,14 @@ Below are sample sentences tokenized with each vocabulary size:
 
 | N-gram | Variant | Perplexity | Entropy | Unique N-grams | Top-100 Coverage | Top-1000 Coverage |
 |--------|---------|------------|---------|----------------|------------------|-------------------|
-| **2-gram** | Word | 56,525 | 15.79 | 433,408 | 13.8% | 30.4% |
-| **2-gram** | Subword | 489 🏆 | 8.93 | 13,769 | 52.3% | 96.8% |
-| **3-gram** | Word | 53,989 | 15.72 | 563,973 | 18.1% | 34.8% |
-| **3-gram** | Subword | 4,226 | 12.04 | 117,773 | 18.9% | 58.5% |
-| **4-gram** | Word | 61,817 | 15.92 | 883,766 | 19.4% | 36.8% |
-| **4-gram** | Subword | 21,528 | 14.39 | 687,383 | 10.2% | 33.2% |
+| **2-gram** | Word | 56,272 | 15.78 | 432,191 | 13.8% | 30.4% |
+| **2-gram** | Subword | 488 🏆 | 8.93 | 13,737 | 52.3% | 96.8% |
+| **3-gram** | Word | 53,798 | 15.72 | 562,854 | 18.1% | 34.8% |
+| **3-gram** | Subword | 4,221 | 12.04 | 117,501 | 18.9% | 58.6% |
+| **4-gram** | Word | 61,592 | 15.91 | 881,988 | 19.4% | 36.9% |
+| **4-gram** | Subword | 21,484 | 14.39 | 685,600 | 10.3% | 33.2% |
+| **5-gram** | Word | 37,893 | 15.21 | 658,444 | 21.5% | 41.3% |
+| **5-gram** | Subword | 72,234 | 16.14 | 2,075,140 | 7.0% | 23.5% |
 
 ### Top 5 N-grams by Size
 
@@ -154,7 +166,7 @@ Below are sample sentences tokenized with each vocabulary size:
 | 2 | `һыу реестры` | 40,405 |
 | 3 | `дәүләт һыу` | 40,403 |
 | 4 | `йылға бассейны` | 40,327 |
-| 5 | `рәсәй федерацияһы` | 37,241 |
+| 5 | `рәсәй федерацияһы` | 37,239 |
 
 **3-grams (Word):**
 
@@ -163,55 +175,75 @@ Below are sample sentences tokenized with each vocabulary size:
 | 1 | `һыу реестры мәғлүмәттәре` | 20,323 |
 | 2 | `дәүләт һыу реестры` | 20,208 |
 | 3 | `рәсәй дәүләт һыу` | 20,202 |
-| 4 | `дәүләт һыу реестрында` | 20,168 |
-| 5 | `реестры мәғлүмәттәре рәсәй` | 20,167 |
+| 4 | `мәғлүмәттәре рәсәй дәүләт` | 20,170 |
+| 5 | `реестры мәғлүмәттәре рәсәй` | 20,170 |
 
 **4-grams (Word):**
 
 | Rank | N-gram | Count |
 |------|--------|-------|
 | 1 | `рәсәй дәүләт һыу реестры` | 20,195 |
-| 2 | `реестры мәғлүмәттәре рәсәй дәүләт` | 20,167 |
-| 3 | `мәғлүмәттәре рәсәй дәүләт һыу` | 20,167 |
-| 4 | `һыу реестры мәғлүмәттәре рәсәй` | 20,164 |
+| 2 | `реестры мәғлүмәттәре рәсәй дәүләт` | 20,170 |
+| 3 | `мәғлүмәттәре рәсәй дәүләт һыу` | 20,170 |
+| 4 | `һыу реестры мәғлүмәттәре рәсәй` | 20,167 |
 | 5 | `дәүләт һыу реестрында һыу` | 20,160 |
 
+**5-grams (Word):**
+
+| Rank | N-gram | Count |
+|------|--------|-------|
+| 1 | `реестры мәғлүмәттәре рәсәй дәүләт һыу` | 20,170 |
+| 2 | `һыу реестры мәғлүмәттәре рәсәй дәүләт` | 20,167 |
+| 3 | `мәғлүмәттәре рәсәй дәүләт һыу реестры` | 20,165 |
+| 4 | `һыу реестрында һыу объектының коды` | 20,156 |
+| 5 | `дәүләт һыу реестрында һыу объектының` | 20,156 |
+
 **2-grams (Subword):**
 
 | Rank | N-gram | Count |
 |------|--------|-------|
-| 1 | `а _` | 2,396,936 |
-| 2 | `а р` | 2,197,072 |
-| 3 | `ы _` | 2,104,654 |
-| 4 | `_ б` | 2,010,552 |
-| 5 | `а н` | 1,869,683 |
+| 1 | `а _` | 2,391,231 |
+| 2 | `а р` | 2,191,202 |
+| 3 | `ы _` | 2,097,776 |
+| 4 | `_ б` | 2,006,204 |
+| 5 | `а н` | 1,864,458 |
 
 **3-grams (Subword):**
 
 | Rank | N-gram | Count |
 |------|--------|-------|
-| 1 | `_ й ы` | 756,503 |
-| 2 | `й ы л` | 745,794 |
-| 3 | `н д а` | 679,041 |
-| 4 | `а н _` | 653,833 |
-| 5 | `ы ң _` | 648,174 |
+| 1 | `_ й ы` | 754,633 |
+| 2 | `й ы л` | 743,969 |
+| 3 | `н д а` | 676,936 |
+| 4 | `а н _` | 651,892 |
+| 5 | `ы ң _` | 646,394 |
 
 **4-grams (Subword):**
 
 | Rank | N-gram | Count |
 |------|--------|-------|
-| 1 | `_ й ы л` | 708,824 |
-| 2 | `ы н д а` | 469,174 |
-| 3 | `_ һ ә м` | 442,529 |
-| 4 | `һ ә м _` | 440,639 |
-| 5 | `н д а _` | 409,349 |
+| 1 | `_ й ы л` | 707,090 |
+| 2 | `ы н д а` | 467,625 |
+| 3 | `_ һ ә м` | 441,510 |
+| 4 | `һ ә м _` | 439,610 |
+| 5 | `н д а _` | 408,202 |
+
+**5-grams (Subword):**
+
+| Rank | N-gram | Count |
+|------|--------|-------|
+| 1 | `_ һ ә м _` | 438,718 |
+| 2 | `ы н д а _` | 353,882 |
+| 3 | `_ й ы л д` | 323,522 |
+| 4 | `й ы л ғ а` | 269,201 |
+| 5 | `_ й ы л ғ` | 262,857 |
 
 
 ### Key Findings
 
-- **Best Perplexity:** 2-gram (subword) with 489
+- **Best Perplexity:** 2-gram (subword) with 488
 - **Entropy Trend:** Decreases with larger n-grams (more predictable)
-- **Coverage:** Top-1000 patterns cover ~33% of corpus
+- **Coverage:** Top-1000 patterns cover ~23% of corpus
 - **Recommendation:** 4-gram or 5-gram for best predictive performance
 
 ---
@@ -227,14 +259,14 @@ Below are sample sentences tokenized with each vocabulary size:
 
 | Context | Variant | Avg Entropy | Perplexity | Branching Factor | Unique Contexts | Predictability |
 |---------|---------|-------------|------------|------------------|-----------------|----------------|
-| **1** | Word | 0.8998 | 1.866 | 8.99 | 915,102 | 10.0% |
-| **1** | Subword | 0.9916 | 1.988 | 7.48 | 5,664 | 0.8% |
-| **2** | Word | 0.2745 | 1.210 | 1.74 | 8,225,491 | 72.6% |
-| **2** | Subword | 0.8603 | 1.815 | 5.91 | 42,359 | 14.0% |
-| **3** | Word | 0.0884 | 1.063 | 1.17 | 14,302,544 | 91.2% |
-| **3** | Subword | 0.8235 | 1.770 | 4.71 | 250,210 | 17.6% |
-| **4** | Word | 0.0321 🏆 | 1.022 | 1.05 | 16,653,317 | 96.8% |
-| **4** | Subword | 0.7025 | 1.627 | 3.37 | 1,177,702 | 29.8% |
+| **1** | Word | 0.8991 | 1.865 | 8.98 | 912,874 | 10.1% |
+| **1** | Subword | 0.9900 | 1.986 | 7.47 | 5,662 | 1.0% |
+| **2** | Word | 0.2746 | 1.210 | 1.74 | 8,193,331 | 72.5% |
+| **2** | Subword | 0.8598 | 1.815 | 5.90 | 42,271 | 14.0% |
+| **3** | Word | 0.0885 | 1.063 | 1.17 | 14,249,949 | 91.1% |
+| **3** | Subword | 0.8239 | 1.770 | 4.71 | 249,519 | 17.6% |
+| **4** | Word | 0.0321 🏆 | 1.023 | 1.05 | 16,595,241 | 96.8% |
+| **4** | Subword | 0.7025 | 1.627 | 3.37 | 1,174,607 | 29.7% |
 
 ### Generated Text Samples (Word-based)
 
@@ -242,27 +274,27 @@ Below are text samples generated from each word-based Markov chain model:
 
 **Context Size 1:**
 
-1. `һәм инәйҙәре тәрбиәләп үҫтергәндәр улы сәғитов м стрельникова с григорьев а а преображенский верфенд...`
-2. `буйынса ла бүлә көньяҡ диалекты там где плещется форель фильм үҙенең ҡатнашыуын ылыҡтыра йылда саҡыр...`
-3. `һыу реестры мәғлүмәте буйынса асыш кубогын еңә йылдан гидромеханизация горных породах и любовь шевцо...`
+1. `һәм пәйғәмбәр аша ҡулға алалар диск ҡалын һуҙынҡылы ижеккә төшә көнбайыш конференцияһын әҙерләүҙә ул...`
+2. `буйынса журналистар үҙҙәрен римляндар өсөн рәссам булараҡ игорь задорожный игорь а сатаров в н г сах...`
+3. `һыу һәм төрлө биҙәгәндәр был блюдоның консистенцияһында исеменең типовой проект ҡаты алыштарҙа дошма...`
 
 **Context Size 2:**
 
-1. `гө буйынса һаны номеры 15 гө буйынса коды бассейн коды гө буйынса һаны номеры 03 гө буйынса`
-2. `һыу реестры мәғлүмәте буйынса дәүләт һыу реестрында һыу объектының коды гидрологик өйрәнеү гө буйынс...`
-3. `дәүләт һыу реестры мәғлүмәттәре рәсәй дәүләт һыу реестрында һыу объектының коды гидрологик өйрәнеү г...`
+1. `гө буйынса сығарылыш 2 фаунаһы йылға мәғлүмәттәр буйынса аҙсылыҡтан император гвардияһы училищеһында...`
+2. `һыу реестры мәғлүмәттәре рәсәй дәүләт һыу реестры мәғлүмәттәре рәсәй дәүләт һыу реестрында һыу объек...`
+3. `дәүләт һыу реестры мәғлүмәттәре рәсәй дәүләт өлгөһөндәге диплом осоу аппараттарын ҡулланыуҙы көйләү ...`
 
 **Context Size 3:**
 
-1. `һыу реестры мәғлүмәттәре рәсәй дәүләт һыу реестры мәғлүмәте буйынса йылға түбәнге обь һыу бассейны о...`
-2. `дәүләт һыу реестры мәғлүмәте буйынса йылға кама һыу бассейны округында урынлашҡан һыу хужалығы участ...`
-3. `рәсәй дәүләт һыу реестры мәғлүмәте буйынса йылға кама һыу бассейны округында урынлашҡан һыу хужалығы...`
+1. `һыу реестры мәғлүмәттәре рәсәй дәүләт һыу реестры мәғлүмәте буйынса йылға двина печора һыу бассейны ...`
+2. `дәүләт һыу реестры мәғлүмәте буйынса йылға двина печора һыу бассейны округында урынлашҡан һыу хужалы...`
+3. `рәсәй дәүләт һыу реестры мәғлүмәте буйынса йылға кама һыу һаклағысы чусов сылвин ҡултығы һул ярына т...`
 
 **Context Size 4:**
 
-1. `рәсәй дәүләт һыу реестры мәғлүмәте буйынса йылға кубань һыу бассейны округында урынлашҡан һыу хужалы...`
-2. `реестры мәғлүмәттәре рәсәй дәүләт һыу реестры мәғлүмәте буйынса йылға көнбыйыш каспий һыу бассейны о...`
-3. `мәғлүмәттәре рәсәй дәүләт һыу реестры мәғлүмәте буйынса йылға иртыш һыу бассейны округында урынлашҡа...`
+1. `рәсәй дәүләт һыу реестры мәғлүмәте буйынса йылға кама һыу бассейны округында урынлашҡан һыу хужалығы...`
+2. `мәғлүмәттәре рәсәй дәүләт һыу реестры мәғлүмәте буйынса йылға көнбыйыш каспий һыу бассейны округында...`
+3. `реестры мәғлүмәттәре рәсәй дәүләт һыу реестры мәғлүмәте буйынса йылға кама һыу бассейны округында ур...`
 
 
 ### Generated Text Samples (Subword-based)
@@ -271,34 +303,34 @@ Below are text samples generated from each subword-based Markov chain model:
 
 **Context Size 1:**
 
-1. `_бә_бемиәкәл)_өх`
-2. `ацине_аҡъя_тенан`
-3. `радъеле,_бесеср_`
+1. `_хрм_илға._—_брл`
+2. `атемлашылларулең`
+3. `ралүеүмәмка_ты_а`
 
 **Context Size 2:**
 
-1. `а_тетыға_олкәр_ре`
-2. `ар,_двинфүргеҙмәт`
-3. `ы_былдағыный_мәһе`
+1. `а_ра_һуң_съ_идери`
+2. `ар._энты_хайындат`
+3. `ы_—_буягацияһальс`
 
 **Context Size 3:**
 
-1. `_йылға_владионерҙә`
-2. `йылға_бүләт_ил_ажн`
-3. `нда_алек_тамблем,_`
+1. `_йыл_17_дек_тип_ик`
+2. `йылдығыштабыуат_ге`
+3. `ндағы_мәғилми_хеҙм`
 
 **Context Size 4:**
 
-1. `_йылған_күпкә_ҡушыл`
-2. `ында_ҡаршы_ҡустың_ү`
-3. `_һәм_төрлө_метрында`
+1. `_йылдан_булат_ҡулты`
+2. `ындағы_ҡарағыҙ_барғ`
+3. `_һәм_бөтә_советы,_п`
 
 
 ### Key Findings
 
 - **Best Predictability:** Context-4 (word) with 96.8% predictability
 - **Branching Factor:** Decreases with context size (more deterministic)
-- **Memory Trade-off:** Larger contexts require more storage (1,177,702 contexts)
+- **Memory Trade-off:** Larger contexts require more storage (1,174,607 contexts)
 - **Recommendation:** Context-3 or Context-4 for text generation
 
 ---
@@ -314,48 +346,48 @@ Below are text samples generated from each subword-based Markov chain model:
 
 | Metric | Value |
 |--------|-------|
-| Vocabulary Size | 391,795 |
-| Total Tokens | 21,537,937 |
-| Mean Frequency | 54.97 |
+| Vocabulary Size | 390,661 |
+| Total Tokens | 21,477,387 |
+| Mean Frequency | 54.98 |
 | Median Frequency | 4 |
-| Frequency Std Dev | 1228.27 |
+| Frequency Std Dev | 1227.90 |
 
 ### Most Common Words
 
 | Rank | Word | Frequency |
 |------|------|-----------|
-| 1 | һәм | 442,727 |
-| 2 | буйынса | 199,652 |
-| 3 | һыу | 168,369 |
-| 4 | менән | 154,690 |
-| 5 | йылға | 141,126 |
-| 6 | йылда | 136,417 |
-| 7 | рәсәй | 107,366 |
-| 8 | йыл | 97,537 |
-| 9 | йылдың | 89,696 |
-| 10 | в | 87,704 |
+| 1 | һәм | 441,701 |
+| 2 | буйынса | 199,502 |
+| 3 | һыу | 168,327 |
+| 4 | менән | 154,212 |
+| 5 | йылға | 141,020 |
+| 6 | йылда | 136,113 |
+| 7 | рәсәй | 107,301 |
+| 8 | йыл | 96,991 |
+| 9 | йылдың | 89,541 |
+| 10 | бассейны | 87,464 |
 
 ### Least Common Words (from vocabulary)
 
 | Rank | Word | Frequency |
 |------|------|-----------|
-| 1 | анкалаевҡа | 2 |
-| 2 | куцелаба | 2 |
-| 3 | хизарович | 2 |
-| 4 | чимаевтың | 2 |
-| 5 | уиттакерҙың | 2 |
-| 6 | дрикус | 2 |
-| 7 | шарабутдин | 2 |
-| 8 | rcc | 2 |
-| 9 | cosmetics | 2 |
-| 10 | kits | 2 |
+| 1 | совкомбанк | 2 |
+| 2 | маркетплейстың | 2 |
+| 3 | суларға | 2 |
+| 4 | кишлак | 2 |
+| 5 | пацанский | 2 |
+| 6 | мунден | 2 |
+| 7 | гертфордшир | 2 |
+| 8 | кроуға | 2 |
+| 9 | франклоу | 2 |
+| 10 | алтынкүлдән | 2 |
 
 ### Zipf's Law Analysis
 
 | Metric | Value |
 |--------|-------|
-| Zipf Coefficient | 1.0493 |
-| R² (Goodness of Fit) | 0.992213 |
+| Zipf Coefficient | 1.0499 |
+| R² (Goodness of Fit) | 0.992209 |
 | Adherence Quality | **excellent** |
 
 ### Coverage Analysis
@@ -365,13 +397,13 @@ Below are text samples generated from each subword-based Markov chain model:
 | Top 100 | 23.9% |
 | Top 1,000 | 52.3% |
 | Top 5,000 | 71.5% |
-| Top 10,000 | 78.5% |
+| Top 10,000 | 78.6% |
 
 ### Key Findings
 
 - **Zipf Compliance:** R²=0.9922 indicates excellent adherence to Zipf's law
 - **High Frequency Dominance:** Top 100 words cover 23.9% of corpus
-- **Long Tail:** 381,795 words needed for remaining 21.5% coverage
+- **Long Tail:** 380,661 words needed for remaining 21.4% coverage
 
 ---
 ## 5. Word Embeddings Evaluation
@@ -387,37 +419,40 @@ Below are text samples generated from each subword-based Markov chain model:
 
 ### 5.1 Cross-Lingual Alignment
 
-> *Note: Multilingual alignment visualization not available for this language.*
+![Alignment Quality](visualizations/embedding_alignment_quality.png)
+
+![Multilingual t-SNE](visualizations/embedding_tsne_multilingual.png)
 
 
 ### 5.2 Model Comparison
 
 | Model | Dimension | Isotropy | Semantic Density | Alignment R@1 | Alignment R@10 |
 |-------|-----------|----------|------------------|---------------|----------------|
-| **mono_32d** | 32 | 0.7656 | 0.3637 | N/A | N/A |
-| **mono_64d** | 64 | 0.7751 🏆 | 0.2899 | N/A | N/A |
-| **mono_128d** | 128 | 0.7586 | 0.2211 | N/A | N/A |
+| **mono_32d** | 32 | 0.7605 | 0.3607 | N/A | N/A |
+| **mono_64d** | 64 | 0.7711 🏆 | 0.2817 | N/A | N/A |
+| **mono_128d** | 128 | 0.7589 | 0.2238 | N/A | N/A |
+| **aligned_32d** | 32 | 0.7605 | 0.3651 | 0.0420 | 0.2620 |
+| **aligned_64d** | 64 | 0.7711 | 0.2829 | 0.0820 | 0.3600 |
+| **aligned_128d** | 128 | 0.7589 | 0.2231 | 0.1140 | 0.4340 |
 
 ### Key Findings
 
-- **Best Isotropy:** mono_64d with 0.7751 (more uniform distribution)
-- **Semantic Density:** Average pairwise similarity of 0.2916. Lower values indicate better semantic separation.
-- **Alignment Quality:** No aligned models evaluated in this run.
+- **Best Isotropy:** mono_64d with 0.7711 (more uniform distribution)
+- **Semantic Density:** Average pairwise similarity of 0.2896. Lower values indicate better semantic separation.
+- **Alignment Quality:** Aligned models achieve up to 11.4% R@1 in cross-lingual retrieval.
 - **Recommendation:** 128d aligned for best cross-lingual performance
 
 ---
 ## 6.  Morphological Analysis (Experimental)
 
-> ⚠️ **Warning:** This language shows low morphological productivity. The statistical signals used for this analysis may be noisy or less reliable than for morphologically rich languages.
-
 This section presents an automated morphological analysis derived from the statistical divergence between word-level and subword-level models. By analyzing where subword predictability spikes and where word-level coverage fails, we can infer linguistic structures without supervised data.
 
 ### 6.1 Productivity & Complexity
 
 | Metric | Value | Interpretation | Recommendation |
 |--------|-------|----------------|----------------|
-| Productivity Index | **0.000** | Low morphological productivity | ⚠️ Likely unreliable |
-| Idiomaticity Gap | **-1.000** | Low formulaic content | - |
+| Productivity Index | **5.000** | High morphological productivity | Reliable analysis |
+| Idiomaticity Gap | **0.762** | High formulaic/idiomatic content | - |
 
 ### 6.2 Affix Inventory (Productive Units)
 
@@ -430,11 +465,14 @@ These are the most productive prefixes and suffixes identified by sampling the v
 #### Productive Suffixes
 | Suffix | Examples |
 |--------|----------|
-| `-а` | симпозиумдарында, режица, оффенбаха |
-| `-ың` | тамаҡтың, ялкайндың, һуҙаһың |
-| `-ан` | ышанмаған, аҡсабан, гарнизондарынан |
-| `-ар` | стәрлетамаҡлылар, аныҡлаусылар, яндырылғандар |
-| `-ға` | ципрофлоксацинға, һауығырға, ҡыҫырыҡларға |
+| `-а` | менеджерҙарға, клиентела, пегаға |
+| `-ың` | амфитеатрының, лединың, ғәлиәкбәровтың |
+| `-ан` | ҡыҙылдарҙан, саутунан, сығылған |
+| `-ар` | андекстар, имплантаттар, тартыуҙар |
+| `-ға` | менеджерҙарға, пегаға, ҡалыуға |
+| `-ның` | амфитеатрының, лединың, соустарының |
+| `-на` | градина, ағзаһына, катилина |
+| `-ов` | крестов, әбшәрипов, протезов |
 
 ### 6.3 Bound Stems (Lexical Roots)
 
@@ -442,18 +480,18 @@ Bound stems are high-frequency subword units that are semantically cohesive but
 
 | Stem | Cohesion | Substitutability | Examples |
 |------|----------|------------------|----------|
-| `ассе` | 2.59x | 57 contexts | сассе, массе, гассе |
-| `ссей` | 3.05x | 29 contexts | бассей, шоссей, иессей |
-| `олог` | 1.87x | 205 contexts | лолог, молог, полог |
-| `арҙа` | 1.74x | 267 contexts | дарҙа, арҙан, барҙа |
-| `арҙы` | 1.79x | 169 contexts | шарҙы, сарҙы, ҡарҙы |
-| `лған` | 1.60x | 230 contexts | алған, ялған, ҡлған |
-| `шҡор` | 3.05x | 15 contexts | башҡор, башҡорд, башҡорт |
-| `ылға` | 1.57x | 213 contexts | йылға, тылға, ҡылға |
-| `йылғ` | 1.88x | 73 contexts | йылға, йылғы, уйылға |
-| `әрен` | 1.63x | 140 contexts | йәрен, кәрен, дәрен |
-| `дәүл` | 2.80x | 16 contexts | дәүли, дәүлә, дәүләт |
-| `әүлә` | 1.99x | 39 contexts | хәүлә, дәүлә, мәүлә |
+| `ссей` | 3.12x | 29 contexts | шоссей, иессей, бассей |
+| `олог` | 1.84x | 205 contexts | лолог, полог, молог |
+| `әүлә` | 2.51x | 39 contexts | дәүлә, хәүлә, шәүлә |
+| `ассе` | 2.28x | 57 contexts | массе, хассе, гассе |
+| `шҡор` | 3.03x | 15 contexts | башҡор, башҡорт, башҡорд |
+| `лған` | 1.54x | 230 contexts | ялған, ҡлған, алған |
+| `арҙы` | 1.62x | 168 contexts | парҙы, сарҙы, барҙы |
+| `арҙа` | 1.48x | 266 contexts | барҙа, арҙан, арҙат |
+| `аһын` | 1.35x | 378 contexts | шаһын, анаһын, яһаһын |
+| `ттар` | 1.37x | 344 contexts | аттар, юттар, ттары |
+| `ылға` | 1.49x | 213 contexts | йылға, ҡылға, ылғал |
+| `лдар` | 1.45x | 236 contexts | алдар, ялдар, улдар |
 
 ### 6.4 Affix Compatibility (Co-occurrence)
 
@@ -468,26 +506,28 @@ Using **Recursive Hierarchical Substitutability**, we decompose complex words in
 
 | Word | Suggested Split | Confidence | Stem |
 |------|-----------------|------------|------|
-| биониканың | **`бионик-ан-ың`** | 6.0 | `бионик` |
-| худякованың | **`худяков-ан-ың`** | 6.0 | `худяков` |
-| воронкованың | **`воронков-ан-ың`** | 6.0 | `воронков` |
-| давыдованың | **`давыдов-ан-ың`** | 6.0 | `давыдов` |
-| фонеманың | **`фонем-ан-ың`** | 6.0 | `фонем` |
-| балаһынан | **`балаһын-ан`** | 4.5 | `балаһын` |
-| фламенкоға | **`фламенко-ға`** | 4.5 | `фламенко` |
-| топонимияһынан | **`топонимияһын-ан`** | 4.5 | `топонимияһын` |
-| баштарының | **`баштарын-ың`** | 4.5 | `баштарын` |
-| людмилаға | **`людмила-ға`** | 4.5 | `людмила` |
-| мозаикаға | **`мозаика-ға`** | 4.5 | `мозаика` |
-| орлеанскийға | **`орлеанский-ға`** | 4.5 | `орлеанский` |
-| манараларының | **`манараларын-ың`** | 4.5 | `манараларын` |
-| начальнигынан | **`начальнигын-ан`** | 4.5 | `начальнигын` |
-| кинофильмының | **`кинофильмын-ың`** | 4.5 | `кинофильмын` |
+| александровна | **`александр-ов-на`** | 6.0 | `александр` |
+| мессинаның | **`месси-на-ның`** | 6.0 | `месси` |
+| салаватовна | **`салават-ов-на`** | 6.0 | `салават` |
+| терракотанан | **`терракот-ан-ан`** | 6.0 | `терракот` |
+| моденаның | **`моде-на-ның`** | 6.0 | `моде` |
+| доломанов | **`долом-ан-ов`** | 6.0 | `долом` |
+| склонениеһына | **`склонениеһы-на`** | 4.5 | `склонениеһы` |
+| характеров | **`характер-ов`** | 4.5 | `характер` |
+| ваҡытының | **`ваҡыты-ның`** | 4.5 | `ваҡыты` |
+| кейекбайға | **`кейекбай-ға`** | 4.5 | `кейекбай` |
+| фомичёваның | **`фомичёва-ның`** | 4.5 | `фомичёва` |
+| никаноров | **`никанор-ов`** | 4.5 | `никанор` |
+| терапияһынан | **`терапияһын-ан`** | 4.5 | `терапияһын` |
+| телевидениеһынан | **`телевидениеһын-ан`** | 4.5 | `телевидениеһын` |
+| сепаратизмына | **`сепаратизмы-на`** | 4.5 | `сепаратизмы` |
 
 ### 6.6 Linguistic Interpretation
 
 > **Automated Insight:**
-The language BA appears to be more isolating or has a highly fixed vocabulary. Word-level models perform nearly as well as subword models, indicating fewer productive morphological processes.
+The language Bashkir shows high morphological productivity. The subword models are significantly more efficient than word models, suggesting a rich system of affixation or compounding.
+
+> **Note on Idiomaticity:** The high Idiomaticity Gap suggests a large number of frequent multi-word expressions or formulaic sequences that are statistically distinct from their component parts.
 
 ---
 ## 7. Summary & Recommendations
@@ -499,7 +539,7 @@ The language BA appears to be more isolating or has a highly fixed vocabulary. W
 | Component | Recommended | Rationale |
 |-----------|-------------|-----------|
 | Tokenizer | **64k BPE** | Best compression (4.67x) |
-| N-gram | **2-gram** | Lowest perplexity (489) |
+| N-gram | **2-gram** | Lowest perplexity (488) |
 | Markov | **Context-4** | Highest predictability (96.8%) |
 | Embeddings | **100d** | Balanced semantic capture and isotropy |
 
@@ -714,4 +754,4 @@ MIT License - Free for academic and commercial use.
 ---
 *Generated by Wikilangs Models Pipeline*
 
-*Report Date: 2026-01-03 07:03:34*
+*Report Date: 2026-01-03 20:08:48*

models/embeddings/aligned/ba_128d.bin

@@ -0,0 +1,3 @@
+version https://git-lfs.github.com/spec/v1
+oid sha256:12a29b348d60360d3be96399c050ef0d573fa9c305afe29ec2ba99c0b25e86d7
+size 1266971997

models/embeddings/aligned/ba_128d.meta.json

@@ -0,0 +1 @@
+{"lang": "ba", "dim": 128, "max_seq_len": 512, "is_aligned": true}

models/embeddings/aligned/ba_128d.projection.npy

@@ -0,0 +1,3 @@
+version https://git-lfs.github.com/spec/v1
+oid sha256:af0641c54d752ef68dc525ce684e8836ff9b10f2d1609adfef93a82936b57a09
+size 65664

models/embeddings/aligned/ba_128d_metadata.json

@@ -0,0 +1,8 @@
+{
+  "language": "ba",
+  "dimension": 128,
+  "version": "aligned",
+  "hub_language": "en",
+  "seed_vocab_size": 15145,
+  "vocab_size": 231493
+}

models/embeddings/aligned/ba_32d.bin

@@ -0,0 +1,3 @@
+version https://git-lfs.github.com/spec/v1
+oid sha256:d0d97157e963bf05a6754dff717f8f828cdd9be148c364c808f7fe899456ea8e
+size 321185373

models/embeddings/aligned/ba_32d.meta.json

@@ -0,0 +1 @@
+{"lang": "ba", "dim": 32, "max_seq_len": 512, "is_aligned": true}

models/embeddings/aligned/ba_32d.projection.npy

@@ -0,0 +1,3 @@
+version https://git-lfs.github.com/spec/v1
+oid sha256:4b9c02343822dac63c89696460b3e6beb5f6299333acf7d38e9eaf3c10fce943
+size 4224

models/embeddings/aligned/ba_32d_metadata.json

@@ -0,0 +1,8 @@
+{
+  "language": "ba",
+  "dimension": 32,
+  "version": "aligned",
+  "hub_language": "en",
+  "seed_vocab_size": 15145,
+  "vocab_size": 231493
+}

models/embeddings/aligned/ba_64d.bin

@@ -0,0 +1,3 @@
+version https://git-lfs.github.com/spec/v1
+oid sha256:4a0094447a82217960151cdcc0188313727cbed1ce26b4e49cce3e82acb2434b
+size 636447581

models/embeddings/aligned/ba_64d.meta.json

@@ -0,0 +1 @@
+{"lang": "ba", "dim": 64, "max_seq_len": 512, "is_aligned": true}

models/embeddings/aligned/ba_64d.projection.npy

@@ -0,0 +1,3 @@
+version https://git-lfs.github.com/spec/v1
+oid sha256:18442ca0c847bcc3101e4a2e0536324f2844255bdce426a9095209ca4c8b3869
+size 16512

models/embeddings/aligned/ba_64d_metadata.json

@@ -0,0 +1,8 @@
+{
+  "language": "ba",
+  "dimension": 64,
+  "version": "aligned",
+  "hub_language": "en",
+  "seed_vocab_size": 15145,
+  "vocab_size": 231493
+}

models/embeddings/monolingual/ba_128d.bin

@@ -1,3 +1,3 @@
 version https://git-lfs.github.com/spec/v1
-oid sha256:1d0506e69046f5b9eeed00571257333963c93985c08aaff04359a63f9e18966d
-size 1267773201
+oid sha256:12a29b348d60360d3be96399c050ef0d573fa9c305afe29ec2ba99c0b25e86d7
+size 1266971997

models/embeddings/monolingual/ba_128d_metadata.json

@@ -11,5 +11,5 @@
     "encoding_method": "rope",
     "dim": 128
   },
-  "vocab_size": 232257
+  "vocab_size": 231493
 }

models/embeddings/monolingual/ba_32d.bin

@@ -1,3 +1,3 @@
 version https://git-lfs.github.com/spec/v1
-oid sha256:857e0d1d2801efad1ea0ad2269a5064780058e0457d0dd04fc3e747f514bb814
-size 321399825
+oid sha256:d0d97157e963bf05a6754dff717f8f828cdd9be148c364c808f7fe899456ea8e
+size 321185373

models/embeddings/monolingual/ba_32d_metadata.json

@@ -11,5 +11,5 @@
     "encoding_method": "rope",
     "dim": 32
   },
-  "vocab_size": 232257
+  "vocab_size": 231493
 }

models/embeddings/monolingual/ba_64d.bin

@@ -1,3 +1,3 @@
 version https://git-lfs.github.com/spec/v1
-oid sha256:a68b56475da9d52e23c1e8987aa18959fc1800f3fc2373b5aa026f7005dc4bd0
-size 636857617
+oid sha256:4a0094447a82217960151cdcc0188313727cbed1ce26b4e49cce3e82acb2434b
+size 636447581

models/embeddings/monolingual/ba_64d_metadata.json

@@ -11,5 +11,5 @@
     "encoding_method": "rope",
     "dim": 64
   },
-  "vocab_size": 232257
+  "vocab_size": 231493
 }

models/subword_markov/ba_markov_ctx1_subword.parquet

@@ -1,3 +1,3 @@
 version https://git-lfs.github.com/spec/v1
-oid sha256:72ab68634a6f78c810b9cb22d356ab586e0001dca90d89cea677632b627a61ff
-size 321684
+oid sha256:05780301a06d04162048cbd9c5a2a6395d23596df7dca2fa2d56cfc1b0702d0e
+size 321688

models/subword_markov/ba_markov_ctx1_subword_metadata.json

@@ -2,6 +2,6 @@
   "context_size": 1,
   "variant": "subword",
   "language": "ba",
-  "unique_contexts": 5664,
-  "total_transitions": 166306994
+  "unique_contexts": 5662,
+  "total_transitions": 165847857
 }

models/subword_markov/ba_markov_ctx2_subword.parquet

@@ -1,3 +1,3 @@
 version https://git-lfs.github.com/spec/v1
-oid sha256:64f356772a4c2f2fe17d0b3ced4a871083815f3306cc44a66e5ae43c45a11b68
-size 2038058
+oid sha256:c6311fb380fbf48483186aa21a01b6a8c6c2d3500e66dded64a04cddf440446c
+size 2056814

models/subword_markov/ba_markov_ctx2_subword_metadata.json

@@ -2,6 +2,6 @@
   "context_size": 2,
   "variant": "subword",
   "language": "ba",
-  "unique_contexts": 42359,
-  "total_transitions": 166243136
+  "unique_contexts": 42271,
+  "total_transitions": 165783993
 }

models/subword_markov/ba_markov_ctx3_subword.parquet

@@ -1,3 +1,3 @@
 version https://git-lfs.github.com/spec/v1
-oid sha256:034412812ae35db516b6f169d1eaad99c3412d09b2b6b86dd34d6c091ce4cc35
-size 10033851
+oid sha256:9668dbdc03969a68b32456e92f4601e53e3dd5f7352901212864f6224d20606c
+size 9997997

models/subword_markov/ba_markov_ctx3_subword_metadata.json

@@ -2,6 +2,6 @@
   "context_size": 3,
   "variant": "subword",
   "language": "ba",
-  "unique_contexts": 250210,
-  "total_transitions": 166179278
+  "unique_contexts": 249519,
+  "total_transitions": 165720129
 }

models/subword_markov/ba_markov_ctx4_subword.parquet

@@ -1,3 +1,3 @@
 version https://git-lfs.github.com/spec/v1
-oid sha256:de9d856639518fda8614b7147be3a51f07dc47b782f251d16d66f550cd28ed7e
-size 34335118
+oid sha256:b3d06eba3c693311b5366241731cc4966871a6c3d4c58908428352caa8dba517
+size 34310629

models/subword_markov/ba_markov_ctx4_subword_metadata.json

@@ -2,6 +2,6 @@
   "context_size": 4,
   "variant": "subword",
   "language": "ba",
-  "unique_contexts": 1177702,
-  "total_transitions": 166115420
+  "unique_contexts": 1174607,
+  "total_transitions": 165656265
 }

models/subword_ngram/ba_2gram_subword.parquet

@@ -1,3 +1,3 @@
 version https://git-lfs.github.com/spec/v1
-oid sha256:d8bc5caa63739eb8bd546faf8fd400a3cfed2102cf28c5d178636fd18c4a8540
-size 193332
+oid sha256:a93f1b12f868221be998258f1e52c5b7b8405d8d4f993ff205e853c0b5ef530d
+size 192976

models/subword_ngram/ba_2gram_subword_metadata.json

@@ -2,6 +2,6 @@
   "n": 2,
   "variant": "subword",
   "language": "ba",
-  "unique_ngrams": 13769,
-  "total_ngrams": 166306994
+  "unique_ngrams": 13737,
+  "total_ngrams": 165847857
 }

models/subword_ngram/ba_3gram_subword.parquet

@@ -1,3 +1,3 @@
 version https://git-lfs.github.com/spec/v1
-oid sha256:92068c289061bb2e93b829c142f737236f826c376deac540afd5cf5264596713
-size 1542627
+oid sha256:5427aac4ff333f8f5a4f28484b7317d987f7a3937ec69023d125b8904c873c46
+size 1525757

models/subword_ngram/ba_3gram_subword_metadata.json

@@ -2,6 +2,6 @@
   "n": 3,
   "variant": "subword",
   "language": "ba",
-  "unique_ngrams": 117773,
-  "total_ngrams": 166243136
+  "unique_ngrams": 117501,
+  "total_ngrams": 165783993
 }

models/subword_ngram/ba_4gram_subword.parquet

@@ -1,3 +1,3 @@
 version https://git-lfs.github.com/spec/v1
-oid sha256:829baeb29467446ba03ac3c2e0fd8e4ce93634a4b5989afa2f4cbad92beba6d0
-size 9034722
+oid sha256:2bf52e0ecfe5c48dec7032cfbbaa99b84f3f01a3301dad1d6ae5fe0eb6a8340a
+size 9017225

models/subword_ngram/ba_4gram_subword_metadata.json

@@ -2,6 +2,6 @@
   "n": 4,
   "variant": "subword",
   "language": "ba",
-  "unique_ngrams": 687383,
-  "total_ngrams": 166179278
+  "unique_ngrams": 685600,
+  "total_ngrams": 165720129
 }

models/subword_ngram/ba_5gram_subword.parquet

@@ -0,0 +1,3 @@
+version https://git-lfs.github.com/spec/v1
+oid sha256:aab260ec4837b34b3579c5030290b4706666ed96ef44f2518b9aefa979d9195b
+size 28891181

models/subword_ngram/ba_5gram_subword_metadata.json

@@ -0,0 +1,7 @@
+{
+  "n": 5,
+  "variant": "subword",
+  "language": "ba",
+  "unique_ngrams": 2075140,
+  "total_ngrams": 165656265
+}

models/tokenizer/ba_tokenizer_16k.model

@@ -1,3 +1,3 @@
 version https://git-lfs.github.com/spec/v1
-oid sha256:a303c0d026bb9c2d55bf88aea6c23a3e9ee5479dbe177e187ac24e298d72853f
-size 587702
+oid sha256:b2d289f5cd313f9621d08c6ffaccc42568a25a90548378a3deff45c01d188d41
+size 587842

models/tokenizer/ba_tokenizer_32k.model

@@ -1,3 +1,3 @@
 version https://git-lfs.github.com/spec/v1
-oid sha256:c53247b474ba1fb2bc81a96123dbc8edfeb1a2aa07072d220e4422014f9aa0a7
-size 956108
+oid sha256:0975ba054b867292078821676618b968c848836ae76a2358bee4c8cedc1706e6
+size 956601

models/tokenizer/ba_tokenizer_64k.model

@@ -1,3 +1,3 @@
 version https://git-lfs.github.com/spec/v1
-oid sha256:b92b6043e85b598f61bfc865f4cea415a1ba6735c830a01264fe91b74338e8a0
-size 1712379
+oid sha256:9674a907e50f3fa78f571f6c44e1791be0d3a5dffe071dda527390b641f15bd4
+size 1713363

models/tokenizer/ba_tokenizer_8k.model

@@ -1,3 +1,3 @@
 version https://git-lfs.github.com/spec/v1
-oid sha256:ebdbb6ac25e572b302f21c6cd6328ec1606feb430f390d602f0e1d7add179ee0
-size 408777
+oid sha256:3c4236b291567cfc0b86344e376dedc15dd457adb983af1294a4896a6a7a80ae
+size 408799

models/vocabulary/ba_vocabulary.parquet

@@ -1,3 +1,3 @@
 version https://git-lfs.github.com/spec/v1
-oid sha256:65de254f1bc43c0356834a3df469079bf03def47f1cebad5fc6f9eda7540b462
-size 6781677
+oid sha256:ea55b63e567481e3fa0344c160f30692dc8f8c9cbb71d8ab93b1172cc63e3fb4
+size 6780710

models/vocabulary/ba_vocabulary_metadata.json

@@ -1,17 +1,17 @@
 {
   "language": "ba",
-  "vocabulary_size": 391795,
+  "vocabulary_size": 390661,
   "variant": "full",
   "statistics": {
-    "type_token_ratio": 0.041486328965339804,
+    "type_token_ratio": 0.041501301106049236,
     "coverage": {
-      "top_100": 0.23295039278580296,
-      "top_1000": 0.510335569094746,
-      "top_5000": 0.6976257341559833,
-      "top_10000": 0.7667897867532179
+      "top_100": 0.23327066896778434,
+      "top_1000": 0.5108850357531433,
+      "top_5000": 0.6981018960947909,
+      "top_10000": 0.7672025183565773
     },
-    "hapax_count": 523451,
-    "hapax_ratio": 0.5719238324996777,
-    "total_documents": 63858
+    "hapax_count": 522357,
+    "hapax_ratio": 0.5721212506215649,
+    "total_documents": 63864
   }
 }

models/word_markov/ba_markov_ctx1_word.parquet

@@ -1,3 +1,3 @@
 version https://git-lfs.github.com/spec/v1
-oid sha256:92fd33e481646024de79a8020c805420b7e263733616508172265ae2ae3ffd6d
-size 103200739
+oid sha256:1a300e6e5b623405b8247e2b76e99381dfe507d0a11b1a63d3a9520509692076
+size 102828495

models/word_markov/ba_markov_ctx1_word_metadata.json

@@ -2,6 +2,6 @@
   "context_size": 1,
   "variant": "word",
   "language": "ba",
-  "unique_contexts": 915102,
-  "total_transitions": 21997530
+  "unique_contexts": 912874,
+  "total_transitions": 21935880
 }

models/word_markov/ba_markov_ctx2_word.parquet

@@ -1,3 +1,3 @@
 version https://git-lfs.github.com/spec/v1
-oid sha256:6e3439ca9b5e1619b07b22f4f1b78774fe37bef5ff88ba91a9f9bb6d367c1dba
-size 335420766
+oid sha256:7a584f9eecc95240d8362ca9fad4d1df0552829c6a5fbb565fe89f102f454bf9
+size 334074318

models/word_markov/ba_markov_ctx2_word_metadata.json

@@ -2,6 +2,6 @@
   "context_size": 2,
   "variant": "word",
   "language": "ba",
-  "unique_contexts": 8225491,
-  "total_transitions": 21933672
+  "unique_contexts": 8193331,
+  "total_transitions": 21872016
 }