Upload all models and assets for az (latest)

.gitattributes

@@ -39,3 +39,4 @@ visualizations/position_encoding_comparison.png filter=lfs diff=lfs merge=lfs -t
 visualizations/tsne_sentences.png filter=lfs diff=lfs merge=lfs -text
 visualizations/tsne_words.png filter=lfs diff=lfs merge=lfs -text
 visualizations/zipf_law.png filter=lfs diff=lfs merge=lfs -text
+visualizations/embedding_tsne_multilingual.png filter=lfs diff=lfs merge=lfs -text

README.md

@@ -1,6 +1,6 @@
 ---
 language: az
-language_name: AZ
+language_name: Azerbaijani
 language_family: turkic_oghuz
 tags:
   - wikilangs
@@ -10,11 +10,21 @@ tags:
   - n-gram
   - markov
   - wikipedia
+  - feature-extraction
+  - sentence-similarity
+  - tokenization
+  - n-grams
+  - markov-chain
+  - text-mining
+  - fasttext
+  - babelvec
+  - vocabulous
+  - vocabulary
   - monolingual
   - family-turkic_oghuz
 license: mit
 library_name: wikilangs
-pipeline_tag: feature-extraction
+pipeline_tag: text-generation
 datasets:
   - omarkamali/wikipedia-monthly
 dataset_info:
@@ -23,20 +33,20 @@ dataset_info:
 metrics:
   - name: best_compression_ratio
     type: compression
-    value: 5.127
+    value: 5.131
   - name: best_isotropy
     type: isotropy
-    value: 0.8147
+    value: 0.8140
   - name: vocabulary_size
     type: vocab
     value: 0
-generated: 2026-01-03
+generated: 2026-01-04
 ---
 
-# AZ - Wikilangs Models
+# Azerbaijani - Wikilangs Models
 ## Comprehensive Research Report & Full Ablation Study
 
-This repository contains NLP models trained and evaluated by Wikilangs, specifically on **AZ** Wikipedia data.
+This repository contains NLP models trained and evaluated by Wikilangs, specifically on **Azerbaijani** Wikipedia data.
 We analyze tokenizers, n-gram models, Markov chains, vocabulary statistics, and word embeddings.
 
 ## 📋 Repository Contents
@@ -60,7 +70,7 @@ We analyze tokenizers, n-gram models, Markov chains, vocabulary statistics, and
 - [3. Markov Chain Evaluation](#3-markov-chain-evaluation)
 - [4. Vocabulary Analysis](#4-vocabulary-analysis)
 - [5. Word Embeddings Evaluation](#5-word-embeddings-evaluation)
-- [6. Morphological Analysis (Experimental)](#6-morphological-analysis)
+- [6. Morphological Analysis (Experimental)](#6--morphological-analysis-experimental)
 - [7. Summary & Recommendations](#7-summary--recommendations)
 - [Metrics Glossary](#appendix-metrics-glossary--interpretation-guide)
 - [Visualizations Index](#visualizations-index)
@@ -80,25 +90,16 @@ We analyze tokenizers, n-gram models, Markov chains, vocabulary statistics, and
 
 | Vocab Size | Compression | Avg Token Len | UNK Rate | Total Tokens |
 |------------|-------------|---------------|----------|--------------|
-| **8k** | 3.940x | 3.94 | 0.0953% | 1,262,968 |
-| **16k** | 4.420x | 4.42 | 0.1069% | 1,125,834 |
-| **32k** | 4.818x | 4.82 | 0.1165% | 1,032,837 |
-| **64k** | 5.127x 🏆 | 5.13 | 0.1239% | 970,666 |
+| **8k** | 3.945x | 3.95 | 0.0962% | 1,248,644 |
+| **16k** | 4.426x | 4.43 | 0.1079% | 1,113,127 |
+| **32k** | 4.825x | 4.83 | 0.1176% | 1,021,125 |
+| **64k** | 5.131x 🏆 | 5.13 | 0.1251% | 960,074 |
 
 ### Tokenization Examples
 
 Below are sample sentences tokenized with each vocabulary size:
 
-**Sample 1:** `Bitlis vilayəti — Osmanlı İmperiyası tərkibində, illərdə mövcud olmuş I dərəcəli...`
-
-| Vocab | Tokens | Count |
-|-------|--------|-------|
-| 8k | `▁bit lis ▁vilayəti ▁— ▁osmanlı ▁İmper iyası ▁tərkibində , ▁illərdə ... (+17 more)` | 27 |
-| 16k | `▁bit lis ▁vilayəti ▁— ▁osmanlı ▁İmperiyası ▁tərkibində , ▁illərdə ▁mövcud ... (+16 more)` | 26 |
-| 32k | `▁bit lis ▁vilayəti ▁— ▁osmanlı ▁İmperiyası ▁tərkibində , ▁illərdə ▁mövcud ... (+16 more)` | 26 |
-| 64k | `▁bitlis ▁vilayəti ▁— ▁osmanlı ▁İmperiyası ▁tərkibində , ▁illərdə ▁mövcud ▁olmuş ... (+14 more)` | 24 |
-
-**Sample 2:** `() — aləminin dəstəsinin fəsiləsinə aid bitki cinsi. Sinonimləri Heterotipik sin...`
+**Sample 1:** `() — aləminin dəstəsinin fəsiləsinə aid bitki cinsi. Sinonimləri Heterotipik sin...`
 
 | Vocab | Tokens | Count |
 |-------|--------|-------|
@@ -107,20 +108,29 @@ Below are sample sentences tokenized with each vocabulary size:
 | 32k | `▁() ▁— ▁aləminin ▁dəstəsinin ▁fəsiləsinə ▁aid ▁bitki ▁cinsi . ▁sinonimləri ... (+6 more)` | 16 |
 | 64k | `▁() ▁— ▁aləminin ▁dəstəsinin ▁fəsiləsinə ▁aid ▁bitki ▁cinsi . ▁sinonimləri ... (+6 more)` | 16 |
 
-**Sample 3:** `Üçüncü simfoniya (film, Üçüncü simfoniya (Motsart) Üçüncü simfoniya (Çaykovski) ...`
+**Sample 2:** `() — aləminin dəstəsinin fəsiləsinin cinsinə aid bitki növü. Sinonimləri Homotip...`
 
 | Vocab | Tokens | Count |
 |-------|--------|-------|
-| 8k | `▁üçüncü ▁simf oniya ▁( film , ▁üçüncü ▁simf oniya ▁( ... (+21 more)` | 31 |
-| 16k | `▁üçüncü ▁simf oniya ▁( film , ▁üçüncü ▁simf oniya ▁( ... (+17 more)` | 27 |
-| 32k | `▁üçüncü ▁simfoniya ▁( film , ▁üçüncü ▁simfoniya ▁( mot sart ... (+13 more)` | 23 |
-| 64k | `▁üçüncü ▁simfoniya ▁( film , ▁üçüncü ▁simfoniya ▁( mot sart ... (+13 more)` | 23 |
+| 8k | `▁() ▁— ▁aləminin ▁dəstəsinin ▁fəsiləsinin ▁cinsinə ▁aid ▁bitki ▁növü . ... (+8 more)` | 18 |
+| 16k | `▁() ▁— ▁aləminin ▁dəstəsinin ▁fəsiləsinin ▁cinsinə ▁aid ▁bitki ▁növü . ... (+8 more)` | 18 |
+| 32k | `▁() ▁— ▁aləminin ▁dəstəsinin ▁fəsiləsinin ▁cinsinə ▁aid ▁bitki ▁növü . ... (+8 more)` | 18 |
+| 64k | `▁() ▁— ▁aləminin ▁dəstəsinin ▁fəsiləsinin ▁cinsinə ▁aid ▁bitki ▁növü . ... (+8 more)` | 18 |
+
+**Sample 3:** `.lr — Liberiyanın internet kodu. Xarici keçidlər IANA .lr whois information səvi...`
+
+| Vocab | Tokens | Count |
+|-------|--------|-------|
+| 8k | `▁. l r ▁— ▁li ber iyanın ▁internet ▁kodu . ... (+18 more)` | 28 |
+| 16k | `▁. l r ▁— ▁liber iyanın ▁internet ▁kodu . ▁xarici ... (+13 more)` | 23 |
+| 32k | `▁. lr ▁— ▁liber iyanın ▁internet ▁kodu . ▁xarici ▁keçidlər ... (+8 more)` | 18 |
+| 64k | `▁. lr ▁— ▁liber iyanın ▁internet ▁kodu . ▁xarici ▁keçidlər ... (+8 more)` | 18 |
 
 
 ### Key Findings
 
-- **Best Compression:** 64k achieves 5.127x compression
-- **Lowest UNK Rate:** 8k with 0.0953% unknown tokens
+- **Best Compression:** 64k achieves 5.131x compression
+- **Lowest UNK Rate:** 8k with 0.0962% unknown tokens
 - **Trade-off:** Larger vocabularies improve compression but increase model size
 - **Recommendation:** 32k vocabulary provides optimal balance for production use
 
@@ -137,12 +147,14 @@ Below are sample sentences tokenized with each vocabulary size:
 
 | N-gram | Variant | Perplexity | Entropy | Unique N-grams | Top-100 Coverage | Top-1000 Coverage |
 |--------|---------|------------|---------|----------------|------------------|-------------------|
-| **2-gram** | Word | 266,647 | 18.02 | 1,217,523 | 4.8% | 13.7% |
-| **2-gram** | Subword | 405 🏆 | 8.66 | 18,177 | 58.1% | 97.7% |
-| **3-gram** | Word | 580,086 | 19.15 | 1,735,864 | 4.1% | 9.8% |
-| **3-gram** | Subword | 3,752 | 11.87 | 159,097 | 20.7% | 61.1% |
-| **4-gram** | Word | 1,224,902 | 20.22 | 3,019,123 | 3.9% | 8.4% |
-| **4-gram** | Subword | 21,204 | 14.37 | 964,243 | 10.3% | 32.7% |
+| **2-gram** | Word | 267,397 | 18.03 | 1,224,963 | 4.8% | 13.7% |
+| **2-gram** | Subword | 404 🏆 | 8.66 | 18,219 | 58.1% | 97.7% |
+| **3-gram** | Word | 584,031 | 19.16 | 1,748,154 | 4.1% | 9.8% |
+| **3-gram** | Subword | 3,741 | 11.87 | 158,841 | 20.7% | 61.1% |
+| **4-gram** | Word | 1,231,291 | 20.23 | 3,034,353 | 3.9% | 8.4% |
+| **4-gram** | Subword | 21,126 | 14.37 | 962,195 | 10.3% | 32.7% |
+| **5-gram** | Word | 931,111 | 19.83 | 2,270,890 | 4.5% | 9.8% |
+| **5-gram** | Subword | 81,852 | 16.32 | 3,259,009 | 6.2% | 20.7% |
 
 ### Top 5 N-grams by Size
 
@@ -150,68 +162,88 @@ Below are sample sentences tokenized with each vocabulary size:
 
 | Rank | N-gram | Count |
 |------|--------|-------|
-| 1 | `və ya` | 82,539 |
-| 2 | `xarici keçidlər` | 64,635 |
-| 3 | `həmçinin bax` | 61,223 |
-| 4 | `i̇stinadlar xarici` | 45,022 |
-| 5 | `i̇stinadlar həmçinin` | 30,535 |
+| 1 | `və ya` | 84,279 |
+| 2 | `xarici keçidlər` | 65,570 |
+| 3 | `həmçinin bax` | 61,824 |
+| 4 | `i̇stinadlar xarici` | 45,903 |
+| 5 | `i̇stinadlar həmçinin` | 30,953 |
 
 **3-grams (Word):**
 
 | Rank | N-gram | Count |
 |------|--------|-------|
-| 1 | `i̇stinadlar xarici keçidlər` | 44,533 |
-| 2 | `i̇stinadlar həmçinin bax` | 30,508 |
-| 3 | `fəsiləsinin cinsinə aid` | 20,829 |
-| 4 | `dəstəsinin fəsiləsinin cinsinə` | 18,108 |
-| 5 | `aid bitki növü` | 17,478 |
+| 1 | `i̇stinadlar xarici keçidlər` | 45,411 |
+| 2 | `i̇stinadlar həmçinin bax` | 30,925 |
+| 3 | `fəsiləsinin cinsinə aid` | 20,614 |
+| 4 | `dəstəsinin fəsiləsinin cinsinə` | 18,390 |
+| 5 | `aid bitki növü` | 17,244 |
 
 **4-grams (Word):**
 
 | Rank | N-gram | Count |
 |------|--------|-------|
-| 1 | `dəstəsinin fəsiləsinin cinsinə aid` | 18,108 |
-| 2 | `cinsinə aid bitki növü` | 17,459 |
-| 3 | `fəsiləsinin cinsinə aid bitki` | 17,424 |
-| 4 | `aləminin dəstəsinin fəsiləsinin cinsinə` | 14,444 |
-| 5 | `növü i̇stinadlar həmçinin bax` | 10,412 |
+| 1 | `dəstəsinin fəsiləsinin cinsinə aid` | 18,390 |
+| 2 | `cinsinə aid bitki növü` | 17,225 |
+| 3 | `fəsiləsinin cinsinə aid bitki` | 17,194 |
+| 4 | `aləminin dəstəsinin fəsiləsinin cinsinə` | 14,711 |
+| 5 | `növü i̇stinadlar həmçinin bax` | 10,186 |
+
+**5-grams (Word):**
+
+| Rank | N-gram | Count |
+|------|--------|-------|
+| 1 | `fəsiləsinin cinsinə aid bitki növü` | 17,191 |
+| 2 | `dəstəsinin fəsiləsinin cinsinə aid bitki` | 15,001 |
+| 3 | `aləminin dəstəsinin fəsiləsinin cinsinə aid` | 14,711 |
+| 4 | `cinsinə aid bitki növü i̇stinadlar` | 9,355 |
+| 5 | `yeni ümumi kataloqda qeydə alınmış` | 8,316 |
 
 **2-grams (Subword):**
 
 | Rank | N-gram | Count |
 |------|--------|-------|
-| 1 | `n _` | 7,988,809 |
-| 2 | `ə _` | 6,442,941 |
-| 3 | `i n` | 6,166,226 |
-| 4 | `a r` | 5,329,650 |
-| 5 | `ə r` | 5,265,570 |
+| 1 | `n _` | 8,039,357 |
+| 2 | `ə _` | 6,502,225 |
+| 3 | `i n` | 6,211,070 |
+| 4 | `a r` | 5,368,955 |
+| 5 | `ə r` | 5,307,819 |
 
 **3-grams (Subword):**
 
 | Rank | N-gram | Count |
 |------|--------|-------|
-| 1 | `l ə r` | 2,404,591 |
-| 2 | `l a r` | 2,255,189 |
-| 3 | `d ə _` | 2,141,762 |
-| 4 | `i n _` | 2,027,629 |
-| 5 | `a n _` | 1,821,260 |
+| 1 | `l ə r` | 2,430,392 |
+| 2 | `l a r` | 2,275,096 |
+| 3 | `d ə _` | 2,158,334 |
+| 4 | `i n _` | 2,041,519 |
+| 5 | `a n _` | 1,830,488 |
 
 **4-grams (Subword):**
 
 | Rank | N-gram | Count |
 |------|--------|-------|
-| 1 | `_ v ə _` | 1,462,860 |
-| 2 | `l ə r i` | 1,237,145 |
-| 3 | `l a r ı` | 1,052,371 |
-| 4 | `i n d ə` | 1,049,474 |
-| 5 | `n i n _` | 951,332 |
+| 1 | `_ v ə _` | 1,480,720 |
+| 2 | `l ə r i` | 1,249,750 |
+| 3 | `l a r ı` | 1,061,145 |
+| 4 | `i n d ə` | 1,055,926 |
+| 5 | `n i n _` | 957,274 |
+
+**5-grams (Subword):**
+
+| Rank | N-gram | Count |
+|------|--------|-------|
+| 1 | `i n i n _` | 790,811 |
+| 2 | `l ə r i n` | 652,788 |
+| 3 | `i n d ə _` | 641,243 |
+| 4 | `l a r ı n` | 574,577 |
+| 5 | `ı n d a _` | 522,632 |
 
 
 ### Key Findings
 
-- **Best Perplexity:** 2-gram (subword) with 405
+- **Best Perplexity:** 2-gram (subword) with 404
 - **Entropy Trend:** Decreases with larger n-grams (more predictable)
-- **Coverage:** Top-1000 patterns cover ~33% of corpus
+- **Coverage:** Top-1000 patterns cover ~21% of corpus
 - **Recommendation:** 4-gram or 5-gram for best predictive performance
 
 ---
@@ -227,14 +259,14 @@ Below are sample sentences tokenized with each vocabulary size:
 
 | Context | Variant | Avg Entropy | Perplexity | Branching Factor | Unique Contexts | Predictability |
 |---------|---------|-------------|------------|------------------|-----------------|----------------|
-| **1** | Word | 0.9394 | 1.918 | 11.41 | 1,714,220 | 6.1% |
-| **1** | Subword | 1.1697 | 2.250 | 8.00 | 8,084 | 0.0% |
-| **2** | Word | 0.3187 | 1.247 | 1.95 | 19,534,498 | 68.1% |
-| **2** | Subword | 0.7478 | 1.679 | 5.29 | 64,659 | 25.2% |
-| **3** | Word | 0.1043 | 1.075 | 1.20 | 37,988,863 | 89.6% |
-| **3** | Subword | 0.8132 | 1.757 | 4.77 | 341,910 | 18.7% |
-| **4** | Word | 0.0351 🏆 | 1.025 | 1.05 | 45,491,212 | 96.5% |
-| **4** | Subword | 0.7291 | 1.658 | 3.64 | 1,630,545 | 27.1% |
+| **1** | Word | 0.9399 | 1.918 | 11.42 | 1,720,154 | 6.0% |
+| **1** | Subword | 1.1732 | 2.255 | 8.01 | 8,102 | 0.0% |
+| **2** | Word | 0.3192 | 1.248 | 1.95 | 19,621,953 | 68.1% |
+| **2** | Subword | 0.7463 | 1.678 | 5.27 | 64,909 | 25.4% |
+| **3** | Word | 0.1046 | 1.075 | 1.20 | 38,212,993 | 89.5% |
+| **3** | Subword | 0.8107 | 1.754 | 4.76 | 342,087 | 18.9% |
+| **4** | Word | 0.0352 🏆 | 1.025 | 1.06 | 45,793,057 | 96.5% |
+| **4** | Subword | 0.7288 | 1.657 | 3.64 | 1,627,867 | 27.1% |
 
 ### Generated Text Samples (Word-based)
 
@@ -242,27 +274,27 @@ Below are text samples generated from each word-based Markov chain model:
 
 **Context Size 1:**
 
-1. `və digər qarağac küçəsində yerləşən bike travel channel saytında volodya rubinin hekayəsinin sadələş...`
-2. `ildə göyçə kanalı 2 4 kimi qəbul və ya radiodalğaların ortaya çıxmışdı fransız şərqşünas vital bakım`
-3. `ilə rəqabət üstünlükləri üçün ilham alınmışdır yava nın rəhbəri aqrar sahədə süni tıxacı qanunu pozm...`
+1. `və 25 cilddə v əsr kilsələri keçmiş rodeziya adlı ilk britaniya və həyat və proqramlar efir`
+2. `ildə fiziki cəhətdən əlverişsiz şərait yaratdı o təbriz universitetində asiya ölkələrinə marşal çini...`
+3. `ilə yenidən tamaşaya qoyur və şirvanşahlar taxtında gözü ilə habelə qafqazın qərbi avropada və genos...`
 
 **Context Size 2:**
 
-1. `və ya onun mənzilinin nə qədər qorxunc idilər həmin gün masovkada iştirak etməyi özləri üçün nisbətə...`
-2. `xarici keçidlər hissi`
-3. `i̇stinadlar xarici keçidlər romario sambafoot com romario siyasətə qatıldı futbolçuları fk oyunçular...`
+1. `və ya yalan olan bir cismin səthinin digər cismin səthi arasındakı əlaqəni araşdırır i̇sbat nəzəriyy...`
+2. `xarici keçidlər ssr xalq hərbi dəniz nazirinin köməkçisi içləyib ilin iyun ayında çimkent şəhəri res...`
+3. `i̇stinadlar xarici keçidlər yanvar kaltenbrunner bir parade videosu nuremberg duruşmasında kaltenbru...`
 
 **Context Size 3:**
 
-1. `i̇stinadlar xarici keçidlər середа с а перспективы охраны авторских и смежных прав в условиях распро...`
-2. `fəsiləsinin cinsinə aid heyvan növü i̇stinadlar həmçinin bax aprel işğalı əlavə ədəbiyyat sovet sosi...`
-3. `dəstəsinin fəsiləsinin cinsinə aid bitki növü i̇stinadlar həmçinin bax koreyanın xüsusi şəhərləri i̇...`
+1. `i̇stinadlar xarici keçidlər profile at sport resutls org kişi velosipedçilər sürücüləri yay olimpiya...`
+2. `fəsiləsinin cinsinə aid bitki növü sinonimləri heterotipik sinonimləri i̇stinadlar həmçinin bax i̇ra...`
+3. `dəstəsinin fəsiləsinin cinsinə aid bitki növü i̇stinadlar həmçinin bax nizami süleymanov kərrar əbil...`
 
 **Context Size 4:**
 
-1. `dəstəsinin fəsiləsinin cinsinə aid heyvan növü i̇stinadlar həmçinin bax ildə təsvir edilən bitkilər ...`
-2. `cinsinə aid bitki növü i̇stinadlar həmçinin bax ildə təsvir edilən bitkilər linney tərəfindən adland...`
-3. `fəsiləsinin cinsinə aid bitki növü ulvanın tallomu lövhəşəkilli parlaq yaşıl rəngli olub kənarları b...`
+1. `dəstəsinin fəsiləsinin cinsinə aid heyvan növü i̇stinadlar həmçinin bax ildə təsvir edilən sərtqanad...`
+2. `cinsinə aid bitki növü təbii yayılması botaniki təsviri ekologiyası azərbaycanda yayılması i̇stifadə...`
+3. `fəsiləsinin cinsinə aid bitki növü i̇stinadlar həmçinin bax ildə təsvir edilən bitkilər ildə təsvir ...`
 
 
 ### Generated Text Samples (Subword-based)
@@ -271,34 +303,34 @@ Below are text samples generated from each subword-based Markov chain model:
 
 **Context Size 1:**
 
-1. `_dalmuny_isuməla`
-2. `allədi,_ilqəbulə`
-3. `i_1._sın_lirpriy`
+1. `_sindırə,_ke_enı`
+2. `ak,_xşdinrmisə_i`
+3. `inı_bondəkilayaq`
 
 **Context Size 2:**
 
-1. `n_ya_tabı_vəfalar`
-2. `ə_birilarabaxi:_а`
-3. `inəşdira_meyvali_`
+1. `n_bələ_hüsymətliq`
+2. `ə_onlan_ehrə_il_m`
+3. `indlaşı_atınd_eds`
 
 **Context Size 3:**
 
-1. `ləri_və_şimalınmas`
-2. `ları_ekspilm)_+рас`
-3. `də_onlar,_ərbi_tağ`
+1. `lər_kuboku_olanmas`
+2. `lar._söz_əlaqədi_b`
+3. `də_yabr_ilə_yer,_r`
 
 **Context Size 4:**
 
-1. `_və_kəndləri_kimi_f`
-2. `ləri,_ildə_etdirir.`
-3. `ində_aztv_“günorta_`
+1. `_və_təhsili_ilə_çıx`
+2. `lərini_100_mində_il`
+3. `indən_yazdı,_lakin_`
 
 
 ### Key Findings
 
 - **Best Predictability:** Context-4 (word) with 96.5% predictability
 - **Branching Factor:** Decreases with context size (more deterministic)
-- **Memory Trade-off:** Larger contexts require more storage (1,630,545 contexts)
+- **Memory Trade-off:** Larger contexts require more storage (1,627,867 contexts)
 - **Recommendation:** Context-3 or Context-4 for text generation
 
 ---
@@ -314,64 +346,64 @@ Below are text samples generated from each subword-based Markov chain model:
 
 | Metric | Value |
 |--------|-------|
-| Vocabulary Size | 753,394 |
-| Total Tokens | 53,281,406 |
-| Mean Frequency | 70.72 |
+| Vocabulary Size | 756,239 |
+| Total Tokens | 53,635,250 |
+| Mean Frequency | 70.92 |
 | Median Frequency | 4 |
-| Frequency Std Dev | 2273.78 |
+| Frequency Std Dev | 2293.39 |
 
 ### Most Common Words
 
 | Rank | Word | Frequency |
 |------|------|-----------|
-| 1 | və | 1,467,833 |
-| 2 | ildə | 410,483 |
-| 3 | ilə | 408,441 |
-| 4 | bir | 361,923 |
-| 5 | bu | 355,796 |
-| 6 | də | 228,505 |
-| 7 | azərbaycan | 220,507 |
-| 8 | üçün | 219,884 |
-| 9 | olan | 219,730 |
-| 10 | sonra | 179,588 |
+| 1 | və | 1,485,732 |
+| 2 | ildə | 413,531 |
+| 3 | ilə | 412,011 |
+| 4 | bir | 365,123 |
+| 5 | bu | 360,987 |
+| 6 | də | 230,701 |
+| 7 | üçün | 222,167 |
+| 8 | azərbaycan | 221,202 |
+| 9 | olan | 220,810 |
+| 10 | sonra | 181,029 |
 
 ### Least Common Words (from vocabulary)
 
 | Rank | Word | Frequency |
 |------|------|-----------|
-| 1 | i̇netimi | 2 |
-| 2 | timayanın | 2 |
-| 3 | llnp | 2 |
-| 4 | moqrovexonun | 2 |
-| 5 | məhkəməsiazərbaycan | 2 |
-| 6 | nəbiqə | 2 |
-| 7 | zübyani | 2 |
-| 8 | əşanı | 2 |
-| 9 | tülücü | 2 |
-| 10 | yenidoğulanlar | 2 |
+| 1 | gallaghers | 2 |
+| 2 | liamın | 2 |
+| 3 | liamla | 2 |
+| 4 | backstab | 2 |
+| 5 | antonioi | 2 |
+| 6 | nipissinq | 2 |
+| 7 | votivkirche | 2 |
+| 8 | pirtle | 2 |
+| 9 | takaxasinin | 2 |
+| 10 | caporael | 2 |
 
 ### Zipf's Law Analysis
 
 | Metric | Value |
 |--------|-------|
 | Zipf Coefficient | 0.9645 |
-| R² (Goodness of Fit) | 0.992332 |
+| R² (Goodness of Fit) | 0.992387 |
 | Adherence Quality | **excellent** |
 
 ### Coverage Analysis
 
 | Top N Words | Coverage |
 |-------------|----------|
-| Top 100 | 20.7% |
+| Top 100 | 20.8% |
 | Top 1,000 | 45.3% |
-| Top 5,000 | 65.4% |
+| Top 5,000 | 65.5% |
 | Top 10,000 | 73.7% |
 
 ### Key Findings
 
-- **Zipf Compliance:** R²=0.9923 indicates excellent adherence to Zipf's law
-- **High Frequency Dominance:** Top 100 words cover 20.7% of corpus
-- **Long Tail:** 743,394 words needed for remaining 26.3% coverage
+- **Zipf Compliance:** R²=0.9924 indicates excellent adherence to Zipf's law
+- **High Frequency Dominance:** Top 100 words cover 20.8% of corpus
+- **Long Tail:** 746,239 words needed for remaining 26.3% coverage
 
 ---
 ## 5. Word Embeddings Evaluation
@@ -387,37 +419,40 @@ Below are text samples generated from each subword-based Markov chain model:
 
 ### 5.1 Cross-Lingual Alignment
 
-> *Note: Multilingual alignment visualization not available for this language.*
+![Alignment Quality](visualizations/embedding_alignment_quality.png)
+
+![Multilingual t-SNE](visualizations/embedding_tsne_multilingual.png)
 
 
 ### 5.2 Model Comparison
 
 | Model | Dimension | Isotropy | Semantic Density | Alignment R@1 | Alignment R@10 |
 |-------|-----------|----------|------------------|---------------|----------------|
-| **mono_32d** | 32 | 0.8147 🏆 | 0.3523 | N/A | N/A |
-| **mono_64d** | 64 | 0.8067 | 0.2814 | N/A | N/A |
-| **mono_128d** | 128 | 0.7697 | 0.2228 | N/A | N/A |
+| **mono_32d** | 32 | 0.8140 🏆 | 0.3681 | N/A | N/A |
+| **mono_64d** | 64 | 0.8077 | 0.2833 | N/A | N/A |
+| **mono_128d** | 128 | 0.7661 | 0.2223 | N/A | N/A |
+| **aligned_32d** | 32 | 0.8140 | 0.3594 | 0.1680 | 0.4820 |
+| **aligned_64d** | 64 | 0.8077 | 0.2928 | 0.2820 | 0.7100 |
+| **aligned_128d** | 128 | 0.7661 | 0.2246 | 0.4440 | 0.7780 |
 
 ### Key Findings
 
-- **Best Isotropy:** mono_32d with 0.8147 (more uniform distribution)
-- **Semantic Density:** Average pairwise similarity of 0.2855. Lower values indicate better semantic separation.
-- **Alignment Quality:** No aligned models evaluated in this run.
+- **Best Isotropy:** mono_32d with 0.8140 (more uniform distribution)
+- **Semantic Density:** Average pairwise similarity of 0.2918. Lower values indicate better semantic separation.
+- **Alignment Quality:** Aligned models achieve up to 44.4% R@1 in cross-lingual retrieval.
 - **Recommendation:** 128d aligned for best cross-lingual performance
 
 ---
 ## 6.  Morphological Analysis (Experimental)
 
-> ⚠️ **Warning:** This language shows low morphological productivity. The statistical signals used for this analysis may be noisy or less reliable than for morphologically rich languages.
-
 This section presents an automated morphological analysis derived from the statistical divergence between word-level and subword-level models. By analyzing where subword predictability spikes and where word-level coverage fails, we can infer linguistic structures without supervised data.
 
 ### 6.1 Productivity & Complexity
 
 | Metric | Value | Interpretation | Recommendation |
 |--------|-------|----------------|----------------|
-| Productivity Index | **0.000** | Low morphological productivity | ⚠️ Likely unreliable |
-| Idiomaticity Gap | **-1.000** | Low formulaic content | - |
+| Productivity Index | **5.000** | High morphological productivity | Reliable analysis |
+| Idiomaticity Gap | **-0.527** | Low formulaic content | - |
 
 ### 6.2 Affix Inventory (Productive Units)
 
@@ -430,14 +465,14 @@ These are the most productive prefixes and suffixes identified by sampling the v
 #### Productive Suffixes
 | Suffix | Examples |
 |--------|----------|
-| `-n` | qanqlionlarından, kreyin, i̇radənin |
-| `-a` | aoyama, puraka, şahhüseynova |
-| `-in` | kreyin, i̇radənin, naimin |
-| `-an` | qanqlionlarından, saldıran, məmulatdan |
-| `-ın` | hanedanının, quldurlarının, çarımın |
-| `-dan` | qanqlionlarından, məmulatdan, yazıçılarından |
-| `-ən` | sevgiən, kombateldən, filmdəkindən |
-| `-nın` | hanedanının, quldurlarının, medyanın |
+| `-n` | kinopovestin, kristofferson, morfologiyasının |
+| `-a` | metraja, irradiyasiya, razumovskaya |
+| `-in` | kinopovestin, kriolitin, şikin |
+| `-ın` | morfologiyasının, başın, buxtaların |
+| `-an` | mozaikasından, qaçmazdan, tsiklopropan |
+| `-ar` | vəzifəsimajoritar, yaratmışlar, tubalar |
+| `-ən` | pərakəndəliyindən, gərginləşməsindən, birincidən |
+| `-nın` | morfologiyasının, tistanın, andrianın |
 
 ### 6.3 Bound Stems (Lexical Roots)
 
@@ -445,18 +480,18 @@ Bound stems are high-frequency subword units that are semantically cohesive but
 
 | Stem | Cohesion | Substitutability | Examples |
 |------|----------|------------------|----------|
-| `ərba` | 2.77x | 42 contexts | ərbaş, bərba, ərbab |
-| `ayca` | 2.92x | 24 contexts | cayca, aycan, sayca |
-| `rbay` | 2.33x | 54 contexts | erbay, arbay, orbay |
-| `arix` | 2.02x | 69 contexts | tarix, farix, larix |
-| `nlar` | 1.37x | 429 contexts | anlar, onlar, nları |
-| `irlə` | 1.36x | 390 contexts | pirlə, birlə, virlə |
-| `mişd` | 1.58x | 164 contexts | mişdi, emişdi, mişdir |
-| `mışd` | 1.62x | 142 contexts | mışdı, mışdır, aşmışdı |
-| `rləş` | 1.82x | 76 contexts | yerləş, birləş, yrləşən |
-| `ycan` | 2.87x | 13 contexts | aycan, beycan, bəycan |
-| `ərəf` | 1.65x | 87 contexts | ərəfə, tərəf, şərəf |
-| `qlar` | 1.38x | 199 contexts | aqlar, qlarn, doqlar |
+| `ərba` | 2.70x | 42 contexts | ərbaa, ərbab, lərba |
+| `rbay` | 2.38x | 53 contexts | orbay, arbay, erbay |
+| `arix` | 2.17x | 73 contexts | larix, tarix, farix |
+| `ayca` | 2.82x | 24 contexts | cayca, tayca, sayca |
+| `mişd` | 1.65x | 164 contexts | mişdi, emişdi, mişdir |
+| `nlar` | 1.37x | 429 contexts | anlar, nları, onlar |
+| `ərəf` | 1.80x | 86 contexts | şərəf, ərəfə, tərəf |
+| `lmiş` | 1.76x | 94 contexts | ölmiş, almiş, olmiş |
+| `mışd` | 1.60x | 142 contexts | mışdı, mışdır, camışda |
+| `ycan` | 2.94x | 13 contexts | aycan, bəycan, beycan |
+| `qlar` | 1.45x | 196 contexts | aqlar, qlarn, lıqlar |
+| `əfin` | 1.66x | 97 contexts | rəfin, dəfin, səfinə |
 
 ### 6.4 Affix Compatibility (Co-occurrence)
 
@@ -471,26 +506,26 @@ Using **Recursive Hierarchical Substitutability**, we decompose complex words in
 
 | Word | Suggested Split | Confidence | Stem |
 |------|-----------------|------------|------|
-| şəyirdlərindən | **`şəyirdlər-in-dən`** | 6.0 | `şəyirdlər` |
-| yeməklərindən | **`yeməklər-in-dən`** | 6.0 | `yeməklər` |
-| qalxandan | **`qalx-an-dan`** | 6.0 | `qalx` |
-| kitabından | **`kitab-ın-dan`** | 6.0 | `kitab` |
-| açarından | **`açar-ın-dan`** | 6.0 | `açar` |
-| patriarxından | **`patriarx-ın-dan`** | 6.0 | `patriarx` |
-| gətirəndən | **`gətir-ən-dən`** | 6.0 | `gətir` |
-| qadağadan | **`qadağa-dan`** | 4.5 | `qadağa` |
-| ştirlisin | **`ştirlis-in`** | 4.5 | `ştirlis` |
-| fikirlərinin | **`fikirləri-nin`** | 4.5 | `fikirləri` |
-| təyyarəsinin | **`təyyarəsi-nin`** | 4.5 | `təyyarəsi` |
-| frenkinin | **`frenki-nin`** | 4.5 | `frenki` |
-| məzmundan | **`məzmun-dan`** | 4.5 | `məzmun` |
-| aerodinamikanın | **`aerodinamika-nın`** | 4.5 | `aerodinamika` |
-| intonasiyalardan | **`intonasiyalar-dan`** | 4.5 | `intonasiyalar` |
+| foneminin | **`fonem-in-in`** | 6.0 | `fonem` |
+| təmsillərinin | **`təmsillər-in-in`** | 6.0 | `təmsillər` |
+| qətiyyətinin | **`qətiyyət-in-in`** | 6.0 | `qətiyyət` |
+| büküşlərinin | **`büküşlər-in-in`** | 6.0 | `büküşlər` |
+| hədisçilərinin | **`hədisçilər-in-in`** | 6.0 | `hədisçilər` |
+| planlaşdırmaqda | **`planlaşdırmaq-da`** | 4.5 | `planlaşdırmaq` |
+| bölmələrimizin | **`bölmələrimiz-in`** | 4.5 | `bölmələrimiz` |
+| heteranın | **`hetera-nın`** | 4.5 | `hetera` |
+| somervillin | **`somervill-in`** | 4.5 | `somervill` |
+| tanımanın | **`tanıma-nın`** | 4.5 | `tanıma` |
+| meyitlərin | **`meyitlər-in`** | 4.5 | `meyitlər` |
+| kameralizmin | **`kameralizm-in`** | 4.5 | `kameralizm` |
+| burnettin | **`burnett-in`** | 4.5 | `burnett` |
+| mussadıqın | **`mussadıq-ın`** | 4.5 | `mussadıq` |
+| qalaçanın | **`qalaça-nın`** | 4.5 | `qalaça` |
 
 ### 6.6 Linguistic Interpretation
 
 > **Automated Insight:**
-The language AZ appears to be more isolating or has a highly fixed vocabulary. Word-level models perform nearly as well as subword models, indicating fewer productive morphological processes.
+The language Azerbaijani shows high morphological productivity. The subword models are significantly more efficient than word models, suggesting a rich system of affixation or compounding.
 
 ---
 ## 7. Summary & Recommendations
@@ -502,7 +537,7 @@ The language AZ appears to be more isolating or has a highly fixed vocabulary. W
 | Component | Recommended | Rationale |
 |-----------|-------------|-----------|
 | Tokenizer | **64k BPE** | Best compression (5.13x) |
-| N-gram | **2-gram** | Lowest perplexity (405) |
+| N-gram | **2-gram** | Lowest perplexity (404) |
 | Markov | **Context-4** | Highest predictability (96.5%) |
 | Embeddings | **100d** | Balanced semantic capture and isotropy |
 
@@ -717,4 +752,4 @@ MIT License - Free for academic and commercial use.
 ---
 *Generated by Wikilangs Models Pipeline*
 
-*Report Date: 2026-01-03 09:50:56*
+*Report Date: 2026-01-04 14:36:36*

models/embeddings/aligned/az_128d.bin

@@ -0,0 +1,3 @@
+version https://git-lfs.github.com/spec/v1
+oid sha256:b46ba1b052b35932bc6f51e2fe778de34960a65c3baa640f6ed25c40dab3b5d3
+size 1527436825

models/embeddings/aligned/az_128d.meta.json

@@ -0,0 +1 @@
+{"lang": "az", "dim": 128, "max_seq_len": 512, "is_aligned": true}

models/embeddings/aligned/az_128d.projection.npy

@@ -0,0 +1,3 @@
+version https://git-lfs.github.com/spec/v1
+oid sha256:2439fe0a1148bf99a41df0c37a0ce3171d6bf61a8eb45bd372461116a47ac7d4
+size 65664

models/embeddings/aligned/az_128d_metadata.json

@@ -0,0 +1,8 @@
+{
+  "language": "az",
+  "dimension": 128,
+  "version": "aligned",
+  "hub_language": "en",
+  "seed_vocab_size": 84414,
+  "vocab_size": 482300
+}

models/embeddings/aligned/az_32d.bin

@@ -0,0 +1,3 @@
+version https://git-lfs.github.com/spec/v1
+oid sha256:cf83be887640b63db335f2ea2b265802460f71e1b5d35df94c51b678b62746d5
+size 389030425

models/embeddings/aligned/az_32d.meta.json

@@ -0,0 +1 @@
+{"lang": "az", "dim": 32, "max_seq_len": 512, "is_aligned": true}

models/embeddings/aligned/az_32d.projection.npy

@@ -0,0 +1,3 @@
+version https://git-lfs.github.com/spec/v1
+oid sha256:161b2536a9024040d0a0faad847463eb203576a5211e7dc8dad1f611de0c7ec3
+size 4224

models/embeddings/aligned/az_32d_metadata.json

@@ -0,0 +1,8 @@
+{
+  "language": "az",
+  "dimension": 32,
+  "version": "aligned",
+  "hub_language": "en",
+  "seed_vocab_size": 84414,
+  "vocab_size": 482300
+}

models/embeddings/aligned/az_64d.bin

@@ -0,0 +1,3 @@
+version https://git-lfs.github.com/spec/v1
+oid sha256:04403b5768b23d9cc4fbf7e48dddd21508a562afa20c0faed9a5206599d45d8b
+size 768499225

models/embeddings/aligned/az_64d.meta.json

@@ -0,0 +1 @@
+{"lang": "az", "dim": 64, "max_seq_len": 512, "is_aligned": true}

models/embeddings/aligned/az_64d.projection.npy

@@ -0,0 +1,3 @@
+version https://git-lfs.github.com/spec/v1
+oid sha256:5c3092c75598cf4cfd0df755b1a8b05892d8f9a44d0bd52e5b4a52e669dca9cb
+size 16512

models/embeddings/aligned/az_64d_metadata.json

@@ -0,0 +1,8 @@
+{
+  "language": "az",
+  "dimension": 64,
+  "version": "aligned",
+  "hub_language": "en",
+  "seed_vocab_size": 84414,
+  "vocab_size": 482300
+}

models/embeddings/monolingual/az_128d.bin

@@ -1,3 +1,3 @@
 version https://git-lfs.github.com/spec/v1
-oid sha256:5d1aa42ac742f348af9cadb50b55f34e366914efb75ea61aa97a9c20e03e13b6
-size 1525679150
+oid sha256:b46ba1b052b35932bc6f51e2fe778de34960a65c3baa640f6ed25c40dab3b5d3
+size 1527436825

models/embeddings/monolingual/az_128d_metadata.json

@@ -11,5 +11,5 @@
     "encoding_method": "rope",
     "dim": 128
   },
-  "vocab_size": 480615
+  "vocab_size": 482300
 }

models/embeddings/monolingual/az_32d.bin

@@ -1,3 +1,3 @@
 version https://git-lfs.github.com/spec/v1
-oid sha256:d370a43819df505438eb10c3e53922a704d1a21f86aab04f73bbd33be8dd0075
-size 388566830
+oid sha256:cf83be887640b63db335f2ea2b265802460f71e1b5d35df94c51b678b62746d5
+size 389030425

models/embeddings/monolingual/az_32d_metadata.json

@@ -11,5 +11,5 @@
     "encoding_method": "rope",
     "dim": 32
   },
-  "vocab_size": 480615
+  "vocab_size": 482300
 }

models/embeddings/monolingual/az_64d.bin

@@ -1,3 +1,3 @@
 version https://git-lfs.github.com/spec/v1
-oid sha256:4072e85e7840ba265c42156dd1d4f2342da7fb62cb52ac21d1b6fdbb2ecc2fba
-size 767604270
+oid sha256:04403b5768b23d9cc4fbf7e48dddd21508a562afa20c0faed9a5206599d45d8b
+size 768499225

models/embeddings/monolingual/az_64d_metadata.json

@@ -11,5 +11,5 @@
     "encoding_method": "rope",
     "dim": 64
   },
-  "vocab_size": 480615
+  "vocab_size": 482300
 }

models/subword_markov/az_markov_ctx1_subword.parquet

@@ -1,3 +1,3 @@
 version https://git-lfs.github.com/spec/v1
-oid sha256:6c7409ea67865357c325ca7f791fa272f8dad5c303f2dca201b90c8247483c09
-size 458216
+oid sha256:4b79afae90d5b990021e1abbebe8f39e487ee4b1fb8a1fa2e42e020b052b083d
+size 455906

models/subword_markov/az_markov_ctx1_subword_metadata.json

@@ -2,6 +2,6 @@
   "context_size": 1,
   "variant": "subword",
   "language": "az",
-  "unique_contexts": 8084,
-  "total_transitions": 408780568
+  "unique_contexts": 8102,
+  "total_transitions": 411540446
 }

models/subword_markov/az_markov_ctx2_subword.parquet

@@ -1,3 +1,3 @@
 version https://git-lfs.github.com/spec/v1
-oid sha256:4d5864cd1185e963b662764ec1b090edf953a69e9dc6e006716f24e0b3428d9c
-size 2804436
+oid sha256:8ae491954efd141eb449d0607575f9a8d6ea3ebdddafc2a11bcf0c0f5afba28a
+size 2765159

models/subword_markov/az_markov_ctx2_subword_metadata.json

@@ -2,6 +2,6 @@
   "context_size": 2,
   "variant": "subword",
   "language": "az",
-  "unique_contexts": 64659,
-  "total_transitions": 408574228
+  "unique_contexts": 64909,
+  "total_transitions": 411332483
 }

models/subword_markov/az_markov_ctx3_subword.parquet

@@ -1,3 +1,3 @@
 version https://git-lfs.github.com/spec/v1
-oid sha256:fbfe0023ffc34f51e9adb5b0123c302c4505ca0f78d9903a5353ad83bc040ca2
-size 13127533
+oid sha256:543c4822ffc5c1152310fec0689fd7b4c2feff03ae031aeca69cc41b0b2dd182
+size 13156257

models/subword_markov/az_markov_ctx3_subword_metadata.json

@@ -2,6 +2,6 @@
   "context_size": 3,
   "variant": "subword",
   "language": "az",
-  "unique_contexts": 341910,
-  "total_transitions": 408367888
+  "unique_contexts": 342087,
+  "total_transitions": 411124520
 }

models/subword_markov/az_markov_ctx4_subword.parquet

@@ -1,3 +1,3 @@
 version https://git-lfs.github.com/spec/v1
-oid sha256:d1d38b5ce80eb4dbc53717d081e6f5c463f70eb15ac6704164d701a01b5d73c8
-size 47177591
+oid sha256:c70e92c5dcd635adfdcd222a690ede60f9a274e27fe6e74fe3ee9158b8df54eb
+size 47266573

models/subword_markov/az_markov_ctx4_subword_metadata.json

@@ -2,6 +2,6 @@
   "context_size": 4,
   "variant": "subword",
   "language": "az",
-  "unique_contexts": 1630545,
-  "total_transitions": 408161548
+  "unique_contexts": 1627867,
+  "total_transitions": 410916557
 }

models/subword_ngram/az_2gram_subword.parquet

@@ -1,3 +1,3 @@
 version https://git-lfs.github.com/spec/v1
-oid sha256:01b117009956861092e54c0b117771ba989b4436c6acc79c1f645ff057025622
-size 254254
+oid sha256:4e4094a2cfd09d96d736ee20e6dedab981a8b31598ff00fbb8f28137eb84f1e8
+size 255378

models/subword_ngram/az_2gram_subword_metadata.json

@@ -2,6 +2,6 @@
   "n": 2,
   "variant": "subword",
   "language": "az",
-  "unique_ngrams": 18177,
-  "total_ngrams": 408780568
+  "unique_ngrams": 18219,
+  "total_ngrams": 411540446
 }

models/subword_ngram/az_3gram_subword.parquet

@@ -1,3 +1,3 @@
 version https://git-lfs.github.com/spec/v1
-oid sha256:4e107d66818a354fecbd66a36ed7ba07ddeb4d4ba1af9def9601f9c38123b5bf
-size 2033861
+oid sha256:528cc5e08e946322542308a651296e68fda8e7f2c4d463ef2e8ce4120e601566
+size 2016526

models/subword_ngram/az_3gram_subword_metadata.json

@@ -2,6 +2,6 @@
   "n": 3,
   "variant": "subword",
   "language": "az",
-  "unique_ngrams": 159097,
-  "total_ngrams": 408574228
+  "unique_ngrams": 158841,
+  "total_ngrams": 411332483
 }

models/subword_ngram/az_4gram_subword.parquet

@@ -1,3 +1,3 @@
 version https://git-lfs.github.com/spec/v1
-oid sha256:77a17978a0469bc6812197f3796b161e5474248d30fdc332daa5a855081be2ab
-size 12006457
+oid sha256:d1742dbb434165bff2827355e118af4471ae00e1c77f13ae31524b61932360f7
+size 11969438

models/subword_ngram/az_4gram_subword_metadata.json

@@ -2,6 +2,6 @@
   "n": 4,
   "variant": "subword",
   "language": "az",
-  "unique_ngrams": 964243,
-  "total_ngrams": 408367888
+  "unique_ngrams": 962195,
+  "total_ngrams": 411124520
 }

models/subword_ngram/az_5gram_subword.parquet

@@ -0,0 +1,3 @@
+version https://git-lfs.github.com/spec/v1
+oid sha256:70529944a2ad79220a459b936cc804e2c2766fe75e8bc1745a542fb7c66fa523
+size 41203229

models/subword_ngram/az_5gram_subword_metadata.json

@@ -0,0 +1,7 @@
+{
+  "n": 5,
+  "variant": "subword",
+  "language": "az",
+  "unique_ngrams": 3259009,
+  "total_ngrams": 410916557
+}

models/tokenizer/az_tokenizer_16k.model

@@ -1,3 +1,3 @@
 version https://git-lfs.github.com/spec/v1
-oid sha256:5d3bccd20c5d35def160ef9f75d6c037555118c80fb3b040300f3fde4b6134ad
-size 525178
+oid sha256:3430004f2f06a739f24683cede680b53cdb396520eef92087708aaed5b9c488c
+size 525300

models/tokenizer/az_tokenizer_32k.model

@@ -1,3 +1,3 @@
 version https://git-lfs.github.com/spec/v1
-oid sha256:fd39d1d92e7df1344fde819e809b74326c591787c873fa720a5fd8890b719f47
-size 827135
+oid sha256:e92388cb43f9f6024f3e63fcdc71ae4a4373847f06cc4b3591f17fc241a69358
+size 827326

models/tokenizer/az_tokenizer_64k.model

@@ -1,3 +1,3 @@
 version https://git-lfs.github.com/spec/v1
-oid sha256:a276acb692e24539e0cc305ad0e3f3f4e3933a990782bddba5a70cd50a37d340
-size 1442474
+oid sha256:7ee32dd13a6a85672bd32399004d02f25c58a359b51760790769f7e1862514b5
+size 1443741

models/tokenizer/az_tokenizer_8k.model

@@ -1,3 +1,3 @@
 version https://git-lfs.github.com/spec/v1
-oid sha256:c4cea7e32c79e0a8f2372c125bd6ffd15c6db94b9860203f1518d4710f23cd59
-size 379373
+oid sha256:510cce948124ac5f2f6aa61bb41305eba0cd4c63cfe3bda43327caa6f06207d0
+size 379370

models/vocabulary/az_vocabulary.parquet

@@ -1,3 +1,3 @@
 version https://git-lfs.github.com/spec/v1
-oid sha256:c5a35d8cbf3baef9f4f72d17c5715a1606edf5cd9c35ab2b583aeb2454944099
-size 11798895
+oid sha256:aa0ee519296464675a9036bd37b6e4883825e3411db8bec28340f6187f95b395
+size 11839727

models/vocabulary/az_vocabulary_metadata.json

@@ -1,17 +1,17 @@
 {
   "language": "az",
-  "vocabulary_size": 753394,
+  "vocabulary_size": 756239,
   "variant": "full",
   "statistics": {
-    "type_token_ratio": 0.03161422652176624,
+    "type_token_ratio": 0.03151627333092637,
     "coverage": {
-      "top_100": 0.20346273052205324,
-      "top_1000": 0.44472442805281387,
-      "top_5000": 0.6427898397241532,
-      "top_10000": 0.7236870151642821
+      "top_100": 0.2039517988648785,
+      "top_1000": 0.44508742002007223,
+      "top_5000": 0.6429971263810469,
+      "top_10000": 0.7238551252382953
     },
-    "hapax_count": 961452,
-    "hapax_ratio": 0.560663756395618,
-    "total_documents": 206340
+    "hapax_count": 964543,
+    "hapax_ratio": 0.5605259701693764,
+    "total_documents": 207963
   }
 }

models/word_markov/az_markov_ctx1_word.parquet

@@ -1,3 +1,3 @@
 version https://git-lfs.github.com/spec/v1
-oid sha256:552ab4c9e20cc54d226359a00acea16bbe48ee1f46733923ca6db57110f05da8
-size 189452830
+oid sha256:32f9e233daa168a3e48f58fdb17214ff8cdc9dde1b24f27b86692a416e439162
+size 190193554

models/word_markov/az_markov_ctx1_word_metadata.json

@@ -2,6 +2,6 @@
   "context_size": 1,
   "variant": "word",
   "language": "az",
-  "unique_contexts": 1714220,
-  "total_transitions": 54036518
+  "unique_contexts": 1720154,
+  "total_transitions": 54391830
 }

models/word_markov/az_markov_ctx2_word.parquet

@@ -1,3 +1,3 @@
 version https://git-lfs.github.com/spec/v1
-oid sha256:d9e7acc98680210a34fe7dd9401dfa34d443ac51b5045bb300561df4c105c25c
-size 600844050
+oid sha256:169557c3a748d25521981f5f6711a2dd553e89f3ba5927bf4dfeb5fae02404c6
+size 603928174

models/word_markov/az_markov_ctx2_word_metadata.json

@@ -2,6 +2,6 @@
   "context_size": 2,
   "variant": "word",
   "language": "az",
-  "unique_contexts": 19534498,
-  "total_transitions": 53830178
+  "unique_contexts": 19621953,
+  "total_transitions": 54183867
 }