Upload all models and assets for azb (latest)

.gitattributes

@@ -39,3 +39,4 @@ visualizations/position_encoding_comparison.png filter=lfs diff=lfs merge=lfs -t
 visualizations/tsne_sentences.png filter=lfs diff=lfs merge=lfs -text
 visualizations/tsne_words.png filter=lfs diff=lfs merge=lfs -text
 visualizations/zipf_law.png filter=lfs diff=lfs merge=lfs -text
+visualizations/embedding_tsne_multilingual.png filter=lfs diff=lfs merge=lfs -text

README.md

@@ -1,6 +1,6 @@
 ---
 language: azb
-language_name: AZB
+language_name: South Azerbaijani
 language_family: turkic_oghuz
 tags:
   - wikilangs
@@ -10,11 +10,21 @@ tags:
   - n-gram
   - markov
   - wikipedia
+  - feature-extraction
+  - sentence-similarity
+  - tokenization
+  - n-grams
+  - markov-chain
+  - text-mining
+  - fasttext
+  - babelvec
+  - vocabulous
+  - vocabulary
   - monolingual
   - family-turkic_oghuz
 license: mit
 library_name: wikilangs
-pipeline_tag: feature-extraction
+pipeline_tag: text-generation
 datasets:
   - omarkamali/wikipedia-monthly
 dataset_info:
@@ -23,20 +33,20 @@ dataset_info:
 metrics:
   - name: best_compression_ratio
     type: compression
-    value: 4.148
+    value: 4.154
   - name: best_isotropy
     type: isotropy
-    value: 0.8282
+    value: 0.8266
   - name: vocabulary_size
     type: vocab
     value: 0
 generated: 2026-01-03
 ---
 
-# AZB - Wikilangs Models
+# South Azerbaijani - Wikilangs Models
 ## Comprehensive Research Report & Full Ablation Study
 
-This repository contains NLP models trained and evaluated by Wikilangs, specifically on **AZB** Wikipedia data.
+This repository contains NLP models trained and evaluated by Wikilangs, specifically on **South Azerbaijani** Wikipedia data.
 We analyze tokenizers, n-gram models, Markov chains, vocabulary statistics, and word embeddings.
 
 ## 📋 Repository Contents
@@ -60,7 +70,7 @@ We analyze tokenizers, n-gram models, Markov chains, vocabulary statistics, and
 - [3. Markov Chain Evaluation](#3-markov-chain-evaluation)
 - [4. Vocabulary Analysis](#4-vocabulary-analysis)
 - [5. Word Embeddings Evaluation](#5-word-embeddings-evaluation)
-- [6. Morphological Analysis (Experimental)](#6-morphological-analysis)
+- [6. Morphological Analysis (Experimental)](#6--morphological-analysis-experimental)
 - [7. Summary & Recommendations](#7-summary--recommendations)
 - [Metrics Glossary](#appendix-metrics-glossary--interpretation-guide)
 - [Visualizations Index](#visualizations-index)
@@ -80,47 +90,47 @@ We analyze tokenizers, n-gram models, Markov chains, vocabulary statistics, and
 
 | Vocab Size | Compression | Avg Token Len | UNK Rate | Total Tokens |
 |------------|-------------|---------------|----------|--------------|
-| **8k** | 3.135x | 3.14 | 0.5011% | 364,218 |
-| **16k** | 3.510x | 3.51 | 0.5610% | 325,334 |
-| **32k** | 3.852x | 3.86 | 0.6157% | 296,427 |
-| **64k** | 4.148x 🏆 | 4.15 | 0.6629% | 275,291 |
+| **8k** | 3.140x | 3.14 | 0.4916% | 361,073 |
+| **16k** | 3.514x | 3.52 | 0.5501% | 322,683 |
+| **32k** | 3.859x | 3.86 | 0.6041% | 293,823 |
+| **64k** | 4.154x 🏆 | 4.16 | 0.6502% | 272,975 |
 
 ### Tokenization Examples
 
 Below are sample sentences tokenized with each vocabulary size:
 
-**Sample 1:** `قالیکتیس (، ، ، ) ییٛرتیجیلار دسته‌سینه عایید حئیوان نؤعو. قایناقلار سیراسینا گؤ...`
+**Sample 1:** `پوچتوووی ( ) روسیه اؤلکه‌سینده یئر آلان بیر کند دیر و آرخانقلسک اوبلاستیندا یئرل...`
 
 | Vocab | Tokens | Count |
 |-------|--------|-------|
-| 8k | `▁قا لیک تیس ▁(، ▁، ▁، ▁) ▁ییٛرتیجیلار ▁دسته ▁سینه ... (+8 more)` | 18 |
-| 16k | `▁قا لیک تیس ▁(، ▁، ▁، ▁) ▁ییٛرتیجیلار ▁دسته ▁سینه ... (+8 more)` | 18 |
-| 32k | `▁قا لیک تیس ▁(، ▁، ▁، ▁) ▁ییٛرتیجیلار ▁دسته ▁سینه ... (+8 more)` | 18 |
-| 64k | `▁قا لیک تیس ▁(، ▁، ▁، ▁) ▁ییٛرتیجیلار ▁دسته ▁سینه ... (+8 more)` | 18 |
+| 8k | `▁پو چ ت وو وی ▁( ▁) ▁روسیه ▁اؤلکه ▁سینده ... (+12 more)` | 22 |
+| 16k | `▁پو چ ت وو وی ▁( ▁) ▁روسیه ▁اؤلکه ▁سینده ... (+12 more)` | 22 |
+| 32k | `▁پو چت وووی ▁( ▁) ▁روسیه ▁اؤلکه ▁سینده ▁یئر ▁آلان ... (+10 more)` | 20 |
+| 64k | `▁پو چت وووی ▁( ▁) ▁روسیه ▁اؤلکه ▁سینده ▁یئر ▁آلان ... (+10 more)` | 20 |
 
-**Sample 2:** `هیندوستان اؤلکه‌سینین کرالا ایالتینده بیر شهر دیر. بۇ شهرده مالایالم دیلی و اینگ...`
+**Sample 2:** `هیندوستان اؤلکه‌سینین کارناتاکا ایالتینده بیر کند دیر. بۇ کنده کانادا دیلی دانیش...`
 
 | Vocab | Tokens | Count |
 |-------|--------|-------|
-| 8k | `▁هیندوستان ▁اؤلکه ▁سینین ▁کرالا ▁ایالتینده ▁بیر ▁شهر ▁دیر . ▁بۇ ... (+10 more)` | 20 |
-| 16k | `▁هیندوستان ▁اؤلکه ▁سینین ▁کرالا ▁ایالتینده ▁بیر ▁شهر ▁دیر . ▁بۇ ... (+10 more)` | 20 |
-| 32k | `▁هیندوستان ▁اؤلکه ▁سینین ▁کرالا ▁ایالتینده ▁بیر ▁شهر ▁دیر . ▁بۇ ... (+10 more)` | 20 |
-| 64k | `▁هیندوستان ▁اؤلکه ▁سینین ▁کرالا ▁ایالتینده ▁بیر ▁شهر ▁دیر . ▁بۇ ... (+10 more)` | 20 |
+| 8k | `▁هیندوستان ▁اؤلکه ▁سینین ▁کارناتاکا ▁ایالتینده ▁بیر ▁کند ▁دیر . ▁بۇ ... (+7 more)` | 17 |
+| 16k | `▁هیندوستان ▁اؤلکه ▁سینین ▁کارناتاکا ▁ایالتینده ▁بیر ▁کند ▁دیر . ▁بۇ ... (+7 more)` | 17 |
+| 32k | `▁هیندوستان ▁اؤلکه ▁سینین ▁کارناتاکا ▁ایالتینده ▁بیر ▁کند ▁دیر . ▁بۇ ... (+7 more)` | 17 |
+| 64k | `▁هیندوستان ▁اؤلکه ▁سینین ▁کارناتاکا ▁ایالتینده ▁بیر ▁کند ▁دیر . ▁بۇ ... (+7 more)` | 17 |
 
-**Sample 3:** `آرقا, کارناتاکا Karnataka) هیندوستان اؤلکه‌سینین کارناتاکا ایالتینده بیر کند دیر...`
+**Sample 3:** `پیایو، روسیه ( ) روسیه اؤلکه‌سینده یئر آلان بیر کند دیر و مورمانسک اوبلاستیندا ی...`
 
 | Vocab | Tokens | Count |
 |-------|--------|-------|
-| 8k | `▁آر قا , ▁کارناتاکا ▁kar n at aka ) ▁هیندوستان ... (+16 more)` | 26 |
-| 16k | `▁آر قا , ▁کارناتاکا ▁kar nat aka ) ▁هیندوستان ▁اؤلکه ... (+15 more)` | 25 |
-| 32k | `▁آر قا , ▁کارناتاکا ▁karnataka ) ▁هیندوستان ▁اؤلکه ▁سینین ▁کارناتاکا ... (+13 more)` | 23 |
-| 64k | `▁آر قا , ▁کارناتاکا ▁karnataka ) ▁هیندوستان ▁اؤلکه ▁سینین ▁کارناتاکا ... (+13 more)` | 23 |
+| 8k | `▁پی ای و ، ▁روسیه ▁( ▁) ▁روسیه ▁اؤلکه ▁سینده ... (+14 more)` | 24 |
+| 16k | `▁پی ای و ، ▁روسیه ▁( ▁) ▁روسیه ▁اؤلکه ▁سینده ... (+12 more)` | 22 |
+| 32k | `▁پی ایو ، ▁روسیه ▁( ▁) ▁روسیه ▁اؤلکه ▁سینده ▁یئر ... (+11 more)` | 21 |
+| 64k | `▁پی ایو ، ▁روسیه ▁( ▁) ▁روسیه ▁اؤلکه ▁سینده ▁یئر ... (+11 more)` | 21 |
 
 
 ### Key Findings
 
-- **Best Compression:** 64k achieves 4.148x compression
-- **Lowest UNK Rate:** 8k with 0.5011% unknown tokens
+- **Best Compression:** 64k achieves 4.154x compression
+- **Lowest UNK Rate:** 8k with 0.4916% unknown tokens
 - **Trade-off:** Larger vocabularies improve compression but increase model size
 - **Recommendation:** 32k vocabulary provides optimal balance for production use
 
@@ -137,12 +147,14 @@ Below are sample sentences tokenized with each vocabulary size:
 
 | N-gram | Variant | Perplexity | Entropy | Unique N-grams | Top-100 Coverage | Top-1000 Coverage |
 |--------|---------|------------|---------|----------------|------------------|-------------------|
-| **2-gram** | Word | 8,048 | 12.97 | 158,908 | 25.7% | 56.1% |
-| **2-gram** | Subword | 528 🏆 | 9.04 | 12,648 | 51.6% | 95.7% |
-| **3-gram** | Word | 10,249 | 13.32 | 236,749 | 22.6% | 53.6% |
-| **3-gram** | Subword | 3,765 | 11.88 | 106,644 | 23.1% | 62.4% |
-| **4-gram** | Word | 17,175 | 14.07 | 426,395 | 19.0% | 47.9% |
-| **4-gram** | Subword | 15,100 | 13.88 | 581,225 | 14.6% | 44.8% |
+| **2-gram** | Word | 8,053 | 12.98 | 158,968 | 25.7% | 56.1% |
+| **2-gram** | Subword | 528 🏆 | 9.04 | 12,667 | 51.7% | 95.7% |
+| **3-gram** | Word | 10,252 | 13.32 | 236,817 | 22.6% | 53.6% |
+| **3-gram** | Subword | 3,765 | 11.88 | 106,797 | 23.2% | 62.4% |
+| **4-gram** | Word | 17,203 | 14.07 | 427,241 | 19.0% | 47.9% |
+| **4-gram** | Subword | 15,109 | 13.88 | 582,040 | 14.6% | 44.8% |
+| **5-gram** | Word | 19,665 | 14.26 | 390,296 | 17.2% | 45.0% |
+| **5-gram** | Subword | 37,921 | 15.21 | 1,605,166 | 11.7% | 37.8% |
 
 ### Top 5 N-grams by Size
 
@@ -150,68 +162,88 @@ Below are sample sentences tokenized with each vocabulary size:
 
 | Rank | N-gram | Count |
 |------|--------|-------|
-| 1 | `ایشلدنلری طرفیندن` | 75,584 |
-| 2 | `مقاله‌سیندن گؤتورولوبدور` | 75,503 |
-| 3 | `ویکی‌پدیاسی‌نین ایشلدنلری` | 73,734 |
-| 4 | `اینگیلیسجه ویکی‌پدیاسی‌نین` | 71,132 |
-| 5 | `قایناق‌لار اینگیلیسجه` | 70,880 |
+| 1 | `ایشلدنلری طرفیندن` | 75,586 |
+| 2 | `مقاله‌سیندن گؤتورولوبدور` | 75,505 |
+| 3 | `ویکی‌پدیاسی‌نین ایشلدنلری` | 73,736 |
+| 4 | `اینگیلیسجه ویکی‌پدیاسی‌نین` | 71,134 |
+| 5 | `قایناق‌لار اینگیلیسجه` | 70,887 |
 
 **3-grams (Word):**
 
 | Rank | N-gram | Count |
 |------|--------|-------|
-| 1 | `ویکی‌پدیاسی‌نین ایشلدنلری طرفیندن` | 73,734 |
-| 2 | `اینگیلیسجه ویکی‌پدیاسی‌نین ایشلدنلری` | 71,132 |
-| 3 | `قایناق‌لار اینگیلیسجه ویکی‌پدیاسی‌نین` | 70,806 |
-| 4 | `بیر یاشاییش منطقه‌سی‌دیر` | 40,399 |
+| 1 | `ویکی‌پدیاسی‌نین ایشلدنلری طرفیندن` | 73,736 |
+| 2 | `اینگیلیسجه ویکی‌پدیاسی‌نین ایشلدنلری` | 71,134 |
+| 3 | `قایناق‌لار اینگیلیسجه ویکی‌پدیاسی‌نین` | 70,813 |
+| 4 | `بیر یاشاییش منطقه‌سی‌دیر` | 40,398 |
 | 5 | `بیر کند دیر` | 30,448 |
 
 **4-grams (Word):**
 
 | Rank | N-gram | Count |
 |------|--------|-------|
-| 1 | `اینگیلیسجه ویکی‌پدیاسی‌نین ایشلدنلری طرفیندن` | 71,132 |
-| 2 | `قایناق‌لار اینگیلیسجه ویکی‌پدیاسی‌نین ایشلدنلری` | 70,806 |
-| 3 | `سوْن نۆفوس ساییمی اساسيندا` | 24,568 |
-| 4 | `شهرلرین لیستی قایناق‌لار اینگیلیسجه` | 22,937 |
-| 5 | `لیستی قایناق‌لار اینگیلیسجه ویکی‌پدیاسی‌نین` | 22,937 |
+| 1 | `اینگیلیسجه ویکی‌پدیاسی‌نین ایشلدنلری طرفیندن` | 71,134 |
+| 2 | `قایناق‌لار اینگیلیسجه ویکی‌پدیاسی‌نین ایشلدنلری` | 70,813 |
+| 3 | `سوْن نۆفوس ساییمی اساسيندا` | 24,567 |
+| 4 | `شهرلرین لیستی قایناق‌لار اینگیلیسجه` | 22,936 |
+| 5 | `لیستی قایناق‌لار اینگیلیسجه ویکی‌پدیاسی‌نین` | 22,936 |
+
+**5-grams (Word):**
+
+| Rank | N-gram | Count |
+|------|--------|-------|
+| 1 | `قایناق‌لار اینگیلیسجه ویکی‌پدیاسی‌نین ایشلدنلری طرفیندن` | 70,813 |
+| 2 | `شهرلرین لیستی قایناق‌لار اینگیلیسجه ویکی‌پدیاسی‌نین` | 22,936 |
+| 3 | `لیستی قایناق‌لار اینگیلیسجه ویکی‌پدیاسی‌نین ایشلدنلری` | 22,936 |
+| 4 | `گؤتورولوبدور ۸ آقوست تاریخینده یوْخلانیلیبدیر` | 17,804 |
+| 5 | `مقاله‌سیندن گؤتورولوبدور ۸ آقوست تاریخینده` | 17,804 |
 
 **2-grams (Subword):**
 
 | Rank | N-gram | Count |
 |------|--------|-------|
-| 1 | `ی ن` | 1,868,991 |
-| 2 | `_ ا` | 1,658,104 |
-| 3 | `ی _` | 1,437,263 |
-| 4 | `ا ی` | 1,393,221 |
-| 5 | `ن _` | 1,215,806 |
+| 1 | `ی ن` | 1,870,834 |
+| 2 | `_ ا` | 1,661,040 |
+| 3 | `ی _` | 1,438,867 |
+| 4 | `ا ی` | 1,394,440 |
+| 5 | `ن _` | 1,218,001 |
 
 **3-grams (Subword):**
 
 | Rank | N-gram | Count |
 |------|--------|-------|
-| 1 | `_ ا ی` | 717,380 |
-| 2 | `ی ن د` | 658,977 |
-| 3 | `د ه _` | 585,522 |
-| 4 | `ل ا ر` | 580,226 |
-| 5 | `ا ی ن` | 470,621 |
+| 1 | `_ ا ی` | 718,299 |
+| 2 | `ی ن د` | 659,203 |
+| 3 | `د ه _` | 586,025 |
+| 4 | `ل ا ر` | 581,126 |
+| 5 | `ا ی ن` | 470,804 |
 
 **4-grams (Subword):**
 
 | Rank | N-gram | Count |
 |------|--------|-------|
-| 1 | `ن د ه _` | 347,347 |
-| 2 | `ل ا ر _` | 329,379 |
-| 3 | `ی ن د ه` | 320,994 |
-| 4 | `_ ب ی ر` | 258,707 |
-| 5 | `ن ی ن _` | 257,628 |
+| 1 | `ن د ه _` | 347,491 |
+| 2 | `ل ا ر _` | 329,654 |
+| 3 | `ی ن د ه` | 321,093 |
+| 4 | `_ ب ی ر` | 258,934 |
+| 5 | `ن ی ن _` | 257,847 |
+
+**5-grams (Subword):**
+
+| Rank | N-gram | Count |
+|------|--------|-------|
+| 1 | `ی ن د ه _` | 319,618 |
+| 2 | `ق ا ی ن ا` | 236,232 |
+| 3 | `_ ق ا ی ن` | 235,936 |
+| 4 | `ی ن د ن _` | 199,409 |
+| 5 | `ی ن گ ی ل` | 172,619 |
 
 
 ### Key Findings
 
 - **Best Perplexity:** 2-gram (subword) with 528
 - **Entropy Trend:** Decreases with larger n-grams (more predictable)
-- **Coverage:** Top-1000 patterns cover ~45% of corpus
+- **Coverage:** Top-1000 patterns cover ~38% of corpus
 - **Recommendation:** 4-gram or 5-gram for best predictive performance
 
 ---
@@ -227,14 +259,14 @@ Below are sample sentences tokenized with each vocabulary size:
 
 | Context | Variant | Avg Entropy | Perplexity | Branching Factor | Unique Contexts | Predictability |
 |---------|---------|-------------|------------|------------------|-----------------|----------------|
-| **1** | Word | 0.6640 | 1.584 | 5.09 | 726,930 | 33.6% |
-| **1** | Subword | 1.0592 | 2.084 | 9.07 | 3,409 | 0.0% |
-| **2** | Word | 0.1970 | 1.146 | 1.48 | 3,693,091 | 80.3% |
-| **2** | Subword | 0.9308 | 1.906 | 6.57 | 30,905 | 6.9% |
-| **3** | Word | 0.0689 | 1.049 | 1.14 | 5,447,170 | 93.1% |
-| **3** | Subword | 0.8408 | 1.791 | 4.70 | 203,056 | 15.9% |
-| **4** | Word | 0.0340 🏆 | 1.024 | 1.07 | 6,178,524 | 96.6% |
-| **4** | Subword | 0.7000 | 1.625 | 3.22 | 953,883 | 30.0% |
+| **1** | Word | 0.6633 | 1.584 | 5.08 | 728,851 | 33.7% |
+| **1** | Subword | 1.0599 | 2.085 | 9.06 | 3,419 | 0.0% |
+| **2** | Word | 0.1969 | 1.146 | 1.48 | 3,698,118 | 80.3% |
+| **2** | Subword | 0.9299 | 1.905 | 6.57 | 30,973 | 7.0% |
+| **3** | Word | 0.0689 | 1.049 | 1.14 | 5,453,316 | 93.1% |
+| **3** | Subword | 0.8407 | 1.791 | 4.70 | 203,342 | 15.9% |
+| **4** | Word | 0.0340 🏆 | 1.024 | 1.07 | 6,184,673 | 96.6% |
+| **4** | Subword | 0.6999 | 1.624 | 3.22 | 955,119 | 30.0% |
 
 ### Generated Text Samples (Word-based)
 
@@ -242,27 +274,27 @@ Below are text samples generated from each word-based Markov chain model:
 
 **Context Size 1:**
 
-1. `و شمشددیل سلطانلیغی ایله برابر ایدی قایناقلار شهرلری آمریکا بیرلشمیش ایالتلرینین ایداری بؤلوملری ائش...`
-2. `بیر کند دیر و یا هچ اینگیلیسجه ویکی‌پدیاسی‌نین ایشلدنلری طرفیندن mountain a few years until 5`
-3. `اینگیلیسجه ویکی‌پدیاسی‌نین ایشلدنلری طرفیندن mountain wilbert minnesota مقاله‌سیندن گؤتورولوبدور ۸ آ...`
+1. `و اؤلوملر باخیر دؤولت موزیک دوْغوملار ۲ مئی eamon gilmore shooter young artist awardbest breakthroug...`
+2. `بیر فوتبالیست هوجومچو موقعیتینده اوْیناییب قایناقلار ایلده آمریکالی سیاستچیلر میلادی ایلده آذربایجان...`
+3. `اینگیلیسجه phyllis and the new york آمریکانین نبراسکا ایالتینده بیر شهردیر و باتی آجورلو قصبه‌سینده ...`
 
 **Context Size 2:**
 
-1. `ایشلدنلری طرفیندن مقاله‌سیندن گؤتورولوبدور ۸ آقوست تاریخینده یوْخلانیلیبدیر شهرلری en güləh`
-2. `مقاله‌سیندن گؤتورولوبدور ۳۰ نوْوامبر تاریخینده یوْخلانیلیبدیر کولوبلاری en araks ararat fc مقاله‌سین...`
-3. `ویکی‌پدیاسی‌نین ایشلدنلری طرفیندن indiana مقاله‌سیندن گؤتورولوبدور ۲۱ دسامبر تاریخینده یوْخلانیلیبدی...`
+1. `ایشلدنلری طرفیندن ballard مقاله‌سیندن گؤتورولوبدور ۳۰ نوْوامبر تاریخینده رالی قوزئی کارولینا ایالتین...`
+2. `مقاله‌سیندن گؤتورولوبدور ۲۲ آقوست تاریخینده یوْخلانیلیبدیر ایالتین شهرلری آمریکا بیرلشمیش ایالتلری ک...`
+3. `ویکی‌پدیاسی‌نین ایشلدنلری طرفیندن piguet مقاله‌سیندن گؤتورولوبدور ۱۹ جولای یوْخلانیلیبدیر شهرلری en ...`
 
 **Context Size 3:**
 
-1. `ویکی‌پدیاسی‌نین ایشلدنلری طرفیندن مقاله‌سیندن گؤتورولوبدور ۳۰ نوْوامبر تاریخینده یوْخلانیلیبدیر گؤرو...`
-2. `اینگیلیسجه ویکی‌پدیاسی‌نین ایشلدنلری طرفیندن rutherfurd مقاله‌سیندن گؤتورولوبدور ۲۲ ژانویه تاریخینده...`
-3. `قایناق‌لار اینگیلیسجه ویکی‌پدیاسی‌نین ایشلدنلری طرفیندن مقاله‌سیندن گؤتورولوبدور ۱۹ جولای یوْخلانیلی...`
+1. `ویکی‌پدیاسی‌نین ایشلدنلری طرفیندن phosphate مقاله‌سیندن گؤتورولوبدور ۳۰ نوْوامبر تاریخینده یوْخلانیل...`
+2. `اینگیلیسجه ویکی‌پدیاسی‌نین ایشلدنلری طرفیندن mała مقاله‌سیندن گؤتورولوبدور ۱۲ آقوست تاریخینده یوْخلا...`
+3. `قایناق‌لار اینگیلیسجه ویکی‌پدیاسی‌نین ایشلدنلری طرفیندن nigra مقاله‌سیندن گؤتورولوبدور ۲۷ جولای تاری...`
 
 **Context Size 4:**
 
-1. `اینگیلیسجه ویکی‌پدیاسی‌نین ایشلدنلری طرفیندن مقاله‌سیندن گؤتورولوبدور ۸ آقوست تاریخینده یوْخلانیلیبد...`
-2. `قایناق‌لار اینگیلیسجه ویکی‌پدیاسی‌نین ایشلدنلری طرفیندن georgia مقاله‌سیندن گؤتورولوبدور ۸ آقوست تار...`
-3. `سوْن نۆفوس ساییمی اساسيندا ۱۳۷ نفر ایمیش و ویسوچینا اوستانیندا یئرلشیب بۆتون چک‌دا اوْلدوغو کیمی بۇ ...`
+1. `اینگیلیسجه ویکی‌پدیاسی‌نین ایشلدنلری طرفیندن tachov district مقاله‌سیندن گؤتورولوبدور ۱۹ جولای یوْخل...`
+2. `قایناق‌لار اینگیلیسجه ویکی‌پدیاسی‌نین ایشلدنلری طرفیندن reed مقاله‌سیندن گؤتورولوبدور ۲۲ ژانویه تاری...`
+3. `سوْن نۆفوس ساییمی اساسيندا نفر ایمیش قایناقلار جومهوریتینین شهرلری en bədəlan`
 
 
 ### Generated Text Samples (Subword-based)
@@ -271,34 +303,34 @@ Below are text samples generated from each subword-based Markov chain model:
 
 **Context Size 1:**
 
-1. `_متیشاورله‌ستبشلی`
-2. `یتا_d_by_jottiep`
-3. `الاق‌لر)_ژادالين_`
+1. `_طین_اینالرشه_می`
+2. `ینینویره_ب.st_آذ`
+3. `اؤلیلده_s_مول_کل`
 
 **Context Size 2:**
 
-1. `ین_حیازیل_دیکان_ا`
-2. `_ایلدا_۹_جی_giran`
-3. `ی_حافع_سان_آماری_`
+1. `ینی_اوبونیرلرین_ش`
+2. `_این_چاری_اوربّع_د`
+3. `ی_حؤکواءنینه‌سیناق`
 
 **Context Size 3:**
 
-1. `_ایدان_عوضوو._۲۷۳_`
-2. `ینده_روس_سال_منطقه‌`
-3. `ده_یوْخلانی_آما_خوب`
+1. `_ایشتیرامبر_charah`
+2. `ینده_یئرلشیرکت_()_`
+3. `ده_یوْخلو_"_the_ism`
 
 **Context Size 4:**
 
-1. `نده_یوْخلانیلیبدیر).`
-2. `لار_یولو_۳۰_دسامبر_`
-3. `ینده_هر_گونئی_کاروا`
+1. `نده_یئرلشیر._بۇ_شهر`
+2. `لار_اینسانی._۲۴_آقو`
+3. `ینده_چیخماق_شکیلات)`
 
 
 ### Key Findings
 
 - **Best Predictability:** Context-4 (word) with 96.6% predictability
 - **Branching Factor:** Decreases with context size (more deterministic)
-- **Memory Trade-off:** Larger contexts require more storage (953,883 contexts)
+- **Memory Trade-off:** Larger contexts require more storage (955,119 contexts)
 - **Recommendation:** Context-3 or Context-4 for text generation
 
 ---
@@ -314,48 +346,48 @@ Below are text samples generated from each subword-based Markov chain model:
 
 | Metric | Value |
 |--------|-------|
-| Vocabulary Size | 271,198 |
-| Total Tokens | 12,478,531 |
-| Mean Frequency | 46.01 |
+| Vocabulary Size | 271,726 |
+| Total Tokens | 12,485,100 |
+| Mean Frequency | 45.95 |
 | Median Frequency | 3 |
-| Frequency Std Dev | 1145.11 |
+| Frequency Std Dev | 1144.86 |
 
 ### Most Common Words
 
 | Rank | Word | Frequency |
 |------|------|-----------|
-| 1 | و | 284,031 |
-| 2 | بیر | 169,280 |
-| 3 | اینگیلیسجه | 149,737 |
-| 4 | قایناقلار | 141,945 |
-| 5 | the | 114,439 |
-| 6 | تاریخینده | 92,079 |
-| 7 | قایناق‌لار | 90,963 |
-| 8 | ایلده | 83,679 |
-| 9 | شهرلری | 81,894 |
-| 10 | طرفیندن | 80,132 |
+| 1 | و | 284,866 |
+| 2 | بیر | 169,436 |
+| 3 | اینگیلیسجه | 149,744 |
+| 4 | قایناقلار | 142,037 |
+| 5 | the | 114,223 |
+| 6 | تاریخینده | 92,091 |
+| 7 | قایناق‌لار | 90,964 |
+| 8 | ایلده | 83,776 |
+| 9 | شهرلری | 81,908 |
+| 10 | طرفیندن | 80,193 |
 
 ### Least Common Words (from vocabulary)
 
 | Rank | Word | Frequency |
 |------|------|-----------|
-| 1 | کساسیاسی | 2 |
-| 2 | کالابریز | 2 |
-| 3 | کونتینوا | 2 |
-| 4 | تحقیق‌لری | 2 |
-| 5 | romanzo | 2 |
-| 6 | strage | 2 |
-| 7 | سۆره‌جینده | 2 |
-| 8 | ایلکه‌لر | 2 |
-| 9 | لائیکلیک | 2 |
-| 10 | شاسکوه | 2 |
+| 1 | ائششکین | 2 |
+| 2 | لابی‌سی | 2 |
+| 3 | آذری‌ها | 2 |
+| 4 | داشناکلارلا | 2 |
+| 5 | قۇلان | 2 |
+| 6 | آسینۇس | 2 |
+| 7 | ائششه‌یینین | 2 |
+| 8 | تاپؽلمیشدیر | 2 |
+| 9 | kulan | 2 |
+| 10 | کسا | 2 |
 
 ### Zipf's Law Analysis
 
 | Metric | Value |
 |--------|-------|
-| Zipf Coefficient | 1.1609 |
-| R² (Goodness of Fit) | 0.995521 |
+| Zipf Coefficient | 1.1608 |
+| R² (Goodness of Fit) | 0.995522 |
 | Adherence Quality | **excellent** |
 
 ### Coverage Analysis
@@ -371,7 +403,7 @@ Below are text samples generated from each subword-based Markov chain model:
 
 - **Zipf Compliance:** R²=0.9955 indicates excellent adherence to Zipf's law
 - **High Frequency Dominance:** Top 100 words cover 34.4% of corpus
-- **Long Tail:** 261,198 words needed for remaining 15.4% coverage
+- **Long Tail:** 261,726 words needed for remaining 15.4% coverage
 
 ---
 ## 5. Word Embeddings Evaluation
@@ -387,37 +419,40 @@ Below are text samples generated from each subword-based Markov chain model:
 
 ### 5.1 Cross-Lingual Alignment
 
-> *Note: Multilingual alignment visualization not available for this language.*
+![Alignment Quality](visualizations/embedding_alignment_quality.png)
+
+![Multilingual t-SNE](visualizations/embedding_tsne_multilingual.png)
 
 
 ### 5.2 Model Comparison
 
 | Model | Dimension | Isotropy | Semantic Density | Alignment R@1 | Alignment R@10 |
 |-------|-----------|----------|------------------|---------------|----------------|
-| **mono_32d** | 32 | 0.8282 🏆 | 0.3614 | N/A | N/A |
-| **mono_64d** | 64 | 0.7952 | 0.3099 | N/A | N/A |
-| **mono_128d** | 128 | 0.7570 | 0.2493 | N/A | N/A |
+| **mono_32d** | 32 | 0.8266 🏆 | 0.3562 | N/A | N/A |
+| **mono_64d** | 64 | 0.7978 | 0.2932 | N/A | N/A |
+| **mono_128d** | 128 | 0.7560 | 0.2495 | N/A | N/A |
+| **aligned_32d** | 32 | 0.8266 | 0.3594 | 0.0580 | 0.2760 |
+| **aligned_64d** | 64 | 0.7978 | 0.3041 | 0.1220 | 0.4360 |
+| **aligned_128d** | 128 | 0.7560 | 0.2442 | 0.2380 | 0.6200 |
 
 ### Key Findings
 
-- **Best Isotropy:** mono_32d with 0.8282 (more uniform distribution)
-- **Semantic Density:** Average pairwise similarity of 0.3069. Lower values indicate better semantic separation.
-- **Alignment Quality:** No aligned models evaluated in this run.
+- **Best Isotropy:** mono_32d with 0.8266 (more uniform distribution)
+- **Semantic Density:** Average pairwise similarity of 0.3011. Lower values indicate better semantic separation.
+- **Alignment Quality:** Aligned models achieve up to 23.8% R@1 in cross-lingual retrieval.
 - **Recommendation:** 128d aligned for best cross-lingual performance
 
 ---
 ## 6.  Morphological Analysis (Experimental)
 
-> ⚠️ **Warning:** This language shows low morphological productivity. The statistical signals used for this analysis may be noisy or less reliable than for morphologically rich languages.
-
 This section presents an automated morphological analysis derived from the statistical divergence between word-level and subword-level models. By analyzing where subword predictability spikes and where word-level coverage fails, we can infer linguistic structures without supervised data.
 
 ### 6.1 Productivity & Complexity
 
 | Metric | Value | Interpretation | Recommendation |
 |--------|-------|----------------|----------------|
-| Productivity Index | **0.000** | Low morphological productivity | ⚠️ Likely unreliable |
-| Idiomaticity Gap | **-1.000** | Low formulaic content | - |
+| Productivity Index | **5.000** | High morphological productivity | Reliable analysis |
+| Idiomaticity Gap | **0.190** | Low formulaic content | - |
 
 ### 6.2 Affix Inventory (Productive Units)
 
@@ -430,8 +465,8 @@ These are the most productive prefixes and suffixes identified by sampling the v
 #### Productive Suffixes
 | Suffix | Examples |
 |--------|----------|
-| `-ین` | ائتدیگی‌نین, دالینین, لشکرینین |
-| `-ان` | سيران, کاپیتان, تاپیلمایان |
+| `-ین` | کومیته‌سی‌‌نین, قورانین, پاقلئنین |
+| `-ان` | قافقازدان, آتاسین‌دان, تیتانلاردان |
 
 ### 6.3 Bound Stems (Lexical Roots)
 
@@ -439,18 +474,18 @@ Bound stems are high-frequency subword units that are semantically cohesive but
 
 | Stem | Cohesion | Substitutability | Examples |
 |------|----------|------------------|----------|
-| `رلری` | 1.93x | 205 contexts | ارلری, یرلری, دیرلری |
-| `اقلا` | 1.95x | 131 contexts | ناقلا, آیاقلا, آياقلا |
-| `قلار` | 2.11x | 54 contexts | لیقلار, حقلاری, ماقلار |
-| `تیند` | 1.93x | 72 contexts | تیندل, تینده, اتیندن |
-| `یبدی` | 2.32x | 31 contexts | آلیبدی, ییبدیر, گلیبدی |
-| `اریخ` | 1.93x | 41 contexts | تاریخ, تاریخه, ‌تاریخ |
-| `ولوب` | 1.70x | 60 contexts | کولوب, گولوب, سولوب |
-| `ئرلش` | 2.00x | 24 contexts | يئرلشن, یئرلشن, یئرلشه |
-| `ریخی` | 2.03x | 22 contexts | مریخی, ریخین, تاریخی |
-| `یناق` | 1.87x | 27 contexts | سیناق, قیناق, ایناق |
-| `هرلر` | 2.14x | 17 contexts | شهرلر, شهرلره, شهرلري |
-| `یلیس` | 1.56x | 43 contexts | هیلیس, یلیسی, تیلیس |
+| `رلری` | 2.05x | 205 contexts | یرلری, ارلری, خطرلری |
+| `اقلا` | 1.90x | 131 contexts | ناقلا, اقلایس, داقلاس |
+| `یبدی` | 2.33x | 31 contexts | ییبدیر, گلیبدی, آلیبدی |
+| `قلار` | 2.01x | 54 contexts | حقلاری, لیقلار, حاقلار |
+| `اریخ` | 2.11x | 41 contexts | تاریخ, ‌تاریخ, تواریخ |
+| `ولوب` | 1.85x | 60 contexts | اولوب, قولوب, بولوب |
+| `تیند` | 1.73x | 73 contexts | تینده, تیندل, تیندال |
+| `یناق` | 2.07x | 27 contexts | ایناق, قیناق, سیناق |
+| `ئرلش` | 2.13x | 24 contexts | یئرلشن, يئرلشن, یئرلشه |
+| `ریخی` | 2.00x | 22 contexts | مریخی, ریخین, مریخین |
+| `قاین` | 2.31x | 14 contexts | قاینا, قاینی, قاینز |
+| `هرلر` | 2.14x | 17 contexts | شهرلر, شهرلري, شهرلری |
 
 ### 6.4 Affix Compatibility (Co-occurrence)
 
@@ -465,26 +500,26 @@ Using **Recursive Hierarchical Substitutability**, we decompose complex words in
 
 | Word | Suggested Split | Confidence | Stem |
 |------|-----------------|------------|------|
-| وطنداشلارینین | **`وطنداشلار-ین-ین`** | 6.0 | `وطنداشلار` |
-| تورپاق‌لارینین | **`تورپاق‌لار-ین-ین`** | 6.0 | `تورپاق‌لار` |
-| دئموکرات‌لارینین | **`دئموکرات‌لار-ین-ین`** | 6.0 | `دئموکرات‌لار` |
-| اوستانلارینان | **`اوستانلار-ین-ان`** | 6.0 | `اوستانلار` |
-| تولیدینین | **`تولید-ین-ین`** | 6.0 | `تولید` |
-| المنتلرینین | **`المنتلر-ین-ین`** | 6.0 | `المنتلر` |
-| جومهوریتلرین | **`جومهوریتلر-ین`** | 4.5 | `جومهوریتلر` |
-| سیمالارین | **`سیمالار-ین`** | 4.5 | `سیمالار` |
-| ژوآن‌لارین | **`ژوآن‌لار-ین`** | 4.5 | `ژوآن‌لار` |
-| ماشین‌لارین | **`ماشین‌لار-ین`** | 4.5 | `ماشین‌لار` |
-| بدوی‌لرین | **`بدوی��لر-ین`** | 4.5 | `بدوی‌لر` |
-| تبریزلیلرین | **`تبریزلیلر-ین`** | 4.5 | `تبریزلیلر` |
-| ناخوشلوقلارین | **`ناخوشلوقلار-ین`** | 4.5 | `ناخوشلوقلار` |
-| اویکونیمین | **`اویکونیم-ین`** | 4.5 | `اویکونیم` |
-| ائرککلرین | **`ائرککلر-ین`** | 4.5 | `ائرککلر` |
+| دۆکانلارینین | **`دۆکانلار-ین-ین`** | 6.0 | `دۆکانلار` |
+| سیلاحینین | **`سیلاح-ین-ین`** | 6.0 | `سیلاح` |
+| باشچی‌لارینین | **`باشچی‌لار-ین-ین`** | 6.0 | `باشچی‌لار` |
+| دوخالارین | **`دوخالار-ین`** | 4.5 | `دوخالار` |
+| آمارلارین | **`آمارلار-ین`** | 4.5 | `آمارلار` |
+| تاریخچیلرین | **`تاریخچیلر-ین`** | 4.5 | `تاریخچیلر` |
+| اؤدوللرین | **`اؤدوللر-ین`** | 4.5 | `اؤدوللر` |
+| شکیلچیلرین | **`شکیلچیلر-ین`** | 4.5 | `شکیلچیلر` |
+| کوْمونیستلرین | **`کوْمونیستلر-ین`** | 4.5 | `کوْمونیستلر` |
+| بیوفیزیکین | **`بیوفیزیک-ین`** | 4.5 | `بیوفیزیک` |
+| تاپینتیلارین | **`تاپینتیلار-ین`** | 4.5 | `تاپینتیلار` |
+| میکروبلارین | **`میکروبلار-ین`** | 4.5 | `میکروبلار` |
+| تیکیلینین | **`تیکیل-ین-ین`** | 3.0 | `تیکیل` |
+| نفتالینین | **`نفتال-ین-ین`** | 3.0 | `نفتال` |
+| والنتاینین | **`والنتا-ین-ین`** | 3.0 | `والنتا` |
 
 ### 6.6 Linguistic Interpretation
 
 > **Automated Insight:**
-The language AZB appears to be more isolating or has a highly fixed vocabulary. Word-level models perform nearly as well as subword models, indicating fewer productive morphological processes.
+The language South Azerbaijani shows high morphological productivity. The subword models are significantly more efficient than word models, suggesting a rich system of affixation or compounding.
 
 ---
 ## 7. Summary & Recommendations
@@ -711,4 +746,4 @@ MIT License - Free for academic and commercial use.
 ---
 *Generated by Wikilangs Models Pipeline*
 
-*Report Date: 2026-01-03 06:14:53*
+*Report Date: 2026-01-03 19:16:27*

models/embeddings/aligned/azb_128d.bin

@@ -0,0 +1,3 @@
+version https://git-lfs.github.com/spec/v1
+oid sha256:f7fba61484a16c9c898701068d656d881bc6c156a0b6babe3f7ec4078acd6262
+size 1145411750

models/embeddings/aligned/azb_128d.meta.json

@@ -0,0 +1 @@
+{"lang": "azb", "dim": 128, "max_seq_len": 512, "is_aligned": true}

models/embeddings/aligned/azb_128d.projection.npy

@@ -0,0 +1,3 @@
+version https://git-lfs.github.com/spec/v1
+oid sha256:ed8f8452398a94ff786227922c523dbf4ab2a018a4f06529e3d278ca88488a66
+size 65664

models/embeddings/aligned/azb_128d_metadata.json

@@ -0,0 +1,8 @@
+{
+  "language": "azb",
+  "dimension": 128,
+  "version": "aligned",
+  "hub_language": "en",
+  "seed_vocab_size": 42618,
+  "vocab_size": 116236
+}

models/embeddings/aligned/azb_32d.bin

@@ -0,0 +1,3 @@
+version https://git-lfs.github.com/spec/v1
+oid sha256:0d14722820d067623892cd38f82df2c95c06554ed9e30a57fb7db42aaf72eacf
+size 288142502

models/embeddings/aligned/azb_32d.meta.json

@@ -0,0 +1 @@
+{"lang": "azb", "dim": 32, "max_seq_len": 512, "is_aligned": true}

models/embeddings/aligned/azb_32d.projection.npy

@@ -0,0 +1,3 @@
+version https://git-lfs.github.com/spec/v1
+oid sha256:2aaccc28d180db854817233ae4f3438461720ca663a921e9e831c2b035117ab0
+size 4224

models/embeddings/aligned/azb_32d_metadata.json

@@ -0,0 +1,8 @@
+{
+  "language": "azb",
+  "dimension": 32,
+  "version": "aligned",
+  "hub_language": "en",
+  "seed_vocab_size": 42618,
+  "vocab_size": 116236
+}

models/embeddings/aligned/azb_64d.bin

@@ -0,0 +1,3 @@
+version https://git-lfs.github.com/spec/v1
+oid sha256:aaa261e0f81b8a3bbef90655095296e78dfa1f341ee603c2a1da60de817fcaa0
+size 573898918

models/embeddings/aligned/azb_64d.meta.json

@@ -0,0 +1 @@
+{"lang": "azb", "dim": 64, "max_seq_len": 512, "is_aligned": true}

models/embeddings/aligned/azb_64d.projection.npy

@@ -0,0 +1,3 @@
+version https://git-lfs.github.com/spec/v1
+oid sha256:f195b252202d0f5b090e9a0b4f64fa1d65c1382111c9053c1b1d4b56dc42b678
+size 16512

models/embeddings/aligned/azb_64d_metadata.json

@@ -0,0 +1,8 @@
+{
+  "language": "azb",
+  "dimension": 64,
+  "version": "aligned",
+  "hub_language": "en",
+  "seed_vocab_size": 42618,
+  "vocab_size": 116236
+}

models/embeddings/monolingual/azb_128d.bin

@@ -1,3 +1,3 @@
 version https://git-lfs.github.com/spec/v1
-oid sha256:0affe475b2c95d7dbb76d561e1c19235d6d09956c11cb77486d2ed42c5bc91f8
-size 1145287401
+oid sha256:f7fba61484a16c9c898701068d656d881bc6c156a0b6babe3f7ec4078acd6262
+size 1145411750

models/embeddings/monolingual/azb_128d_metadata.json

@@ -11,5 +11,5 @@
     "encoding_method": "rope",
     "dim": 128
   },
-  "vocab_size": 116118
+  "vocab_size": 116236
 }

models/embeddings/monolingual/azb_32d.bin

@@ -1,3 +1,3 @@
 version https://git-lfs.github.com/spec/v1
-oid sha256:dd0d8e4ac83c586e8f75145c0ce099bef44ff8d39e955040bc9454b60e32022c
-size 288108777
+oid sha256:0d14722820d067623892cd38f82df2c95c06554ed9e30a57fb7db42aaf72eacf
+size 288142502

models/embeddings/monolingual/azb_32d_metadata.json

@@ -11,5 +11,5 @@
     "encoding_method": "rope",
     "dim": 32
   },
-  "vocab_size": 116118
+  "vocab_size": 116236
 }

models/embeddings/monolingual/azb_64d.bin

@@ -1,3 +1,3 @@
 version https://git-lfs.github.com/spec/v1
-oid sha256:2aae88ec4bdf46e7654ecacada31d2b3be0690719379b657e44df7793b45fa65
-size 573834985
+oid sha256:aaa261e0f81b8a3bbef90655095296e78dfa1f341ee603c2a1da60de817fcaa0
+size 573898918

models/embeddings/monolingual/azb_64d_metadata.json

@@ -11,5 +11,5 @@
     "encoding_method": "rope",
     "dim": 64
   },
-  "vocab_size": 116118
+  "vocab_size": 116236
 }

models/subword_markov/azb_markov_ctx1_subword.parquet

@@ -1,3 +1,3 @@
 version https://git-lfs.github.com/spec/v1
-oid sha256:4ff3da37abf00dd52bdcb28478a692c4366754cc1a111aa42559670cd7ea3aee
-size 247087
+oid sha256:eccb1064c2ad7a13ca02b888e94bda620237fce691be9e4556e376bd45f7cc2f
+size 247394

models/subword_markov/azb_markov_ctx1_subword_metadata.json

@@ -2,6 +2,6 @@
   "context_size": 1,
   "variant": "subword",
   "language": "azb",
-  "unique_contexts": 3409,
-  "total_transitions": 91613484
+  "unique_contexts": 3419,
+  "total_transitions": 91671427
 }

models/subword_markov/azb_markov_ctx2_subword.parquet

@@ -1,3 +1,3 @@
 version https://git-lfs.github.com/spec/v1
-oid sha256:1090e7d0037ce29d3cddcfe27f87428fcd5c872805dcf5e3d4202b9f83929b66
-size 1650829
+oid sha256:346170fde15fa90a7550284c24d2653e065bf167f92801f29bd1d9322b691483
+size 1653805

models/subword_markov/azb_markov_ctx2_subword_metadata.json

@@ -2,6 +2,6 @@
   "context_size": 2,
   "variant": "subword",
   "language": "azb",
-  "unique_contexts": 30905,
-  "total_transitions": 91370829
+  "unique_contexts": 30973,
+  "total_transitions": 91428663
 }

models/subword_markov/azb_markov_ctx3_subword.parquet

@@ -1,3 +1,3 @@
 version https://git-lfs.github.com/spec/v1
-oid sha256:06a5083f143c1f0688e95d617ee8d409f5c78a44f6ea6c79e014253dcf249ac5
-size 7956042
+oid sha256:d8457414c0b3aa27c3e49b63c6cb0ecb67ea5717d3f6f4e75ecea597e7945940
+size 7939655

models/subword_markov/azb_markov_ctx3_subword_metadata.json

@@ -2,6 +2,6 @@
   "context_size": 3,
   "variant": "subword",
   "language": "azb",
-  "unique_contexts": 203056,
-  "total_transitions": 91128174
+  "unique_contexts": 203342,
+  "total_transitions": 91185899
 }

models/subword_markov/azb_markov_ctx4_subword.parquet

@@ -1,3 +1,3 @@
 version https://git-lfs.github.com/spec/v1
-oid sha256:d4bd1bdcfb24b934a84145355781bb3e8cf414b875f467fc28d048b5d64ec5d1
-size 26328560
+oid sha256:f3db0937b189490c3bea7ef1d828b7bb71fa24387c10ce577715fc96661291b3
+size 26343131

models/subword_markov/azb_markov_ctx4_subword_metadata.json

@@ -2,6 +2,6 @@
   "context_size": 4,
   "variant": "subword",
   "language": "azb",
-  "unique_contexts": 953883,
-  "total_transitions": 90885519
+  "unique_contexts": 955119,
+  "total_transitions": 90943135
 }

models/subword_ngram/azb_2gram_subword.parquet

@@ -1,3 +1,3 @@
 version https://git-lfs.github.com/spec/v1
-oid sha256:383d8448d14aee343af41336d2c34807c417414896fb0905958afee3cec1c929
-size 182774
+oid sha256:aeaf42a3589a4a01cf180d07ea597bcf451efbb96716266713a2d4eedd886a51
+size 182331

models/subword_ngram/azb_2gram_subword_metadata.json

@@ -2,6 +2,6 @@
   "n": 2,
   "variant": "subword",
   "language": "azb",
-  "unique_ngrams": 12648,
-  "total_ngrams": 91613484
+  "unique_ngrams": 12667,
+  "total_ngrams": 91671427
 }

models/subword_ngram/azb_3gram_subword.parquet

@@ -1,3 +1,3 @@
 version https://git-lfs.github.com/spec/v1
-oid sha256:ed1d402ce0eac47e37053808b7981cf3eb00b76c5e2e5e887890b036ff01d869
-size 1377099
+oid sha256:b8d2e2c32fab5c45a04f06e3e4262007ee102156adffcfb089cb714df48782bc
+size 1372485

models/subword_ngram/azb_3gram_subword_metadata.json

@@ -2,6 +2,6 @@
   "n": 3,
   "variant": "subword",
   "language": "azb",
-  "unique_ngrams": 106644,
-  "total_ngrams": 91370829
+  "unique_ngrams": 106797,
+  "total_ngrams": 91428663
 }

models/subword_ngram/azb_4gram_subword.parquet

@@ -1,3 +1,3 @@
 version https://git-lfs.github.com/spec/v1
-oid sha256:cde924d7fc46a3c6a14d25e38135fbf37a14e774606b67187d527dd381b1d75f
-size 7368829
+oid sha256:cdf95cef8857c634a6c38bef044511145760d78c4084a78b5ce524a351f47629
+size 7367143

models/subword_ngram/azb_4gram_subword_metadata.json

@@ -2,6 +2,6 @@
   "n": 4,
   "variant": "subword",
   "language": "azb",
-  "unique_ngrams": 581225,
-  "total_ngrams": 91128174
+  "unique_ngrams": 582040,
+  "total_ngrams": 91185899
 }

models/subword_ngram/azb_5gram_subword.parquet

@@ -0,0 +1,3 @@
+version https://git-lfs.github.com/spec/v1
+oid sha256:1e6a651286a7fc63db17722b54dcc513de38bb32954df7ef2c6e7ba41696a94f
+size 21420410

models/subword_ngram/azb_5gram_subword_metadata.json

@@ -0,0 +1,7 @@
+{
+  "n": 5,
+  "variant": "subword",
+  "language": "azb",
+  "unique_ngrams": 1605166,
+  "total_ngrams": 90943135
+}

models/tokenizer/azb_tokenizer_16k.model

@@ -1,3 +1,3 @@
 version https://git-lfs.github.com/spec/v1
-oid sha256:c4f3786bae820ff2d6cc627dbdc96f1ede4586a6afa95391543c078559a7c125
-size 527370
+oid sha256:78fe8e425ee2d14c8cbc086462c0a6fb0c8672422d6baaa9c53a083fb41230fe
+size 527336

models/tokenizer/azb_tokenizer_32k.model

@@ -1,3 +1,3 @@
 version https://git-lfs.github.com/spec/v1
-oid sha256:d5380be73c3e18000f3f24bd0d0309c1b6d15259c73623f50c42cea3c6f8992d
-size 820944
+oid sha256:1dcb5fbdf9687c7a29a2559207cbe48f8a1890ee06cd1e13b5a72ce3ae1a1d37
+size 821063

models/tokenizer/azb_tokenizer_64k.model

@@ -1,3 +1,3 @@
 version https://git-lfs.github.com/spec/v1
-oid sha256:efb9e4835aafb1f0f10715a303c2ac20f1f169ed4ffc46f49d685eea42a8bfae
-size 1430567
+oid sha256:25e15500dc92481d440402b6c384029ea7e58fe0ae397c87bf65ab29894d3d39
+size 1430884

models/tokenizer/azb_tokenizer_8k.model

@@ -1,3 +1,3 @@
 version https://git-lfs.github.com/spec/v1
-oid sha256:e6b1776330fc0caaa7cc96df48505e83e46f3a00daa53e66e6a94354397d3dd8
-size 384993
+oid sha256:1ffb727e6910cf827e7bb5d25d97496c5148609e25777d8d628f6c18555b2a56
+size 384991

models/vocabulary/azb_vocabulary.parquet

@@ -1,3 +1,3 @@
 version https://git-lfs.github.com/spec/v1
-oid sha256:1346fa231de1649149828cb0cae257f644b1914797c84a5a8c4b56c62e716253
-size 4348211
+oid sha256:86bd845ad36e21a068c417e3b757b2c45c205900a8bc93f376602b186ce1b75a
+size 4356999

models/vocabulary/azb_vocabulary_metadata.json

@@ -1,17 +1,17 @@
 {
   "language": "azb",
-  "vocabulary_size": 271198,
+  "vocabulary_size": 271726,
   "variant": "full",
   "statistics": {
-    "type_token_ratio": 0.05623983023140009,
+    "type_token_ratio": 0.05635358313507553,
     "coverage": {
-      "top_100": 0.33209927062556827,
-      "top_1000": 0.6250560987377987,
-      "top_5000": 0.7676335196346162,
-      "top_10000": 0.8163255618590586
+      "top_100": 0.33197342078310443,
+      "top_1000": 0.6248757605033368,
+      "top_5000": 0.7674031101905439,
+      "top_10000": 0.816088303994887
     },
-    "hapax_count": 456252,
-    "hapax_ratio": 0.627193621554746,
-    "total_documents": 242655
+    "hapax_count": 457644,
+    "hapax_ratio": 0.6274510879251958,
+    "total_documents": 242764
   }
 }

models/word_markov/azb_markov_ctx1_word.parquet

@@ -1,3 +1,3 @@
 version https://git-lfs.github.com/spec/v1
-oid sha256:816eaec35f734257259dcbb9d574a8c019635474f0de8b0daca5e593a77ac78b
-size 42654567
+oid sha256:6238def4c37c6efca33c3f0dec89e8e15aea62181715f132a0c8f831fc399f55
+size 42535190

models/word_markov/azb_markov_ctx1_word_metadata.json

@@ -2,6 +2,6 @@
   "context_size": 1,
   "variant": "word",
   "language": "azb",
-  "unique_contexts": 726930,
-  "total_transitions": 12692128
+  "unique_contexts": 728851,
+  "total_transitions": 12699980
 }

models/word_markov/azb_markov_ctx2_word.parquet

@@ -1,3 +1,3 @@
 version https://git-lfs.github.com/spec/v1
-oid sha256:46d9babbdaaaad5f5dc9ac4a05883d1447bd376822b6b3dc01d9bfa81167154f
-size 101955475
+oid sha256:dd5d011f46c908036799cf288d4894cdb782c673ee08496e7d2194b9a1b8bb5e
+size 102046765

models/word_markov/azb_markov_ctx2_word_metadata.json

@@ -2,6 +2,6 @@
   "context_size": 2,
   "variant": "word",
   "language": "azb",
-  "unique_contexts": 3693091,
-  "total_transitions": 12449473
+  "unique_contexts": 3698118,
+  "total_transitions": 12457216
 }