Upload all models and assets for el (latest)

.gitattributes

@@ -39,3 +39,4 @@ visualizations/position_encoding_comparison.png filter=lfs diff=lfs merge=lfs -t
 visualizations/tsne_sentences.png filter=lfs diff=lfs merge=lfs -text
 visualizations/tsne_words.png filter=lfs diff=lfs merge=lfs -text
 visualizations/zipf_law.png filter=lfs diff=lfs merge=lfs -text
+visualizations/embedding_tsne_multilingual.png filter=lfs diff=lfs merge=lfs -text

README.md

@@ -10,11 +10,21 @@ tags:
   - n-gram
   - markov
   - wikipedia
+  - feature-extraction
+  - sentence-similarity
+  - tokenization
+  - n-grams
+  - markov-chain
+  - text-mining
+  - fasttext
+  - babelvec
+  - vocabulous
+  - vocabulary
   - monolingual
   - family-greek
 license: mit
 library_name: wikilangs
-pipeline_tag: feature-extraction
+pipeline_tag: text-generation
 datasets:
   - omarkamali/wikipedia-monthly
 dataset_info:
@@ -23,14 +33,14 @@ dataset_info:
 metrics:
   - name: best_compression_ratio
     type: compression
-    value: 4.539
+    value: 4.872
   - name: best_isotropy
     type: isotropy
-    value: 0.7952
+    value: 0.8028
   - name: vocabulary_size
     type: vocab
-    value: 1000000
-generated: 2025-12-30
+    value: 0
+generated: 2026-01-10
 ---
 
 # Greek - Wikilangs Models
@@ -44,12 +54,13 @@ We analyze tokenizers, n-gram models, Markov chains, vocabulary statistics, and
 ### Models & Assets
 
 - Tokenizers (8k, 16k, 32k, 64k)
-- N-gram models (2, 3, 4-gram)
-- Markov chains (context of 1, 2, 3 and 4)
+- N-gram models (2, 3, 4, 5-gram)
+- Markov chains (context of 1, 2, 3, 4 and 5)
 - Subword N-gram and Markov chains
-- Embeddings in various sizes and dimensions
+- Embeddings in various sizes and dimensions (aligned and unaligned)
 - Language Vocabulary
 - Language Statistics
+
 ![Performance Dashboard](visualizations/performance_dashboard.png)
 
 ### Analysis and Evaluation
@@ -59,7 +70,8 @@ We analyze tokenizers, n-gram models, Markov chains, vocabulary statistics, and
 - [3. Markov Chain Evaluation](#3-markov-chain-evaluation)
 - [4. Vocabulary Analysis](#4-vocabulary-analysis)
 - [5. Word Embeddings Evaluation](#5-word-embeddings-evaluation)
-- [6. Summary & Recommendations](#6-summary--recommendations)
+- [6. Morphological Analysis (Experimental)](#6--morphological-analysis-experimental)
+- [7. Summary & Recommendations](#7-summary--recommendations)
 - [Metrics Glossary](#appendix-metrics-glossary--interpretation-guide)
 - [Visualizations Index](#visualizations-index)
 
@@ -68,57 +80,57 @@ We analyze tokenizers, n-gram models, Markov chains, vocabulary statistics, and
 
 ![Tokenizer Compression](visualizations/tokenizer_compression.png)
 
+![Tokenizer Fertility](visualizations/tokenizer_fertility.png)
+
+![Tokenizer OOV](visualizations/tokenizer_oov.png)
+
+![Total Tokens](visualizations/tokenizer_total_tokens.png)
+
 ### Results
 
 | Vocab Size | Compression | Avg Token Len | UNK Rate | Total Tokens |
 |------------|-------------|---------------|----------|--------------|
-| **8k** | 3.468x | 3.45 | 0.0627% | 2,950,157 |
-| **16k** | 3.866x | 3.85 | 0.0699% | 2,647,020 |
-| **32k** | 4.241x | 4.22 | 0.0767% | 2,412,572 |
-| **64k** | 4.539x 🏆 | 4.52 | 0.0821% | 2,254,042 |
+| **8k** | 3.621x | 3.62 | 0.0471% | 2,711,752 |
+| **16k** | 4.087x | 4.09 | 0.0531% | 2,402,524 |
+| **32k** | 4.519x | 4.52 | 0.0587% | 2,172,769 |
+| **64k** | 4.872x 🏆 | 4.87 | 0.0633% | 2,015,689 |
 
 ### Tokenization Examples
 
 Below are sample sentences tokenized with each vocabulary size:
 
-**Sample 1:** `Το όνομα Hulk μπορεί να αναφέρεται σε κάποιο από τα παρακάτω.
-
- Hulk (χαρακτήρας...`
+**Sample 1:** `.ms είναι ο top-level domain κωδικός για το Μοντσερράτ στο Διαδίκτυο. Δείτε επίσ...`
 
 | Vocab | Tokens | Count |
 |-------|--------|-------|
-| 8k | `▁το ▁όνομα ▁h ul k ▁μπορεί ▁να ▁αναφέρεται ▁σε ▁κάποιο ... (+22 more)` | 32 |
-| 16k | `▁το ▁όνομα ▁h ul k ▁μπορεί ▁να ▁αναφέρεται ▁σε ▁κάποιο ... (+22 more)` | 32 |
-| 32k | `▁το ▁όνομα ▁h ulk ▁μπορεί ▁να ▁αναφέρεται ▁σε ▁κάποιο ▁από ... (+16 more)` | 26 |
-| 64k | `▁το ▁όνομα ▁hulk ▁μπορεί ▁να ▁αναφέρεται ▁σε ▁κάποιο ▁από ▁τα ... (+12 more)` | 22 |
-
-**Sample 2:** `Ο όρος Πισίνα μπορεί να αναφέρεται σε κάποιο από τα παρακάτω.
+| 8k | `▁. ms ▁είναι ▁ο ▁top - level ▁domain ▁κω δικόσ ... (+30 more)` | 40 |
+| 16k | `▁. ms ▁είναι ▁ο ▁top - level ▁domain ▁κωδικόσ ▁για ... (+21 more)` | 31 |
+| 32k | `▁. ms ▁είναι ▁ο ▁top - level ▁domain ▁κωδικόσ ▁για ... (+21 more)` | 31 |
+| 64k | `▁. ms ▁είναι ▁ο ▁top - level ▁domain ▁κωδικόσ ▁για ... (+19 more)` | 29 |
 
- Πισίνα (δεξαμενή...`
+**Sample 2:** `Το Φόππολο (ιταλικά: Foppolo) είναι ιταλικός δήμος στην Επαρχία του Μπέργκαμο, σ...`
 
 | Vocab | Tokens | Count |
 |-------|--------|-------|
-| 8k | `▁ο ▁όροσ ▁π ισ ίνα ▁μπορεί ▁να ▁αναφέρεται ▁σε ▁κάποιο ... (+33 more)` | 43 |
-| 16k | `▁ο ▁όροσ ▁πισ ίνα ▁μπορεί ▁να ▁αναφέρεται ▁σε ▁κάποιο ▁από ... (+26 more)` | 36 |
-| 32k | `▁ο ▁όροσ ▁πισ ίνα ▁μπορεί ▁να ▁αναφέρεται ▁σε ▁κάποιο ▁από ... (+23 more)` | 33 |
-| 64k | `▁ο ▁όροσ ▁πισίνα ▁μπορεί ▁να ▁αναφέρεται ▁σε ▁κάποιο ▁από ▁τα ... (+18 more)` | 28 |
-
-**Sample 3:** `Ο όρος Γράμμα μπορεί να αναφέρεται σε κάποιο από τα παρακάτω.
+| 8k | `▁το ▁φ όπ πο λο ▁( ιταλικά : ▁f op ... (+32 more)` | 42 |
+| 16k | `▁το ▁φ όπ πο λο ▁( ιταλικά : ▁f op ... (+28 more)` | 38 |
+| 32k | `▁το ▁φ όπ πο λο ▁( ιταλικά : ▁f op ... (+25 more)` | 35 |
+| 64k | `▁το ▁φ όπ πο λο ▁( ιταλικά : ▁f op ... (+21 more)` | 31 |
 
- Γράμμα (στοιχείο...`
+**Sample 3:** `Το Λε Τορ () είναι γαλλική κοινότητα στο νομό της Ερ, στη διοικητική περιοχή της...`
 
 | Vocab | Tokens | Count |
 |-------|--------|-------|
-| 8k | `▁ο ▁όροσ ▁γρά μμα ▁μπορεί ▁να ▁αναφέρεται ▁σε ▁κάποιο ▁από ... (+22 more)` | 32 |
-| 16k | `▁ο ▁όροσ ▁γράμμα ▁μπορεί ▁να ▁αναφέρεται ▁σε ▁κάποιο ▁από ▁τα ... (+18 more)` | 28 |
-| 32k | `▁ο ▁όροσ ▁γράμμα ▁μπορεί ▁να ▁αναφέρεται ▁σε ▁κάποιο ▁από ▁τα ... (+16 more)` | 26 |
-| 64k | `▁ο ▁όροσ ▁γράμμα ▁μπορεί ▁να ▁αναφέρεται ▁σε ▁κάποιο ▁από ▁τα ... (+16 more)` | 26 |
+| 8k | `▁το ▁λε ▁τορ ▁() ▁είναι ▁γαλλική ▁κοινότητα ▁στο ▁νομό ▁τησ ... (+15 more)` | 25 |
+| 16k | `▁το ▁λε ▁τορ ▁() ▁είναι ▁γαλλική ▁κοινότητα ▁στο ▁νομό ▁τησ ... (+14 more)` | 24 |
+| 32k | `▁το ▁λε ▁τορ ▁() ▁είναι ▁γαλλική ▁κοινότητα ▁στο ▁νομό ▁τησ ... (+13 more)` | 23 |
+| 64k | `▁το ▁λε ▁τορ ▁() ▁είναι ▁γαλλική ▁κοινότητα ▁στο ▁νομό ▁τησ ... (+13 more)` | 23 |
 
 
 ### Key Findings
 
-- **Best Compression:** 64k achieves 4.539x compression
-- **Lowest UNK Rate:** 8k with 0.0627% unknown tokens
+- **Best Compression:** 64k achieves 4.872x compression
+- **Lowest UNK Rate:** 8k with 0.0471% unknown tokens
 - **Trade-off:** Larger vocabularies improve compression but increase model size
 - **Recommendation:** 32k vocabulary provides optimal balance for production use
 
@@ -127,57 +139,111 @@ Below are sample sentences tokenized with each vocabulary size:
 
 ![N-gram Perplexity](visualizations/ngram_perplexity.png)
 
+![N-gram Unique](visualizations/ngram_unique.png)
+
 ![N-gram Coverage](visualizations/ngram_coverage.png)
 
 ### Results
 
-| N-gram | Perplexity | Entropy | Unique N-grams | Top-100 Coverage | Top-1000 Coverage |
-|--------|------------|---------|----------------|------------------|-------------------|
-| **2-gram** | 184,550 🏆 | 17.49 | 2,734,979 | 9.7% | 21.6% |
-| **2-gram** | 524 🏆 | 9.03 | 31,823 | 53.1% | 95.1% |
-| **3-gram** | 1,381,139 | 20.40 | 7,476,828 | 3.1% | 8.3% |
-| **3-gram** | 4,827 | 12.24 | 338,020 | 22.3% | 56.5% |
-| **4-gram** | 4,155,936 | 21.99 | 13,885,545 | 2.1% | 5.3% |
-| **4-gram** | 27,979 | 14.77 | 2,196,788 | 11.8% | 32.2% |
+| N-gram | Variant | Perplexity | Entropy | Unique N-grams | Top-100 Coverage | Top-1000 Coverage |
+|--------|---------|------------|---------|----------------|------------------|-------------------|
+| **2-gram** | Word | 254,029 | 17.95 | 2,414,487 | 7.3% | 17.4% |
+| **2-gram** | Subword | 443 🏆 | 8.79 | 26,716 | 56.5% | 96.8% |
+| **3-gram** | Word | 1,488,610 | 20.51 | 5,529,817 | 1.9% | 6.3% |
+| **3-gram** | Subword | 3,933 | 11.94 | 250,216 | 24.2% | 59.6% |
+| **4-gram** | Word | 3,845,615 | 21.87 | 9,144,193 | 1.3% | 3.9% |
+| **4-gram** | Subword | 22,210 | 14.44 | 1,519,855 | 12.8% | 34.2% |
+| **5-gram** | Word | 2,910,168 | 21.47 | 5,914,525 | 1.4% | 4.2% |
+| **5-gram** | Subword | 87,887 | 16.42 | 5,267,290 | 7.2% | 20.9% |
 
 ### Top 5 N-grams by Size
 
-**2-grams:**
+**2-grams (Word):**
+
+| Rank | N-gram | Count |
+|------|--------|-------|
+| 1 | `από το` | 323,213 |
+| 2 | `από την` | 290,152 |
+| 3 | `με την` | 252,647 |
+| 4 | `από τον` | 241,108 |
+| 5 | `για την` | 198,175 |
+
+**3-grams (Word):**
+
+| Rank | N-gram | Count |
+|------|--------|-------|
+| 1 | `κατά τη διάρκεια` | 71,561 |
+| 2 | `παραπομπές εξωτερικοί σύνδεσμοι` | 62,539 |
+| 3 | `τη διάρκεια της` | 34,723 |
+| 4 | `για πρώτη φορά` | 29,480 |
+| 5 | `σύμφωνα με την` | 25,173 |
+
+**4-grams (Word):**
+
+| Rank | N-gram | Count |
+|------|--------|-------|
+| 1 | `κατά τη διάρκεια της` | 32,537 |
+| 2 | `από το έως το` | 20,094 |
+| 3 | `κατά τη διάρκεια του` | 19,453 |
+| 4 | `γαλλική κοινότητα στο νομό` | 16,152 |
+| 5 | `είναι γαλλική κοινότητα στο` | 16,142 |
+
+**5-grams (Word):**
+
+| Rank | N-gram | Count |
+|------|--------|-------|
+| 1 | `είναι γαλλική κοινότητα στο νομό` | 16,142 |
+| 2 | `γαλλική κοινότητα στο νομό της` | 10,798 |
+| 3 | `σύμφωνα με την απογραφή του` | 8,977 |
+| 4 | `προβλήματα οργανικής χημείας ν α` | 5,103 |
+| 5 | `οργανικής χημείας ν α πετάση` | 5,103 |
+
+**2-grams (Subword):**
+
+| Rank | N-gram | Count |
+|------|--------|-------|
+| 1 | `ς _` | 20,530,109 |
+| 2 | `_ τ` | 20,509,338 |
+| 3 | `τ ο` | 15,006,596 |
+| 4 | `ο υ` | 13,459,949 |
+| 5 | `α _` | 12,791,705 |
+
+**3-grams (Subword):**
 
 | Rank | N-gram | Count |
 |------|--------|-------|
-| 1 | `κατηγορία :` | 636,996 |
-| 2 | `. η` | 478,250 |
-| 3 | `. το` | 448,858 |
-| 4 | `) ,` | 447,570 |
-| 5 | `. ο` | 442,335 |
+| 1 | `_ τ ο` | 9,583,813 |
+| 2 | `ο υ _` | 7,426,167 |
+| 3 | `_ κ α` | 6,229,911 |
+| 4 | `α ι _` | 5,946,159 |
+| 5 | `_ τ η` | 5,812,762 |
 
-**3-grams:**
+**4-grams (Subword):**
 
 | Rank | N-gram | Count |
 |------|--------|-------|
-| 1 | `| | |` | 239,466 |
-| 2 | `. χ .` | 95,817 |
-| 3 | `: / /` | 81,844 |
-| 4 | `, σελ .` | 80,384 |
-| 5 | `π . χ` | 76,365 |
+| 1 | `_ τ ο υ` | 4,854,974 |
+| 2 | `τ ο υ _` | 3,990,563 |
+| 3 | `_ κ α ι` | 3,906,895 |
+| 4 | `κ α ι _` | 3,870,183 |
+| 5 | `_ τ ο _` | 3,120,828 |
 
-**4-grams:**
+**5-grams (Subword):**
 
 | Rank | N-gram | Count |
 |------|--------|-------|
-| 1 | `| | | |` | 180,521 |
-| 2 | `π . χ .` | 74,646 |
-| 3 | `: / / www` | 50,485 |
-| 4 | `/ / www .` | 50,469 |
-| 5 | `. παραπομπές κατηγορία :` | 47,261 |
+| 1 | `_ κ α ι _` | 3,856,808 |
+| 2 | `_ τ ο υ _` | 3,836,821 |
+| 3 | `_ τ η ς _` | 2,888,245 |
+| 4 | `_ τ η ν _` | 1,890,516 |
+| 5 | `_ α π ό _` | 1,864,707 |
 
 
 ### Key Findings
 
-- **Best Perplexity:** 2-gram with 524
+- **Best Perplexity:** 2-gram (subword) with 443
 - **Entropy Trend:** Decreases with larger n-grams (more predictable)
-- **Coverage:** Top-1000 patterns cover ~32% of corpus
+- **Coverage:** Top-1000 patterns cover ~21% of corpus
 - **Recommendation:** 4-gram or 5-gram for best predictive performance
 
 ---
@@ -185,55 +251,86 @@ Below are sample sentences tokenized with each vocabulary size:
 
 ![Markov Entropy](visualizations/markov_entropy.png)
 
+![Markov Contexts](visualizations/markov_contexts.png)
+
 ![Markov Branching](visualizations/markov_branching.png)
 
 ### Results
 
-| Context | Avg Entropy | Perplexity | Branching Factor | Unique Contexts | Predictability |
-|---------|-------------|------------|------------------|-----------------|----------------|
-| **1** | 0.6618 | 1.582 | 7.87 | 3,151,392 | 33.8% |
-| **1** | 1.4637 | 2.758 | 11.20 | 10,325 | 0.0% |
-| **2** | 0.4556 | 1.371 | 2.92 | 24,784,714 | 54.4% |
-| **2** | 0.8017 | 1.743 | 6.14 | 115,568 | 19.8% |
-| **3** | 0.2366 | 1.178 | 1.61 | 72,311,071 | 76.3% |
-| **3** | 0.9287 | 1.904 | 5.40 | 709,839 | 7.1% |
-| **4** | 0.1100 🏆 | 1.079 | 1.21 | 116,470,687 | 89.0% |
-| **4** | 0.7438 🏆 | 1.675 | 3.63 | 3,835,999 | 25.6% |
+| Context | Variant | Avg Entropy | Perplexity | Branching Factor | Unique Contexts | Predictability |
+|---------|---------|-------------|------------|------------------|-----------------|----------------|
+| **1** | Word | 0.9344 | 1.911 | 11.28 | 2,374,710 | 6.6% |
+| **1** | Subword | 1.0861 | 2.123 | 7.80 | 13,425 | 0.0% |
+| **2** | Word | 0.4145 | 1.333 | 2.61 | 26,731,768 | 58.6% |
+| **2** | Subword | 0.7185 | 1.645 | 5.31 | 104,621 | 28.2% |
+| **3** | Word | 0.1946 | 1.144 | 1.46 | 69,637,387 | 80.5% |
+| **3** | Subword | 0.8000 | 1.741 | 4.75 | 555,743 | 20.0% |
+| **4** | Word | 0.0819 🏆 | 1.058 | 1.15 | 101,596,464 | 91.8% |
+| **4** | Subword | 0.7130 | 1.639 | 3.67 | 2,639,831 | 28.7% |
+
+### Generated Text Samples (Word-based)
+
+Below are text samples generated from each word-based Markov chain model:
+
+**Context Size 1:**
+
+1. `του άγραφος νόμος και εκλογές κερδίζει το ο ν ευστρατίου κώστας καραπατής έλληνας αγωνιστής του οίκο...`
+2. `και βασανίστηκε σε αντίθεση με τον στρυμόνα ο βοναπάρτης κάλεσε σε κομματικό μάθημα φυκολογία harvey...`
+3. `το μπρύγκεν κάηκε τρεις πήχεις και τους τύπους κλειδώματος πολλές προσπάθειες ευχρηστίας υπηρετεί ως...`
+
+**Context Size 2:**
+
+1. `από το πανί και τον βιότοπο της κέντρο είναι το δεύτερο όσκαρ β τέλεσε τη θεία της`
+2. `από την αστυνομία ενώ είναι διαθέσι��ο σε 409 αγώνες σκοράροντας 4 γκολ σε όλες τις έδρες δηλαδή`
+3. `με την οργάνωση και επέκταση των ορίων λειτουργίας των διαδικασιών η εταιρεία το δίκτυο αποχέτευσης ...`
+
+**Context Size 3:**
+
+1. `κατά τη διάρκεια της οποίας προέτρεψε να παραδοθούν αφού πρωτύτερα συμφώνησαν να μην ενημερώσουν τον...`
+2. `παραπομπές εξωτερικοί σύνδεσμοι ψηφιακό αρχείο των δημοσιεύσεων του χ σάιμον με τα πλήρη ίσια μαλλιά...`
+3. `τη διάρκεια της βασιλείας του τσάρου πέτρου α τα ελεύθερα οικόπεδα αγοράστηκαν και το μια μεταλλική ...`
+
+**Context Size 4:**
+
+1. `κατά τη διάρκεια της δεκαετίας του 20 τάφηκε μαζί με την σύζυγο του αυγούστα κόρτενεϋ 8 φεβρουαρίου ...`
+2. `από το έως το με εξαίρεση εκείνες του μετά την έξωση του όθωνα κατά τη διάρκεια των φιλορωσικών ανατ...`
+3. `κατά τη διάρκεια του χειμώνα μεταξύ της τελευταίας κυριακής του οκτωβρίου μέχρι τη 1 00 utc της τελε...`
 
-### Generated Text Samples
 
-Below are text samples generated from each Markov chain model:
+### Generated Text Samples (Subword-based)
+
+Below are text samples generated from each subword-based Markov chain model:
 
 **Context Size 1:**
 
-1. `, του χορού , donado por los kids ' επς βοιωτίας . english renaissance ( 1`
-2. `. 3 : χωριά της νεκρής θάλασσας , δήμοι , στη στρατιωτική ακαδημία αθηνών . ανακτήθηκε`
-3. `του 2017 . λόγω της καμπανίας ) . soundwave melbourne , εργαστήρια και μια « φεκ`
+1. `_ικαθεσυπν_μμε_a`
+2. `ας._ησο_πόδύπίαι`
+3. `ούν_πού_κόπρες_ό`
 
 **Context Size 2:**
 
-1. `κατηγορία : αλκυλαλογονίδια κατηγορία : ταινίες με θέμα τη γαλλική πρεσβεία . δηλητηρίαση από αυτό ,...`
-2. `. η γερμανία υπέστη οξεία κρίση δεν αντιστοιχεί σε μια άλλη παράδοση - φυτεύτηκε από την κεντρική`
-3. `. το 1943 και μετά ο εφραίμογλου τους μετέφερε με εμπορικό περιεχόμενο βρέθηκαν στην περιοχή με μεγά...`
+1. `ς_εξε_μος_αντρώτο`
+2. `_τη_για_ήταχματην`
+3. `το_ναι_από_τοντις`
 
 **Context Size 3:**
 
-1. `| | | | | | | | | | 4 - 1 πέν . ( 0 ,`
-2. `. χ . ο αννίβας σε απάντηση κινήθηκε κοντά στο pd ( 15 . 441 ή 15 %`
-3. `: / / www . crvenazvezdafk . com / 2020 / 08 / 2018 . ανάκτηση στις 2018`
+1. `_του_αναλίαρχές_αλ`
+2. `ου_έγκροτεχνολούν_`
+3. `_καιρισμοι_/σεβαιω`
 
 **Context Size 4:**
 
-1. `| | | | | | | | | | | 5 , 13 | | 2 . 1`
-2. `π . χ . η ονομασία δόθηκε προς τιμήν των ελευθερωτών ( ισπ . / πορτογ . : libertadores`
-3. `: / / www . in . gr , ο ατρόμητος πειραιώς , ο αργοναύτης πειραιώς , ο πειραϊκός`
+1. `_τους_χρήση_ο_πτερύ`
+2. `του_της_ανακάλυψη_σ`
+3. `_και_τους_δικτίνας_`
 
 
 ### Key Findings
 
-- **Best Predictability:** Context-4 with 89.0% predictability
+- **Best Predictability:** Context-4 (word) with 91.8% predictability
 - **Branching Factor:** Decreases with context size (more deterministic)
-- **Memory Trade-off:** Larger contexts require more storage (3,835,999 contexts)
+- **Memory Trade-off:** Larger contexts require more storage (2,639,831 contexts)
 - **Recommendation:** Context-3 or Context-4 for text generation
 
 ---
@@ -249,64 +346,64 @@ Below are text samples generated from each Markov chain model:
 
 | Metric | Value |
 |--------|-------|
-| Vocabulary Size | 1,000,000 |
-| Total Tokens | 141,420,269 |
-| Mean Frequency | 141.42 |
-| Median Frequency | 5 |
-| Frequency Std Dev | 9402.05 |
+| Vocabulary Size | 1,039,940 |
+| Total Tokens | 132,061,031 |
+| Mean Frequency | 126.99 |
+| Median Frequency | 4 |
+| Frequency Std Dev | 9123.56 |
 
 ### Most Common Words
 
 | Rank | Word | Frequency |
 |------|------|-----------|
-| 1 | του | 4,114,595 |
-| 2 | και | 3,905,146 |
-| 3 | το | 3,246,877 |
-| 4 | της | 3,002,879 |
-| 5 | η | 1,973,472 |
-| 6 | την | 1,903,298 |
-| 7 | ο | 1,891,449 |
-| 8 | από | 1,890,535 |
-| 9 | με | 1,665,302 |
-| 10 | τον | 1,309,398 |
+| 1 | του | 4,095,731 |
+| 2 | και | 3,886,615 |
+| 3 | το | 3,228,440 |
+| 4 | της | 2,987,569 |
+| 5 | η | 1,958,228 |
+| 6 | την | 1,895,055 |
+| 7 | από | 1,882,149 |
+| 8 | ο | 1,862,872 |
+| 9 | με | 1,655,296 |
+| 10 | τον | 1,304,224 |
 
 ### Least Common Words (from vocabulary)
 
 | Rank | Word | Frequency |
 |------|------|-----------|
-| 1 | hoarder | 2 |
-| 2 | λακουέβα | 2 |
-| 3 | teasdale | 2 |
-| 4 | φλόσι | 2 |
-| 5 | μαχαλάθ | 2 |
-| 6 | παστούχοφ | 2 |
-| 7 | lorring | 2 |
-| 8 | ρινοπαρειακές | 2 |
-| 9 | λιπομεταμόσχευσης | 2 |
-| 10 | παμπίνος | 2 |
+| 1 | ωσμωπροστατευτικά | 2 |
+| 2 | ορμπέκη | 2 |
+| 3 | hidronor | 2 |
+| 4 | jpp | 2 |
+| 5 | liebrand | 2 |
+| 6 | οϊρατσουμέ | 2 |
+| 7 | χασιχίτο | 2 |
+| 8 | σεϊσι | 2 |
+| 9 | τακατσουκασά | 2 |
+| 10 | κατσιρέλο | 2 |
 
 ### Zipf's Law Analysis
 
 | Metric | Value |
 |--------|-------|
-| Zipf Coefficient | 0.9633 |
-| R² (Goodness of Fit) | 0.996714 |
+| Zipf Coefficient | 0.9498 |
+| R² (Goodness of Fit) | 0.997066 |
 | Adherence Quality | **excellent** |
 
 ### Coverage Analysis
 
 | Top N Words | Coverage |
 |-------------|----------|
-| Top 100 | 37.1% |
-| Top 1,000 | 55.3% |
-| Top 5,000 | 71.3% |
+| Top 100 | 38.6% |
+| Top 1,000 | 55.9% |
+| Top 5,000 | 71.4% |
 | Top 10,000 | 78.0% |
 
 ### Key Findings
 
-- **Zipf Compliance:** R²=0.9967 indicates excellent adherence to Zipf's law
-- **High Frequency Dominance:** Top 100 words cover 37.1% of corpus
-- **Long Tail:** 990,000 words needed for remaining 22.0% coverage
+- **Zipf Compliance:** R²=0.9971 indicates excellent adherence to Zipf's law
+- **High Frequency Dominance:** Top 100 words cover 38.6% of corpus
+- **Long Tail:** 1,029,940 words needed for remaining 22.0% coverage
 
 ---
 ## 5. Word Embeddings Evaluation
@@ -319,24 +416,137 @@ Below are text samples generated from each Markov chain model:
 
 ![t-SNE Sentences](visualizations/tsne_sentences.png)
 
-### Model Comparison
 
-| Model | Vocab Size | Dimension | Avg Norm | Std Norm | Isotropy |
-|-------|------------|-----------|----------|----------|----------|
-| **mono_32d** | 858,240 | 32 | 3.095 | 0.904 | 0.7952 🏆 |
-| **mono_64d** | 858,240 | 64 | 3.528 | 0.886 | 0.7735 |
-| **mono_128d** | 858,240 | 128 | 3.968 | 0.931 | 0.7220 |
-| **embeddings_enhanced** | 0 | 0 | 0.000 | 0.000 | 0.0000 |
+### 5.1 Cross-Lingual Alignment
+
+![Alignment Quality](visualizations/embedding_alignment_quality.png)
+
+![Multilingual t-SNE](visualizations/embedding_tsne_multilingual.png)
+
+
+### 5.2 Model Comparison
+
+| Model | Dimension | Isotropy | Semantic Density | Alignment R@1 | Alignment R@10 |
+|-------|-----------|----------|------------------|---------------|----------------|
+| **mono_32d** | 32 | 0.8028 | 0.3648 | N/A | N/A |
+| **mono_64d** | 64 | 0.7821 | 0.3021 | N/A | N/A |
+| **mono_128d** | 128 | 0.7303 | 0.2408 | N/A | N/A |
+| **aligned_32d** | 32 | 0.8028 🏆 | 0.3775 | 0.2640 | 0.6820 |
+| **aligned_64d** | 64 | 0.7821 | 0.2965 | 0.4780 | 0.8720 |
+| **aligned_128d** | 128 | 0.7303 | 0.2330 | 0.6560 | 0.9100 |
 
 ### Key Findings
 
-- **Best Isotropy:** mono_32d with 0.7952 (more uniform distribution)
-- **Dimension Trade-off:** Higher dimensions capture more semantics but reduce isotropy
-- **Vocabulary Coverage:** All models cover 858,240 words
-- **Recommendation:** 100d for balanced semantic capture and efficiency
+- **Best Isotropy:** aligned_32d with 0.8028 (more uniform distribution)
+- **Semantic Density:** Average pairwise similarity of 0.3025. Lower values indicate better semantic separation.
+- **Alignment Quality:** Aligned models achieve up to 65.6% R@1 in cross-lingual retrieval.
+- **Recommendation:** 128d aligned for best cross-lingual performance
 
 ---
-## 6. Summary & Recommendations
+## 6.  Morphological Analysis (Experimental)
+
+This section presents an automated morphological analysis derived from the statistical divergence between word-level and subword-level models. By analyzing where subword predictability spikes and where word-level coverage fails, we can infer linguistic structures without supervised data.
+
+### 6.1 Productivity & Complexity
+
+| Metric | Value | Interpretation | Recommendation |
+|--------|-------|----------------|----------------|
+| Productivity Index | **5.000** | High morphological productivity | Reliable analysis |
+| Idiomaticity Gap | **-0.798** | Low formulaic content | - |
+
+### 6.2 Affix Inventory (Productive Units)
+
+These are the most productive prefixes and suffixes identified by sampling the vocabulary for global substitutability patterns. A unit is considered an affix if stripping it leaves a valid stem that appears in other contexts.
+
+#### Productive Prefixes
+| Prefix | Examples |
+|--------|----------|
+| `-α` | αβρανσάν, απόχρεμψη, αποφέροντάς |
+| `-σ` | συνειδητοποιήσετε, στίβενσον, σπειροτόμησης |
+| `-a` | ayodhya, addicted, apocolo |
+| `-s` | superdome, sembrich, sibling |
+| `-κ` | κίτσεβο, κλειδώνω, κινοσάκι |
+| `-κα` | καριστάνιου, κασιγουαμπάρα, καλλιρροη |
+| `-ε` | ελληνοαλβανικών, επανεξετάζει, ενοργάνιση |
+| `-μ` | μάστερινγκ, μεθυλοβουτανονιτρίλιοασκήσεις, μπαλάφα |
+
+#### Productive Suffixes
+| Suffix | Examples |
+|--------|----------|
+| `-ς` | νεπαλέζους, 125ος, μεθυλοβουτανονιτρίλιοασκήσεις |
+| `-ν` | ελληνοαλβανικών, νταγκάν, αβρανσάν |
+| `-α` | οκτωβρίουεφημερίδα, προσωπίδα, τζιτζιμπίρα |
+| `-ι` | χότζι, φρύξουσι, υπονομεύεται |
+| `-ος` | 125ος, φιλαθλος, μπατιστάτος |
+| `-ο` | ζηρίνειο, κίτσεβο, ριβονουκλεοτίδιο |
+| `-ου` | καριστάνιου, ατταβύρου, βερεγγάριου |
+| `-ης` | φαρέλης, απόρθητης, σπειροτόμησης |
+
+### 6.3 Bound Stems (Lexical Roots)
+
+Bound stems are high-frequency subword units that are semantically cohesive but rarely appear as standalone words. These often correspond to the 'core' of a word that requires inflection or derivation to be valid.
+
+| Stem | Cohesion | Substitutability | Examples |
+|------|----------|------------------|----------|
+| `ικών` | 2.20x | 163 contexts | δικών, νικών, οικών |
+| `ικής` | 2.14x | 156 contexts | ιικής, τικής, πικής |
+| `ότητ` | 2.07x | 175 contexts | κότητα, νότητα, ἑνότητα |
+| `ικές` | 1.96x | 135 contexts | νικές, μικές, δικές |
+| `ιστι` | 1.52x | 338 contexts | μιστι, ιστική, πιστιν |
+| `ατος` | 1.90x | 92 contexts | ματος, αίατος, υπατος |
+| `ανικ` | 1.44x | 370 contexts | δανικα, δανικό, μανικά |
+| `ήθηκ` | 1.93x | 81 contexts | ψήθηκε, λήθηκε, μυήθηκε |
+| `ολογ` | 1.40x | 399 contexts | ολογρ, υπολογ, οδολογ |
+| `πίση` | 2.06x | 48 contexts | πίσης, επίση, έπίσης |
+| `ατικ` | 1.38x | 317 contexts | ατικέ, ατικά, φατική |
+| `οποι` | 1.45x | 200 contexts | τοποι, οποιά, οποιο |
+
+### 6.4 Affix Compatibility (Co-occurrence)
+
+This table shows which prefixes and suffixes most frequently co-occur on the same stems, revealing the 'stacking' rules of the language's morphology.
+
+| Prefix | Suffix | Frequency | Examples |
+|--------|--------|-----------|----------|
+| `-α` | `-ς` | 188 words | αφηγησεις, ανύπανδρους |
+| `-κ` | `-ς` | 153 words | καλλιοντζής, κωστούλης |
+| `-σ` | `-ς` | 127 words | στηις, σοβαρώς |
+| `-ε` | `-ς` | 116 words | ενελικτικός, επιμορφωτικούς |
+| `-μ` | `-ς` | 110 words | μεταξάςπρωταγωνιστικός, μπούσεβιτς |
+| `-α` | `-ν` | 104 words | αιτωλίαν, απονεμηθέν |
+| `-κ` | `-ν` | 68 words | κηρύκειον, κατακάηκαν |
+| `-μ` | `-ν` | 65 words | μπιέγκαν, μεταβλητών |
+| `-ε` | `-ν` | 65 words | εξεπόνησαν, ερείπωσαν |
+| `-α` | `-α` | 65 words | αυτοκρατόρισσα, αυστραλια |
+
+### 6.5 Recursive Morpheme Segmentation
+
+Using **Recursive Hierarchical Substitutability**, we decompose complex words into their constituent morphemes. This approach handles nested affixes (e.g., `prefix-prefix-root-suffix`).
+
+| Word | Suggested Split | Confidence | Stem |
+|------|-----------------|------------|------|
+| έτοςχιόνι | **`έτοςχιό-ν-ι`** | 7.5 | `ν` |
+| περισσεία | **`περισσ-ε-ία`** | 7.5 | `ε` |
+| αἰγινήτου | **`αἰγινή-τ-ου`** | 7.5 | `τ` |
+| αντιψυχωσικών | **`αντιψυχωσι-κ-ών`** | 7.5 | `κ` |
+| λανγκλουά | **`λανγκλ-ου-ά`** | 6.0 | `λανγκλ` |
+| μπουνάκιας | **`μπουνάκ-ια-ς`** | 6.0 | `μπουνάκ` |
+| γιαλούρης | **`γιαλούρη-ς`** | 4.5 | `γιαλούρη` |
+| εφαρμόζεις | **`εφαρμόζει-ς`** | 4.5 | `εφαρμόζει` |
+| internationalοι | **`international-οι`** | 4.5 | `international` |
+| λοξότητας | **`λοξότητα-ς`** | 4.5 | `λοξότητα` |
+| δομινικανικής | **`δομινικανική-ς`** | 4.5 | `δομινικανική` |
+| aθλητικός | **`aθλητικό-ς`** | 4.5 | `aθλητικό` |
+| επηρεασμένης | **`επηρεασμένη-ς`** | 4.5 | `επηρεασμένη` |
+| σελτζουκικός | **`σελτζουκικό-ς`** | 4.5 | `σελτζουκικό` |
+| modernisme | **`modernism-e`** | 4.5 | `modernism` |
+
+### 6.6 Linguistic Interpretation
+
+> **Automated Insight:**
+The language Greek shows high morphological productivity. The subword models are significantly more efficient than word models, suggesting a rich system of affixation or compounding.
+
+---
+## 7. Summary & Recommendations
 
 ![Performance Dashboard](visualizations/performance_dashboard.png)
 
@@ -344,11 +554,12 @@ Below are text samples generated from each Markov chain model:
 
 | Component | Recommended | Rationale |
 |-----------|-------------|-----------|
-| Tokenizer | **32k BPE** | Best compression (4.54x) with low UNK rate |
-| N-gram | **5-gram** | Lowest perplexity (524) |
-| Markov | **Context-4** | Highest predictability (89.0%) |
+| Tokenizer | **64k BPE** | Best compression (4.87x) |
+| N-gram | **2-gram** | Lowest perplexity (443) |
+| Markov | **Context-4** | Highest predictability (91.8%) |
 | Embeddings | **100d** | Balanced semantic capture and isotropy |
 
+
 ---
 ## Appendix: Metrics Glossary & Interpretation Guide
 
@@ -538,7 +749,8 @@ If you use these models in your research, please cite:
   author = {Kamali, Omar},
   title = {Wikilangs: Open NLP Models for Wikipedia Languages},
   year = {2025},
-  publisher = {HuggingFace},
+  doi = {10.5281/zenodo.18073153},
+  publisher = {Zenodo},
   url = {https://huggingface.co/wikilangs}
   institution = {Omneity Labs}
 }
@@ -554,7 +766,8 @@ MIT License - Free for academic and commercial use.
 - 🤗 Models: [huggingface.co/wikilangs](https://huggingface.co/wikilangs)
 - 📊 Data: [wikipedia-monthly](https://huggingface.co/datasets/omarkamali/wikipedia-monthly)
 - 👤 Author: [Omar Kamali](https://huggingface.co/omarkamali)
+- 🤝 Sponsor: [Featherless AI](https://featherless.ai)
 ---
 *Generated by Wikilangs Models Pipeline*
 
-*Report Date: 2025-12-30 12:18:07*
+*Report Date: 2026-01-10 02:57:50*

models/embeddings/aligned/el_128d.bin

@@ -0,0 +1,3 @@
+version https://git-lfs.github.com/spec/v1
+oid sha256:d24aae5f3f717e11d4b52c6ebad13272a0d0f48d2e1eed941416d87a645abfb0
+size 1870546573

models/embeddings/aligned/el_128d.meta.json

@@ -0,0 +1 @@
+{"lang": "el", "dim": 128, "max_seq_len": 512, "is_aligned": true}

models/embeddings/aligned/el_128d.projection.npy

@@ -0,0 +1,3 @@
+version https://git-lfs.github.com/spec/v1
+oid sha256:c9e9e5993fb99be0a078366fb1dded843fcd1a68273dfa3f681ebf5251e18044
+size 65664

models/embeddings/aligned/el_128d_metadata.json

@@ -0,0 +1,8 @@
+{
+  "language": "el",
+  "dimension": 128,
+  "version": "aligned",
+  "hub_language": "en",
+  "seed_vocab_size": 152614,
+  "vocab_size": 807278
+}

models/embeddings/aligned/el_32d.bin

@@ -0,0 +1,3 @@
+version https://git-lfs.github.com/spec/v1
+oid sha256:5bc69792f7354a7ef215cbf36d11a33ff2e6875f8795dc6271012465359a0cda
+size 482557069

models/embeddings/aligned/el_32d.meta.json

@@ -0,0 +1 @@
+{"lang": "el", "dim": 32, "max_seq_len": 512, "is_aligned": true}

models/embeddings/aligned/el_32d.projection.npy

@@ -0,0 +1,3 @@
+version https://git-lfs.github.com/spec/v1
+oid sha256:42c00c01fc9937727eeda13b4f9f3606dec2ffd1ff0082dd8d2ef01dcb56620e
+size 4224

models/embeddings/aligned/el_32d_metadata.json

@@ -0,0 +1,8 @@
+{
+  "language": "el",
+  "dimension": 32,
+  "version": "aligned",
+  "hub_language": "en",
+  "seed_vocab_size": 152614,
+  "vocab_size": 807278
+}

models/embeddings/aligned/el_64d.bin

@@ -0,0 +1,3 @@
+version https://git-lfs.github.com/spec/v1
+oid sha256:d38b9bcf77d3285aef482f1f8541fa0f6edb75ea58c872d42cc26f4a32e8129f
+size 945220237

models/embeddings/aligned/el_64d.meta.json

@@ -0,0 +1 @@
+{"lang": "el", "dim": 64, "max_seq_len": 512, "is_aligned": true}

models/embeddings/aligned/el_64d.projection.npy

@@ -0,0 +1,3 @@
+version https://git-lfs.github.com/spec/v1
+oid sha256:5ebae6e8843855cfb482cad1e12a89aa9a91a21ff7d34066c82fc1a12534a202
+size 16512

models/embeddings/aligned/el_64d_metadata.json

@@ -0,0 +1,8 @@
+{
+  "language": "el",
+  "dimension": 64,
+  "version": "aligned",
+  "hub_language": "en",
+  "seed_vocab_size": 152614,
+  "vocab_size": 807278
+}

models/embeddings/monolingual/el_128d.bin

@@ -1,3 +1,3 @@
 version https://git-lfs.github.com/spec/v1
-oid sha256:b9a1d229d45bd9db0b0ef58dd3caf61ea3619feddc6954305e81badb48783424
-size 1923977468
+oid sha256:d24aae5f3f717e11d4b52c6ebad13272a0d0f48d2e1eed941416d87a645abfb0
+size 1870546573

models/embeddings/monolingual/el_128d_metadata.json

@@ -3,11 +3,13 @@
   "dimension": 128,
   "version": "monolingual",
   "training_params": {
-    "dim": 128,
+    "algorithm": "skipgram",
     "min_count": 5,
     "window": 5,
     "negative": 5,
-    "epochs": 5
+    "epochs": 5,
+    "encoding_method": "rope",
+    "dim": 128
   },
-  "vocab_size": 858240
+  "vocab_size": 807278
 }

models/embeddings/monolingual/el_32d.bin

@@ -1,3 +1,3 @@
 version https://git-lfs.github.com/spec/v1
-oid sha256:397c614ce2b05e40c8a041db110067279bfb45dd294052c4c228bf71f464fc87
-size 496849148
+oid sha256:5bc69792f7354a7ef215cbf36d11a33ff2e6875f8795dc6271012465359a0cda
+size 482557069

models/embeddings/monolingual/el_32d_metadata.json

@@ -3,11 +3,13 @@
   "dimension": 32,
   "version": "monolingual",
   "training_params": {
-    "dim": 32,
+    "algorithm": "skipgram",
     "min_count": 5,
     "window": 5,
     "negative": 5,
-    "epochs": 5
+    "epochs": 5,
+    "encoding_method": "rope",
+    "dim": 32
   },
-  "vocab_size": 858240
+  "vocab_size": 807278
 }

models/embeddings/monolingual/el_64d.bin

@@ -1,3 +1,3 @@
 version https://git-lfs.github.com/spec/v1
-oid sha256:f8203ff28c10d54380c8d52501c044d8267880b0d08c5763c9243ecf0e05ccbb
-size 972558588
+oid sha256:d38b9bcf77d3285aef482f1f8541fa0f6edb75ea58c872d42cc26f4a32e8129f
+size 945220237

models/embeddings/monolingual/el_64d_metadata.json

@@ -3,11 +3,13 @@
   "dimension": 64,
   "version": "monolingual",
   "training_params": {
-    "dim": 64,
+    "algorithm": "skipgram",
     "min_count": 5,
     "window": 5,
     "negative": 5,
-    "epochs": 5
+    "epochs": 5,
+    "encoding_method": "rope",
+    "dim": 64
   },
-  "vocab_size": 858240
+  "vocab_size": 807278
 }

models/subword_markov/el_markov_ctx1_subword.parquet

@@ -1,3 +1,3 @@
 version https://git-lfs.github.com/spec/v1
-oid sha256:d43118910abbd51bce30b7b4085d172d50d8287e4fe0f2b8997c362a264bd36e
-size 747707
+oid sha256:7c3d3f919a8e38fa63d36d388598bb5ec35089b6abe5af71a5b6031f4c654d34
+size 738791

models/subword_markov/el_markov_ctx1_subword_metadata.json

@@ -2,6 +2,6 @@
   "context_size": 1,
   "variant": "subword",
   "language": "el",
-  "unique_contexts": 10325,
-  "total_transitions": 972740684
+  "unique_contexts": 13425,
+  "total_transitions": 893169176
 }

models/subword_markov/el_markov_ctx2_subword.parquet

@@ -1,3 +1,3 @@
 version https://git-lfs.github.com/spec/v1
-oid sha256:75f929295791c60a292cd63d2df2bbc8b1347d8ec2b99e05a7a68704190f423e
-size 5548801
+oid sha256:b49d89797c1795c4f266b46de7242241abb24c771473be8650e3f5499290b702
+size 4364987

models/subword_markov/el_markov_ctx2_subword_metadata.json

@@ -2,6 +2,6 @@
   "context_size": 2,
   "variant": "subword",
   "language": "el",
-  "unique_contexts": 115568,
-  "total_transitions": 972478877
+  "unique_contexts": 104621,
+  "total_transitions": 892907548
 }

models/subword_markov/el_markov_ctx3_subword.parquet

@@ -1,3 +1,3 @@
 version https://git-lfs.github.com/spec/v1
-oid sha256:9582048424f6cd487ab966c5ef6a8d135702840b29ebbb370baefc7455be2256
-size 27924193
+oid sha256:3a38013ef8bdf59eb4a5305ed7af4962628f5b027d82439b5d2df043ecf64035
+size 20346763

models/subword_markov/el_markov_ctx3_subword_metadata.json

@@ -2,6 +2,6 @@
   "context_size": 3,
   "variant": "subword",
   "language": "el",
-  "unique_contexts": 709839,
-  "total_transitions": 972217070
+  "unique_contexts": 555743,
+  "total_transitions": 892645920
 }

models/subword_markov/el_markov_ctx4_subword.parquet

@@ -1,3 +1,3 @@
 version https://git-lfs.github.com/spec/v1
-oid sha256:10071d63decd48666e7bb2e50c066b3f510a119574d202e7a433377c893f1bbe
-size 113514704
+oid sha256:2c565660c99264651a752472b234f2e6a5baeb990079c89e30892b8ea2ee6e4c
+size 81307991

models/subword_markov/el_markov_ctx4_subword_metadata.json

@@ -2,6 +2,6 @@
   "context_size": 4,
   "variant": "subword",
   "language": "el",
-  "unique_contexts": 3835999,
-  "total_transitions": 971955263
+  "unique_contexts": 2639831,
+  "total_transitions": 892384292
 }

models/subword_ngram/el_2gram_subword.parquet

@@ -1,3 +1,3 @@
 version https://git-lfs.github.com/spec/v1
-oid sha256:dce733cf11ef4a3c20fc3f75fdfa7741ded5bcfda6477587aabaf5141081c5ad
-size 445348
+oid sha256:29710a4ed8a273e7683c18190c329676ec5055e3a5c1d0acfdb70b3e1c60f3e8
+size 375274

models/subword_ngram/el_2gram_subword_metadata.json

@@ -2,6 +2,6 @@
   "n": 2,
   "variant": "subword",
   "language": "el",
-  "unique_ngrams": 31823,
-  "total_ngrams": 972740684
+  "unique_ngrams": 26716,
+  "total_ngrams": 893169176
 }

models/subword_ngram/el_3gram_subword.parquet

@@ -1,3 +1,3 @@
 version https://git-lfs.github.com/spec/v1
-oid sha256:360894419b4d87b279cef9bdf0a456304b82bb7ec2f94f3a5f46fbebfc9ba1c7
-size 4237331
+oid sha256:88ec61a4687c86fe02551eb6e1cd24a41d0bf2663422331eff899d4d3b0859ef
+size 3212153

models/subword_ngram/el_3gram_subword_metadata.json

@@ -2,6 +2,6 @@
   "n": 3,
   "variant": "subword",
   "language": "el",
-  "unique_ngrams": 338020,
-  "total_ngrams": 972478877
+  "unique_ngrams": 250216,
+  "total_ngrams": 892907548
 }

models/subword_ngram/el_4gram_subword.parquet

@@ -1,3 +1,3 @@
 version https://git-lfs.github.com/spec/v1
-oid sha256:c47b9d545847a519cfdcb9d5416ef26218017b555c56e1b7e2fb6cd06e36959a
-size 28199306
+oid sha256:2c2a95caf50ea0244b4d6ad6a58ef0d4097f721649976efd100116044477605a
+size 19937899

models/subword_ngram/el_4gram_subword_metadata.json

@@ -2,6 +2,6 @@
   "n": 4,
   "variant": "subword",
   "language": "el",
-  "unique_ngrams": 2196788,
-  "total_ngrams": 972217070
+  "unique_ngrams": 1519855,
+  "total_ngrams": 892645920
 }

models/subword_ngram/el_5gram_subword.parquet

@@ -0,0 +1,3 @@
+version https://git-lfs.github.com/spec/v1
+oid sha256:5b959c76f30a16bce0c3ca0c7c293006542ab75514b6ae80db511ecfaf1a35ab
+size 72561386

models/subword_ngram/el_5gram_subword_metadata.json

@@ -0,0 +1,7 @@
+{
+  "n": 5,
+  "variant": "subword",
+  "language": "el",
+  "unique_ngrams": 5267290,
+  "total_ngrams": 892384292
+}

models/tokenizer/el_tokenizer_16k.model

@@ -1,3 +1,3 @@
 version https://git-lfs.github.com/spec/v1
-oid sha256:ee24fef1dbf383947f73c7391363b20e4e04a2d3b368ac7ed9732a24230ff48e
-size 577771
+oid sha256:5bd22c02b5d99c61a00c3c7850be0586b48ed713358f09d422d66015eea661bc
+size 576910

models/tokenizer/el_tokenizer_32k.model

@@ -1,3 +1,3 @@
 version https://git-lfs.github.com/spec/v1
-oid sha256:4ec50a3c46f80d93c0b5fe85aedead911111d3532f998fcbf635a1279ed1f7fb
-size 945435
+oid sha256:e404d8bb694c55dac892595e51ea1e17be3aa2732fe1b053b35a59478c72fcc0
+size 936827

models/tokenizer/el_tokenizer_64k.model

@@ -1,3 +1,3 @@
 version https://git-lfs.github.com/spec/v1
-oid sha256:2c4b56d5c304be93e252df2515b0d937c55cffddb067598ed9ee890b95a2bb05
-size 1704150
+oid sha256:4e73f1f2c6a5cb2df1246fe4ef4a75b51b8249ae1992fc659348638af39aedd9
+size 1679605

models/tokenizer/el_tokenizer_8k.model

@@ -1,3 +1,3 @@
 version https://git-lfs.github.com/spec/v1
-oid sha256:4c8c2fa0a692569bec407b66ef8151613687857acda815dfb8e2e4f1a06994ac
-size 402798
+oid sha256:a8b06722ff78d5311e781f629e61e35ae2aba248d3ad27242513c12e05237c19
+size 403152

models/vocabulary/el_vocabulary.parquet

@@ -1,3 +1,3 @@
 version https://git-lfs.github.com/spec/v1
-oid sha256:0737b68d2c2836bbc01e785bb01bd14d2b86664af442ee49008b4acfce0dee2b
-size 17050356
+oid sha256:483fbd106beda1141b0a2387770005c497e22d0dba6bcc1b7b8687668e19e4a5
+size 17790677

models/vocabulary/el_vocabulary_metadata.json

@@ -1,16 +1,17 @@
 {
   "language": "el",
-  "vocabulary_size": 1000000,
+  "vocabulary_size": 1039940,
+  "variant": "full",
   "statistics": {
-    "type_token_ratio": 0.021967606730078443,
+    "type_token_ratio": 0.01786437503595743,
     "coverage": {
-      "top_100": 0.3645029680593136,
-      "top_1000": 0.5437770227902385,
-      "top_5000": 0.7010292403499135,
-      "top_10000": 0.7670692713472435
+      "top_100": 0.38223912989295133,
+      "top_1000": 0.5537963832118573,
+      "top_5000": 0.7065002302212579,
+      "top_10000": 0.772519756207213
     },
-    "hapax_count": 1979361,
-    "hapax_ratio": 0.6267777498064436,
-    "total_documents": 261807
+    "hapax_count": 1343244,
+    "hapax_ratio": 0.5636341969398921,
+    "total_documents": 261628
   }
 }

models/vocabulary/el_vocabulary_top.parquet

@@ -0,0 +1,3 @@
+version https://git-lfs.github.com/spec/v1
+oid sha256:7736e0a29e44411a7455de6d7adb61fbd4f8e5d189ffa70db773bb07ea9ac2da
+size 17131678

models/vocabulary/el_vocabulary_top_metadata.json

@@ -0,0 +1,20 @@
+{
+  "language": "el",
+  "vocabulary_size": 1000000,
+  "variant": "top",
+  "statistics": {
+    "type_token_ratio": 0.01786437503595743,
+    "coverage": {
+      "top_100": 0.38223912989295133,
+      "top_1000": 0.5537963832118573,
+      "top_5000": 0.7065002302212579,
+      "top_10000": 0.772519756207213
+    },
+    "hapax_count": 1343244,
+    "hapax_ratio": 0.5636341969398921,
+    "total_documents": 261628,
+    "top_vocab_size": 1000000,
+    "coverage_ratio": 0.9893322459119095,
+    "tokens_excluded": 39940
+  }
+}

models/word_markov/el_markov_ctx1_word.parquet

@@ -1,3 +1,3 @@
 version https://git-lfs.github.com/spec/v1
-oid sha256:c096917e95f279ae5eb42278332bcbf2f029af072a217bcbe0094f2229fc768a
-size 304857111
+oid sha256:48415cd7ae5de8bc3bf2222c7fc19297bd30fc3e5d904c8b9743712e21bd2245
+size 317379224