Upload all models and assets for ary (20251201)

README.md

@@ -45,48 +45,15 @@ We analyze tokenizers, n-gram models, Markov chains, vocabulary statistics, and
 
 ```
 models/
-├── tokenizer/
-│   └── 8k.model
-│   └── 16k.model
-│   └── 32k.model
-│   └── 64k.model
-├── word_ngram/
-│   └── 2gram.pkl
-│   └── 3gram.pkl
-│   └── 4gram.pkl
-└── subword_ngram/
-    └── 2gram.pkl
-    └── 3gram.pkl
-    └── 4gram.pkl
-├── word_markov/
-│   └── context_1.pkl
-│   └── context_2.pkl
-│   └── context_3.pkl
-│   └── context_4.pkl
-└── subword_markov/
-    └── context_1.pkl
-    └── context_2.pkl
-    └── context_3.pkl
-    └── context_4.pkl
-├── vocabulary/
-│   ├── vocab.txt
-│   └── frequencies.json
-└── embeddings/
-    └── embeddings_enhanced.bin
-    └── mono_128d.bin
-    └── mono_32d.bin
-    └── mono_64d.bin
+- Tokenizers (8k, 16k, 32k, 64k)
+- N-gram models (2, 3, 4-gram)
+- Markov chains (context of 1, 2, 3 and 4)
+- Subword N-gram and Markov chains
+- Embeddings in various sizes and dimensions
+- Language Vocabulary
+- Language Statistics
 ```
 
-### Documentation & Visualizations
-
-- **README.md** - This comprehensive report
-- **visualizations/** - 24+ evaluation figures and charts
-  - Tokenizer compression, fertility, OOV rates
-  - N-gram perplexity, entropy, coverage
-  - Markov chain analysis and text generation samples
-  - Vocabulary statistics and Zipf's law analysis
-  - Embedding isotropy, similarity, and t-SNE visualizations
 ![Performance Dashboard](visualizations/performance_dashboard.png)
 
 ### Quick Links
@@ -118,44 +85,41 @@ models/
 
 Below are sample sentences tokenized with each vocabulary size:
 
-**Sample 1:** `باراج سيدي محمد بن عبد الله هو باراج ف لمغريب ف الرباط تيصب فيه واد بورݣراݣ.
-
- ش...`
+**Sample 1:** `لوغة تماجق كاتعني إمّا:
+ لوغة تاولامت
+ لوغة تايرت`
 
 | Vocab | Tokens | Count |
 |-------|--------|-------|
-| 8k | `▁بار اج ▁سيدي ▁محمد ▁بن ▁عبد ▁الله ▁هو ▁بار اج ... (+26 more)` | 36 |
-| 16k | `▁باراج ▁سيدي ▁محمد ▁بن ▁عبد ▁الله ▁هو ▁باراج ▁ف ▁لمغريب ... (+22 more)` | 32 |
-| 32k | `▁باراج ▁سيدي ▁محمد ▁بن ▁عبد ▁الله ▁هو ▁باراج ▁ف ▁لمغريب ... (+20 more)` | 30 |
-| 64k | `▁باراج ▁سيدي ▁محمد ▁بن ▁عبد ▁الله ▁هو ▁باراج ▁ف ▁لمغريب ... (+19 more)` | 29 |
+| 8k | `▁لوغة ▁تما ج ق ▁كاتعني ▁إم ّا : ▁لوغة ▁تا ... (+6 more)` | 16 |
+| 16k | `▁لوغة ▁تما ج ق ▁كاتعني ▁إم ّا : ▁لوغة ▁تا ... (+6 more)` | 16 |
+| 32k | `▁لوغة ▁تما ج ق ▁كاتعني ▁إم ّا : ▁لوغة ▁تا ... (+5 more)` | 15 |
+| 64k | `▁لوغة ▁تماجق ▁كاتعني ▁إمّا : ▁لوغة ▁تاول امت ▁لوغة ▁تايرت` | 10 |
 
-**Sample 2:** `أسيل عمران (مزيودة ف 1989) هي مغنية و ممتلة سعودية كتعيش ف لإمارات.
+**Sample 2:** `تلاتين (رّمز ف نّماري لغبارية 30) نمرة ؤ عاداد جا مورا 29 ؤ قبل 31.
 
  مصادر 
 
-تص...`
+
+ت...`
 
 | Vocab | Tokens | Count |
 |-------|--------|-------|
-| 8k | `▁أس يل ▁عمر ان ▁( مزيودة ▁ف ▁ 1 9 ... (+36 more)` | 46 |
-| 16k | `▁أس يل ▁عمر ان ▁( مزيودة ▁ف ▁ 1 9 ... (+32 more)` | 42 |
-| 32k | `▁أس يل ▁عمران ▁( مزيودة ▁ف ▁ 1 9 8 ... (+28 more)` | 38 |
-| 64k | `▁أس يل ▁عمران ▁( مزيودة ▁ف ▁ 1 9 8 ... (+28 more)` | 38 |
-
-**Sample 3:** `لجدوال ديال الترتيب 
-
- شوف حتى 
+| 8k | `▁تلات ين ▁( ر ّم ز ▁ف ▁نّ ماري ▁لغ ... (+30 more)` | 40 |
+| 16k | `▁تلات ين ▁( رّمز ▁ف ▁نّماري ▁لغبارية ▁ 3 0 ... (+23 more)` | 33 |
+| 32k | `▁تلاتين ▁( رّمز ▁ف ▁نّماري ▁لغبارية ▁ 3 0 ) ... (+22 more)` | 32 |
+| 64k | `▁تلاتين ▁( رّمز ▁ف ▁نّماري ▁لغبارية ▁ 3 0 ) ... (+22 more)` | 32 |
 
- بوطولا 1
- بوطولا 2
- لهيكلة لهرمية د لبوطولات د...`
+**Sample 3:** `هادي صفحة د التوضيح، كلمة خان يمكن يكونو عندها هاد لمعاني:
+ جينكيز خان
+ شاه روخ ...`
 
 | Vocab | Tokens | Count |
 |-------|--------|-------|
-| 8k | `▁لجدوال ▁ديال ▁الترتيب ▁شوف ▁حتى ▁بوطولا ▁ 1 ▁بوطولا ▁ ... (+15 more)` | 25 |
-| 16k | `▁لجدوال ▁ديال ▁الترتيب ▁شوف ▁حتى ▁بوطولا ▁ 1 ▁بوطولا ▁ ... (+15 more)` | 25 |
-| 32k | `▁لجدوال ▁ديال ▁الترتيب ▁شوف ▁حتى ▁بوطولا ▁ 1 ▁بوطولا ▁ ... (+15 more)` | 25 |
-| 64k | `▁لجدوال ▁ديال ▁الترتيب ▁شوف ▁حتى ▁بوطولا ▁ 1 ▁بوطولا ▁ ... (+15 more)` | 25 |
+| 8k | `▁هادي ▁صفحة ▁د ▁التوضيح ، ▁كلمة ▁خ ان ▁يمكن ▁يكونو ... (+19 more)` | 29 |
+| 16k | `▁هادي ▁صفحة ▁د ▁التوضيح ، ▁كلمة ▁خان ▁يمكن ▁يكونو ▁عندها ... (+16 more)` | 26 |
+| 32k | `▁هادي ▁صفحة ▁د ▁التوضيح ، ▁كلمة ▁خان ▁يمكن ▁يكونو ▁عندها ... (+14 more)` | 24 |
+| 64k | `▁هادي ▁صفحة ▁د ▁التوضيح ، ▁كلمة ▁خان ▁يمكن ▁يكونو ▁عندها ... (+12 more)` | 22 |
 
 
 ### Key Findings
@@ -249,27 +213,27 @@ Below are text samples generated from each Markov chain model:
 
 **Context Size 1:**
 
-1. `. مصادر تصنيف : lux 1908 ف ضومينات معينين ، نسبة د لأمية واصلة ل 1`
-2. `، مادام لغالبية د د فصل اللخرين فيرمات لببور د لعمر عند لعيالات ) . هو`
-3. `ف لإيرا لعامة ؤ 2755 ف أميريكا أنتاركتيكا : سلطان ، واللي هوما لأمنيوطات ولاو كا`
+1. `. " ) هي واحد ( ليسي و لإتحاد الرياضي الفاسي كرمتها منظمة لكاس ( ن`
+2. `، فين لمتماكنين ( لفلامانية ) : لمعمار ، 30 د لكتابة ؤ ݣاري كاسپاروڤ وغلب`
+3. `ف 29 . الشكال ف 2017 : دوار ف لوسط د الناس النشيطين ف 1994 تصنيف`
 
 **Context Size 2:**
 
-1. `تصنيف : مقالات زادهوم داريجابوت تصنيف : شخصيات عندها كتر من لمناضير ط ّ بيعية ( natural`
-2. `، و ݣال بلي الدرية ديالو ، حتا عاود رجع ف ماتش واحد حتى ل21 يوم من`
-3. `ن ّ اس اللي خدامين ف د ّ وار كينتامي ل مشيخة أيت تونرت لي كتضم 12`
+1. `تصنيف : دوار ف إقليم تارودانت تصنيف : مقالات فيها مصدر و علاين 3000 بايت تصنيف :`
+2. `، و كتعتمد ف بزاف ديال العولاما الآخرين . خمس قصايد سومرية قديمة على حساب لبلاد تصنيف`
+3. `ن ّ اس ن ّ شيطين ( ل ّ ي ف اللخر د عصر ت ّ قويم`
 
 **Context Size 3:**
 
-1. `مصادر تصنيف : شركة متعددة الجنسيات تصنيف : إيلون ماسك`
-2. `تصنيف : مقالات فيها مصدر و 3000 بايت تصنيف : ناس د بركان تصنيف : بلايص مسكونين ف`
-3. `ن ّ اس اللي خدامين ف لپريڤي ( ولا لبيطاليين اللي سبق ليهوم خدمو ) : 0 %`
+1. `مصادر تصنيف : دوار ف لمغريب تصنيف : دوار ف إقليم تارودانت تصنيف : مقالات فيها مصدر و`
+2. `تصنيف : مقالات زادهوم داريجابوت تصنيف : لقرن 18 ذكر سفير لمغريبي الزياني ف لمذكرات ديالو فاش كان`
+3. `ن ّ اس اللي خدامين ف لپريڤي : 35 % مصادر تصنيف : جهة طنجة تطوان الحسيمة ،`
 
 **Context Size 4:**
 
-1. `تصنيف : دوار ف لمغريب تصنيف : دوار ف لمغريب تصنيف : دوار ف إقليم لحوز تصنيف : مقالات`
-2. `نسبة ن ّ اس ن ّ شيطين ( ل ّ ي يقدرو يخدمو ) : 47 , 7 %`
-3. `. مصادر تصنيف : زيادة 1921 تصنيف : وفيات 1951 تصنيف : مقالات فيها مصدر و 3000 بايت تصنيف`
+1. `تصنيف : دوار ف لمغريب تصنيف : دوار ف لمغريب تصنيف : دوار ف لمغريب تصنيف : دوار ف`
+2. `نسبة ن ّ اس اللي خدامين ف د ّ ولة : 5 , 1 % نسبة ن ّ اس`
+3. `. مصادر تصنيف : عوام د تقويم لميلادي تصنيف : مقالات زادهوم داريجابوت تصنيف : سيسطيم تاع سميات الضومي...`
 
 
 ### Key Findings
@@ -599,4 +563,4 @@ MIT License - Free for academic and commercial use.
 ---
 *Generated by Wikilangs Models Pipeline*
 
-*Report Date: 2025-12-27 04:11:56*
+*Report Date: 2025-12-27 04:21:06*