Upated files + more languages

app.py

@@ -787,7 +787,7 @@ class Visualization_for_lang:
                         st.markdown(
                             f"Language identification confidence score: {lang_id_score}"
                         )
-                        if is_doc_discarded(key, flagged_words_ratio) or (
+                        if is_doc_discarded(key, lang_id_score) or (
                             self.lang_dataset_id != lang_pred_dataset_id
                         ):
                             is_discarded = True
@@ -909,7 +909,7 @@ param_visu_langs = {
         "path_sentencepiece_model": f"./{lang_dataset_id}.sp.model",
         "path_kenlm_model": f"./{lang_dataset_id}.arpa.bin",
     }
-    for lang_dataset_id in ["en", "pt"]
+    for lang_dataset_id in ["ar", "bn", "en", "hi", "pt", "ur", "vi"]
 }
 
 visualization = Visualization(path_instructions, param_visu_langs)

ar.arpa.bin

@@ -0,0 +1,3 @@
+version https://git-lfs.github.com/spec/v1
+oid sha256:e5ad5fe3355e9775d0045ac38ee24ef585b373c99350bc612e5bda9cbdd701fe
+size 2824717990

ar.sp.model

@@ -0,0 +1,3 @@
+version https://git-lfs.github.com/spec/v1
+oid sha256:281e3d75365a1801a8fe5def0b89dd0e5bb73ac0a2451be8bc5a55495760e115
+size 1070890

ar_examples_with_stats.json

@@ -0,0 +1,3 @@
+version https://git-lfs.github.com/spec/v1
+oid sha256:24ca349877e08bbbc65b6025aa90339bec0b10b9e89641a1a9ad70397a1d542f
+size 193786592

bn.arpa.bin

@@ -0,0 +1,3 @@
+version https://git-lfs.github.com/spec/v1
+oid sha256:9d2148db7af960f9468adc5c0b2c39f75d969b816014098c45de93517ac1c555
+size 612069451

bn.sp.model

@@ -0,0 +1,3 @@
+version https://git-lfs.github.com/spec/v1
+oid sha256:e4e90d25ca0c465b9c8da8c93b6591be30dbb8c123b24d52177c2027f81a264d
+size 1366364

bn_examples_with_stats.json

@@ -0,0 +1,3 @@
+version https://git-lfs.github.com/spec/v1
+oid sha256:faa6a1ee54edfd440f8fd32930de81636c3a4a12243f2e18ee972f18b394e1ac
+size 202010217

flagged_words.py

@@ -141,6 +141,47 @@ flagged_words = {
         "نكاح",
         "نيك",
     ],
+    "bn": english_flagged_words
+    + [
+        "আঙ্গুলি করা",
+        "আচোদা",
+        "খানকি",
+        "খানকি মাগি",
+        "গান্ড মারানো",
+        "গুদ মারানি",
+        "চুচুক",
+        "চোদ",
+        "চোদনা",
+        "চোদা",
+        "চোদা বোন",
+        "চোদাচুদি",
+        "জারজ",
+        "নাঙ্গ",
+        "নেংটা",
+        "পর্ণহাব",
+        "পর্ন",
+        "পর্নস্টার",
+        "পর্নোগ্রাফি",
+        "পোঁদ",
+        "পোঁদ মারানি",
+        "পোদ মারানি",
+        "বাঁড়া",
+        "বানচোদ",
+        "বেশ্যা",
+        "বেশ্যার ছেলে",
+        "বোকাচোদা",
+        "ভগ",
+        "মা চোদা",
+        "মাগী",
+        "মাদারচোদ",
+        "মুখে নিবি",
+        "মোরগ",
+        "রেন্ডি",
+        "শিশ্ন",
+        "স্তন",
+        "স্তনবৃন্ত",
+        "হস্তমৈথুন",
+    ],
     "ca": english_flagged_words
     + [
         "cagarro",
@@ -985,6 +1026,46 @@ flagged_words = {
         "x రేట్",
         "xxx",
     ],
+    "ur": english_flagged_words
+    + [
+        "انگلی کرنا",
+        "ایکس ریٹیڈ",
+        "بلو جاب",
+        "بٹ",
+        "جھٹکا بند",
+        "دلڈو",
+        "رنڈی",
+        "سلٹ",
+        "سکلیرا",
+        "سیڈسٹ",
+        "سیکس بم",
+        "شہوانی",
+        "شہوت انگیز",
+        "فحش نگاری",
+        "لن",
+        "لنڈ",
+        "لنڈ چوسنے والا",
+        "لوڑہ",
+        "ماں کمینے",
+        "مشت زنی",
+        "ممے",
+        "مٹھ",
+        "مٹھی",
+        "ویشیا",
+        "پورن",
+        "پھدی",
+        "پیگنگ",
+        "چدائ",
+        "چدک",
+        "چوت",
+        "چودنا",
+        "چوچی",
+        "کسبی",
+        "کسنگ",
+        "گانڈ",
+        "گدا",
+        "ہینڈ جاب",
+    ],
     "vi": english_flagged_words
     + [
         "cặc",

hi.arpa.bin

@@ -0,0 +1,3 @@
+version https://git-lfs.github.com/spec/v1
+oid sha256:f76e9238ccab63fc175ed40786888c0078cc7bb1de9519536a89473a60a17f8d
+size 547247715

hi.sp.model

@@ -0,0 +1,3 @@
+version https://git-lfs.github.com/spec/v1
+oid sha256:bd2408405c7884b129600c427c5ccb919a8f5a5597437e4127ee20b85a70ab4f
+size 1256555

hi_examples_with_stats.json

@@ -0,0 +1,3 @@
+version https://git-lfs.github.com/spec/v1
+oid sha256:635666d75bfcb305c2b3c46e38f4e16c0749072f47f89388506057c1a0e0cfcf
+size 202843494

languages_id.py

@@ -32,7 +32,7 @@ langs_id = [
     {
         "lang": "Assamese",
         "dataset_id": "as",
-        "stopwords_id": None,
+        "stopwords_id": "as",
         "flagged_words_id": None,
         "fasttext_id": "as",
         "sentencepiece_id": "as",
@@ -42,7 +42,7 @@ langs_id = [
         "lang": "Bengali",
         "dataset_id": "bn",
         "stopwords_id": "bn",
-        "flagged_words_id": None,
+        "flagged_words_id": "bn",
         "fasttext_id": "bn",
         "sentencepiece_id": "bn",
         "kenlm_id": "bn",
@@ -95,7 +95,7 @@ langs_id = [
     {
         "lang": "Gujarati",
         "dataset_id": "gu",
-        "stopwords_id": None,
+        "stopwords_id": "gu",
         "flagged_words_id": None,
         "fasttext_id": "gu",
         "sentencepiece_id": "gu",
@@ -186,7 +186,7 @@ langs_id = [
         "lang": "Urdu",
         "dataset_id": "ur",
         "stopwords_id": "ur",
-        "flagged_words_id": None,
+        "flagged_words_id": "ur",
         "fasttext_id": "ur",
         "sentencepiece_id": "ur",
         "kenlm_id": "ur",

parameters_filtering.py

@@ -223,35 +223,35 @@ parameters_filtering_bn = {
 parameters_filtering_ca = {
     "cond_uniform_whitespace": True,
     "cond_replace_unicode_punctuation": False,
-    "cond_remove_words_with_incorrect_substrings": False,
+    "cond_remove_words_with_incorrect_substrings": True,
     "incorrect_word_substrings": ["http", "www", ".com", "href", "//"],
     "cond_remove_long_words": True,
-    "length_word_max_cutoff": 30,
+    "length_word_max_cutoff": 20,
     "cond_check_number_words": True,
     "tokenization": False,
     "strip_characters": special_characters_default,
-    "number_words_min_cutoff": 1,
+    "number_words_min_cutoff": 15,
     "number_words_max_cutoff": 100000,
     "cond_check_character_repetition_removal": True,
     "character_repetition_length": 10,
-    "character_repetition_max_cutoff": 0.106,
+    "character_repetition_max_cutoff": 0.2,
     "cond_check_word_repetition_removal": True,
     "word_repetition_length": 5,
-    "word_repetition_max_cutoff": 0.19,
+    "word_repetition_max_cutoff": 0.4,
     "cond_check_special_characters": True,
     "special_characters": special_characters_default,
-    "special_characters_max_cutoff": 0.35,
+    "special_characters_max_cutoff": 0.25,
     "cond_words_augmentation": False,
     "words_augmentation_group_sizes": [],
     "words_augmentation_join_char": "",
     "cond_check_stopwords": True,
-    "stopwords_min_cutoff": 0,
+    "stopwords_min_cutoff": 0.25,
     "cond_check_flagged_words": False,
-    "flagged_words_max_cutoff": 0.2,
+    "flagged_words_max_cutoff": 0.1,
     "cond_check_lang_id": True,
-    "lang_id_min_cutoff": 0.75,
+    "lang_id_min_cutoff": 0.8,
     "cond_check_perplexity": True,
-    "perplexity_max_cutoff": 1750000,
+    "perplexity_max_cutoff": 2500,
 }
 
 parameters_filtering_en = {
@@ -285,7 +285,7 @@ parameters_filtering_en = {
     "cond_check_lang_id": True,
     "lang_id_min_cutoff": 0.80,
     "cond_check_perplexity": True,
-    "perplexity_max_cutoff": 2500,
+    "perplexity_max_cutoff": 1500,
 }
 
 parameters_filtering_es = {
@@ -359,35 +359,35 @@ parameters_filtering_eu = {
 parameters_filtering_fr = {
     "cond_uniform_whitespace": True,
     "cond_replace_unicode_punctuation": False,
-    "cond_remove_words_with_incorrect_substrings": False,
+    "cond_remove_words_with_incorrect_substrings": True,
     "incorrect_word_substrings": ["http", "www", ".com", "href", "//"],
     "cond_remove_long_words": True,
-    "length_word_max_cutoff": 30,
+    "length_word_max_cutoff": 45,
     "cond_check_number_words": True,
     "tokenization": False,
     "strip_characters": special_characters_default,
-    "number_words_min_cutoff": 1,
+    "number_words_min_cutoff": 13,
     "number_words_max_cutoff": 100000,
     "cond_check_character_repetition_removal": True,
     "character_repetition_length": 10,
-    "character_repetition_max_cutoff": 0.106,
+    "character_repetition_max_cutoff": 0.14,
     "cond_check_word_repetition_removal": True,
     "word_repetition_length": 5,
-    "word_repetition_max_cutoff": 0.19,
+    "word_repetition_max_cutoff": 0.13,
     "cond_check_special_characters": True,
     "special_characters": special_characters_default,
-    "special_characters_max_cutoff": 0.35,
+    "special_characters_max_cutoff": 0.34,
     "cond_words_augmentation": False,
     "words_augmentation_group_sizes": [],
     "words_augmentation_join_char": "",
     "cond_check_stopwords": True,
-    "stopwords_min_cutoff": 0.15,
+    "stopwords_min_cutoff": 0.27,
     "cond_check_flagged_words": False,
-    "flagged_words_max_cutoff": 0.2,
+    "flagged_words_max_cutoff": 0.008,
     "cond_check_lang_id": True,
-    "lang_id_min_cutoff": 0.75,
+    "lang_id_min_cutoff": 0.8,
     "cond_check_perplexity": True,
-    "perplexity_max_cutoff": 3000000,
+    "perplexity_max_cutoff": 1770,
 }
 
 parameters_filtering_gu = {
@@ -597,35 +597,35 @@ parameters_filtering_mr = {
 parameters_filtering_pt = {
     "cond_uniform_whitespace": True,
     "cond_replace_unicode_punctuation": False,
-    "cond_remove_words_with_incorrect_substrings": False,
+    "cond_remove_words_with_incorrect_substrings": True,
     "incorrect_word_substrings": ["http", "www", ".com", "href", "//"],
     "cond_remove_long_words": True,
-    "length_word_max_cutoff": 30,
+    "length_word_max_cutoff": 19,
     "cond_check_number_words": True,
     "tokenization": False,
     "strip_characters": special_characters_default,
-    "number_words_min_cutoff": 1,
+    "number_words_min_cutoff": 19,
     "number_words_max_cutoff": 100000,
     "cond_check_character_repetition_removal": True,
     "character_repetition_length": 10,
-    "character_repetition_max_cutoff": 0.106,
+    "character_repetition_max_cutoff": 0.25,
     "cond_check_word_repetition_removal": True,
     "word_repetition_length": 5,
-    "word_repetition_max_cutoff": 0.19,
+    "word_repetition_max_cutoff": 0.98,
     "cond_check_special_characters": True,
     "special_characters": special_characters_default,
-    "special_characters_max_cutoff": 0.3,
+    "special_characters_max_cutoff": 0.35,
     "cond_words_augmentation": False,
     "words_augmentation_group_sizes": [],
     "words_augmentation_join_char": "",
     "cond_check_stopwords": True,
-    "stopwords_min_cutoff": 0.15,
+    "stopwords_min_cutoff": 0.2,
     "cond_check_flagged_words": False,
-    "flagged_words_max_cutoff": 0.2,
+    "flagged_words_max_cutoff": 0.007,
     "cond_check_lang_id": True,
-    "lang_id_min_cutoff": 0.75,
+    "lang_id_min_cutoff": 0.6,
     "cond_check_perplexity": True,
-    "perplexity_max_cutoff": 3000000,
+    "perplexity_max_cutoff": 3038,
 }
 
 parameters_filtering_sw = {

stopwords.py

@@ -57,603 +57,483 @@ stopwords = {
         "ʼn",
     ],
     "ar": [
-        "آخر",
-        "آنَا",
-        "أ",
+        "آنذاك",
+        "أبداً",
         "أثناء",
-        "أحد",
-        "أصبح",
-        "أصبحت",
+        "أسفل",
+        "أعلى",
         "أغلب",
         "أكثر",
-        "أكون",
         "ألا",
+        "ألم",
         "أم",
-        "أما",
         "أمام",
+        "أمس",
         "أن",
         "أنا",
         "أنت",
         "أنتم",
-        "أنَا",
+        "أنتما",
+        "أنتن",
         "أو",
         "أولئك",
-        "أولٰئك",
         "أي",
+        "أيان",
+        "أياً",
         "أية",
+        "أيضاً",
         "أين",
         "أينما",
-        "أَ",
-        "أَثنَاءَ",
-        "أَلَّا",
-        "أَم",
-        "أَمَامَ",
-        "أَمَّا",
-        "أَن",
-        "أَنَّ",
-        "أَو",
-        "أَي",
-        "أَينَ",
-        "أَينَمَا",
-        "أَيّ",
         "إبان",
         "إثر",
-        "إحدى",
-        "إذ",
+        "إثر ذلك",
         "إذا",
-        "إزا",
         "إزاء",
-        "إل",
         "إلا",
+        "إلا أن",
         "إلى",
-        "إلي",
-        "إليها",
         "إما",
         "إن",
         "إنما",
-        "إنّ",
-        "إيا",
-        "إِثرَ",
-        "إِذ",
-        "إِذًا",
-        "إِذَا",
-        "إِزَاءَ",
-        "إِلَى",
-        "إِلَّا",
-        "إِمَّا",
-        "إِن",
-        "إِنَّ",
-        "إِنَّمَا",
-        "إِيَّا",
-        "اثر",
-        "اثناء",
-        "اذ",
-        "اذا",
-        "ازا",
-        "ازاء",
-        "ال",
-        "الا",
-        "التى",
+        "إياك",
+        "إياكم",
+        "إياكما",
+        "إياكن",
+        "إيانا",
+        "إياه",
+        "إياها",
+        "إياهم",
+        "إياهما",
+        "إياهن",
+        "إياي",
+        "الآن",
+        "البتة",
         "التي",
-        "الذى",
         "الذي",
         "الذين",
-        "الغاية",
-        "الـ",
-        "الـــ",
-        "الفوق",
-        "اللاتى",
+        "اللائي",
+        "اللات",
         "اللاتي",
         "اللتان",
         "اللتين",
         "اللذان",
         "اللذين",
+        "اللهم",
+        "اللوات",
         "اللواتي",
-        "اللي",
-        "الى",
-        "الي",
-        "ام",
-        "اما",
-        "امام",
-        "ان",
-        "انا",
-        "انتم",
-        "انما",
-        "او",
-        "اولئك",
-        "اى",
+        "الليلة",
+        "اليوم",
         "اي",
-        "اين",
-        "اينما",
-        "اَل",
-        "اَلَّذِي",
-        "ب",
-        "بأنفسهم",
-        "بات",
-        "باتت",
-        "بس",
+        "بألا",
+        "بأن",
+        "بئس",
+        "بئست",
+        "باتجاه",
+        "بالأخص",
+        "بالأمس",
+        "بالتالي",
+        "بالذات",
+        "بالرغم من",
+        "بالضبط",
+        "بالطبع",
+        "بالفعل",
+        "بالقرب",
+        "بالكامل",
+        "بالنسبة ل",
+        "بتاتاً",
+        "بجانب",
+        "بحسب",
+        "بحوالي",
+        "بحيث",
+        "بذلك",
+        "برغم",
+        "برمته",
+        "بشتى",
+        "بصرف النظر عن",
+        "بضع",
+        "بضعة",
         "بعد",
         "بعدما",
         "بعض",
-        "بعيد",
-        "بغزة",
+        "بغض الطرف عن",
+        "بغض النظر عن",
+        "بغية",
         "بـ",
+        "بقرب",
         "بل",
+        "بلا",
+        "بلى",
+        "بم",
         "بما",
-        "بهم",
-        "بيد",
+        "بما أن",
+        "بمفرده",
+        "بمقتضى",
+        "بمنأى عن",
+        "بموجب",
         "بين",
         "بينما",
-        "بَس",
-        "بَعدَ",
-        "بَعدَمَا",
-        "بَل",
-        "بَيدَ",
-        "بَينَ",
-        "بَينَمَا",
-        "بُعَيدَ",
-        "بِ",
+        "تاماً",
+        "تباعاً",
+        "تبعاً",
+        "تجاه",
         "تحت",
-        "تحـــت",
-        "تصبح",
-        "تعد",
-        "تكن",
-        "تكون",
-        "تكونون",
+        "تحديداً",
+        "تحسباً",
+        "تقريباً",
         "تلك",
-        "تَحتَ",
-        "تُجَاهَ",
+        "تلو",
+        "تماماً",
+        "تمشياً",
         "ثم",
-        "ثُمَّ",
+        "ثمة",
+        "جانب",
+        "جاهداً",
+        "جداً",
+        "جدياً",
         "جراء",
-        "جَرَّاء",
+        "جل",
+        "جميع",
+        "جميعاً",
+        "جنوب",
+        "جنوبي",
+        "حتماً",
+        "حتمياً",
         "حتى",
         "حسب",
         "حسبما",
-        "حوالى",
         "حوالي",
         "حول",
-        "حولي",
         "حيال",
         "حيث",
+        "حيث أن",
         "حيثما",
         "حين",
+        "حينئذ",
+        "حيناً",
+        "حينذاك",
         "حينما",
-        "حَتَّى",
-        "حَسَب",
-        "حَسَبَ",
-        "حَسَبَمَا",
-        "حَولَ",
-        "حَوَالَى",
-        "حَيثُ",
-        "حِينَ",
-        "حِينَمَا",
-        "حِيَالَ",
+        "خارج",
+        "ختاماً",
         "خلال",
-        "خَلفَ",
-        "خِلَالَ",
+        "خلف",
+        "دائماً",
+        "داخل",
+        "دوماً",
         "دون",
-        "دُونَ",
-        "ذا",
+        "دونما",
         "ذاك",
         "ذلك",
-        "ذو",
-        "ذي",
-        "ذَا",
-        "ذَاكَ",
-        "ذُو",
-        "ذٰلك",
-        "ذٰلِكَ",
-        "راح",
-        "ربما",
-        "ربمــا",
         "رغم",
+        "رغم أن",
         "ريثما",
-        "رَغمَ",
-        "رَيثَمَا",
-        "رُبَّمَا",
-        "س",
-        "سائر",
-        "سواء",
+        "زهاء",
+        "ساعة",
+        "سنة",
         "سوف",
         "سوى",
-        "سَ",
-        "سَوفَ",
-        "سِوَى",
-        "شبه",
-        "شو",
-        "صار",
+        "سوياً",
+        "شتى",
+        "شرق",
+        "شريطة",
+        "شكراً",
+        "شمال",
+        "صبيحة",
         "صوب",
         "ضد",
-        "ضمن",
-        "ضِدَّ",
-        "ضِمنَ",
-        "طال",
         "طالما",
-        "طالَما",
-        "طوال",
+        "طبقاً",
+        "طواعية",
+        "طوعاً",
         "طيلة",
-        "طَالَمَا",
-        "طِوَالَ",
-        "طِيلَةَ",
+        "عادة",
+        "عام",
+        "عامة",
         "عبر",
         "عدا",
         "عدة",
-        "عشان",
-        "عـــلى",
-        "عـــندما",
-        "عــلى",
+        "عسى",
+        "عشية",
         "عقب",
-        "عل",
-        "علـى",
+        "علاوة على",
+        "علاوة على ذلك",
         "على",
-        "علي",
-        "علّ",
-        "عم",
+        "على الرغم من",
+        "على حد قول",
+        "على غرار",
+        "على هذا",
+        "عما",
+        "عمن",
+        "عموماً",
         "عن",
-        "عنا",
         "عند",
+        "عندئذ",
         "عندما",
-        "عوض",
-        "عَاد",
-        "عَبرَ",
-        "عَدَا",
-        "عَشان",
-        "عَقِبَ",
-        "عَلَى",
-        "عَلَّ",
-        "عَم",
-        "عَن",
-        "عِندَ",
-        "عِندَمَا",
-        "عِوَضَ",
-        "غالبية",
-        "غدت",
+        "عنوة",
+        "عوضا عن",
+        "غالب",
+        "غالباً",
+        "غداة",
+        "غداً",
+        "غرب",
         "غير",
-        "غَيرَ",
-        "ف",
-        "فتئ",
+        "غير أن",
+        "ـك",
+        "ـكم",
+        "ـكما",
+        "ـكن",
+        "ـنا",
+        "ـه",
+        "ـها",
+        "ـهم",
+        "ـهما",
+        "ـهن",
+        "ـي",
+        "فجأة",
+        "فجر",
+        "فحسب",
+        "فصاعداً",
+        "فضلاً",
         "فـ",
-        "فـي",
         "فور",
+        "فوراً",
         "فوق",
-        "فى",
         "في",
+        "في تلك الأثناء",
+        "في غضون ذلك",
+        "في هذه الأثناء",
         "فيما",
-        "فَ",
-        "فَورَ",
-        "فَوقَ",
-        "فِي",
-        "فِيمَا",
-        "ق",
+        "فيما يلي",
         "قبالة",
         "قبل",
         "قبيل",
         "قد",
+        "قدماً",
         "قرابة",
         "قرب",
-        "قيد",
-        "قَبلَ",
-        "قَد",
-        "قَيدَ",
-        "قُبَالَةَ",
-        "قُبَيلَ",
-        "قُربَ",
-        "قُرَابَةَ",
-        "ك",
+        "قسراً",
+        "قطعياً",
+        "قليلاً",
         "كأن",
-        "كأنما",
-        "كامل",
-        "كان",
-        "كانت",
-        "كانوا",
+        "كالمعتاد",
+        "كثيراً",
         "كذا",
+        "كذلك",
         "كـ",
         "كل",
         "كلا",
         "كلتا",
         "كلما",
-        "كلي",
         "كم",
         "كما",
-        "كن",
-        "كنا",
-        "كنت",
-        "كون",
-        "كى",
+        "كما أن",
         "كي",
         "كيف",
-        "كَ",
-        "كَأَنَّ",
-        "كَأَنَّمَا",
-        "كَان",
-        "كَذَا",
-        "كَلَّا",
-        "كَم",
-        "كَمَا",
-        "كَي",
-        "كَيفَ",
-        "كُل",
-        "كُلَّمَا",
-        "كِلَا",
-        "ل",
         "لأن",
+        "لئلا",
         "لا",
-        "لازم",
-        "لان",
+        "لا بأس أن",
+        "لا بد",
+        "لا سيما",
+        "لا لبس أن",
+        "لا مانع",
+        "لابد",
+        "لاحقاً",
+        "لاسيما",
+        "لحظة",
+        "لحوالي",
         "لدى",
-        "لدي",
         "لذا",
         "لذلك",
-        "لذٰلك",
-        "لسنا",
+        "لعل",
         "لـ",
         "لقد",
         "لكن",
-        "لكى",
         "لكي",
+        "للتو",
         "لم",
         "لما",
         "لماذا",
         "لن",
-        "لهم",
         "لو",
         "لولا",
-        "ليس",
-        "ليست",
-        "ليسوا",
-        "لَ",
-        "لَا",
-        "لَازِم",
-        "لَدَى",
-        "لَم",
-        "لَمَّا",
-        "لَن",
-        "لَو",
-        "لَولَا",
-        "لَيس",
-        "لُو",
-        "لِ",
-        "لِأَن",
-        "لِأَنَّ",
-        "لِئَلّا",
-        "لِذَا",
-        "لِذٰلِكَ",
-        "لِكَي",
-        "لِمَاذَا",
-        "لٰكن",
-        "لٰكِن",
-        "لٰكِنَّ",
-        "م",
+        "ليت",
+        "ليلة",
+        "مؤخراً",
+        "مؤقتاً",
         "ما",
         "ماذا",
-        "مالم",
-        "ماهو",
-        "ماهُوَ",
+        "مباشرة",
         "متى",
-        "مثـــل",
         "مثل",
+        "مثلاً",
         "مثلما",
-        "مش",
+        "مجاناً",
+        "مجدداً",
+        "مجرد",
+        "محض",
+        "مراراً",
+        "مساء",
+        "مطلقاً",
         "مع",
+        "مع أن",
+        "مع ذلك",
+        "معاً",
         "معظم",
-        "مــن",
-        "مـن",
-        "مقابل",
         "مما",
-        "ممكن",
+        "مما زاد الطين بلة",
+        "مما يزيد الطين بلة",
+        "ممن",
         "من",
-        "منتصف",
+        "من الجدير بالذكر أن",
+        "من المؤسف",
+        "من المؤكد",
+        "من المؤمل",
+        "من المرجح",
+        "من المفترض",
+        "من الممكن",
+        "من ثم",
+        "من جهة أخرى",
+        "من غير المرجح",
+        "من غير الممكن",
+        "من ناحية أخرى",
         "منذ",
         "مهما",
-        "مين",
-        "مَا",
-        "مَاذَا",
-        "مَالَم",
-        "مَتَى",
-        "مَعَ",
-        "مَن",
-        "مَهمَا",
-        "مُقَابِلَ",
-        "مُمكِن",
-        "مُنذُ",
-        "مِثلَ",
-        "مِثلَمَا",
-        "مِمَّا",
-        "مِن",
-        "نا",
-        "ناهيك",
-        "نحسب",
+        "نادراً",
+        "ناهيك عن",
         "نحن",
         "نحو",
-        "نصف",
+        "نسبياً",
         "نعم",
-        "نكون",
-        "ني",
-        "نَاهِيك",
-        "نَحوَ",
-        "نَعَم",
-        "ه",
+        "نعمت",
+        "نفس",
+        "نهار",
+        "نهاراً",
         "هؤلاء",
-        "ها",
         "هاتان",
         "هاتين",
-        "هاد",
-        "هاي",
+        "هدراً",
         "هذا",
         "هذان",
-        "هذــه",
         "هذه",
         "هذين",
-        "هـــذه",
-        "هــــذه",
         "هكذا",
+        "هكذا دواليك",
         "هل",
         "هم",
         "هما",
         "هن",
+        "هنا",
+        "هناك",
+        "هنالك",
         "هو",
-        "هى",
         "هي",
-        "هَا",
-        "هَل",
-        "هُ",
-        "هُو",
-        "هُوَ",
-        "هِ",
-        "هٰؤلاء",
-        "هٰذا",
-        "هٰذان",
-        "هٰذه",
-        "هٰذَا",
-        "هٰكذا",
-        "هٰكَذَا",
         "و",
-        "وأسلم",
         "وراء",
-        "وسامراء",
         "وسط",
-        "وســـط",
-        "وغربه",
         "وفق",
+        "وفقاً",
+        "وقت",
         "وقتما",
-        "وقف",
-        "ولا",
-        "ولَا",
-        "وهي",
-        "��َ",
-        "وَرَاءَ",
-        "وَسطَ",
-        "وِفقَ",
-        "وِلّا",
-        "ي",
         "يا",
-        "يجعل",
-        "يزال",
-        "يصبح",
-        "يكن",
-        "يكون",
-        "يكونا",
-        "يَا",
-        "ِي",
+        "يذكر أن",
+        "يوم",
+        "يوماً",
+        "يومياً",
+    ],
+    "as": [
+        "অন্যথা",
+        "অৱশ্যে",
+        "আপোনাৰ",
+        "উদাহৰণস্বৰূপে",
+        "ওপৰলৈ",
+        "কম",
+        "কাৰণ",
+        "কিন্তু",
+        "কেতিয়াবা",
+        "কোনোবা",
+        "গতিকে",
+        "তললৈ",
+        "তাৰ সলনি",
+        "তাৰে ভিতৰত",
+        "তেওঁলোকৰ",
+        "তেতিয়া",
+        "তেনেকুৱাই",
+        "ফালে",
+        "বহুত",
+        "বাওঁফালে",
+        "বাহিৰত",
+        "ভিতৰত",
+        "মোৰ",
+        "যথেষ্ট",
+        "যাৰ",
+        "যি",
+        "যেতিয়ালৈকে",
+        "যেনে",
+        "লৈ",
+        "সকলোৱে",
+        "সোঁফালে",
+        "সৰ্বাধিক",
     ],
     "bn": [
         "অনেক",
-        "অন্য",
-        "অবশ্য",
-        "আগে",
-        "আছে",
-        "আজ",
-        "আবার",
-        "আমরা",
-        "আমাদের",
-        "আর",
-        "ই",
-        "উত্তর",
+        "অনেক ",
+        "অন্য ",
+        "অন্যথায়",
+        "আমরা ",
+        "আমার ",
+        "আমি",
+        "আর জন্য ",
+        "আর, ও, এবং ",
+        "আরও সাথে , আরো সঙ্গে ",
+        "উদাহরণ স্বরূপ",
         "উপর",
-        "উপরে",
-        "এ",
-        "এই",
-        "এক্",
-        "এখন",
-        "এত",
-        "এব",
-        "এমন",
-        "এমনি",
-        "এর",
-        "এস",
-        "এসে",
-        "ও",
-        "ওই",
-        "কমনে",
-        "করা",
-        "করে",
-        "কাছে",
-        "কাজ",
-        "কাজে",
-        "কারণ",
+        "এ ",
+        "এ, এটা, এইটা ",
+        "এখানে , এইখানে  ",
+        "ও ,ওটা ,ওইটা",
+        "ওখানে, সেখানে ",
+        "ওদের মধ্যে ",
+        "কখন ",
+        "কখনও কখনও",
+        "কম, অল্প ",
+        "কারণ ",
         "কি",
-        "কিছু",
-        "কে",
+        "কিছু ",
+        "কিন্তু ",
+        "কে ",
         "কেউ",
-        "কেখা",
-        "কেন",
-        "কোটি",
-        "কোনো",
-        "কয়েক",
-        "খুব",
-        "গিয়ে",
-        "গেল",
-        "চার",
-        "চালু",
-        "চেষ্টা",
-        "ছিল",
-        "জানা",
-        "জ্নজন",
-        "টি",
-        "তখন",
-        "তবে",
-        "তা",
-        "তাই",
-        "তো",
-        "থাকা",
-        "থেকে",
-        "দিন",
-        "দু",
-        "দুই",
-        "দেওয়া",
-        "ধামার",
-        "নতুন",
-        "না",
-        "নাগাদ",
-        "নিয়ে",
-        "নেওয়া",
-        "নয়",
-        "পর",
-        "পরে",
-        "পাচ",
-        "পি",
-        "পেয়্র্",
-        "প্রতি",
-        "প্রথম",
-        "প্রযন্ত",
-        "প্রাথমিক",
-        "প্রায়",
-        "বক্তব্য",
-        "বন",
-        "বলা",
-        "বলে",
-        "বলেন",
-        "বহু",
-        "বা",
-        "বি",
-        "বিভিন্ন",
-        "বেশ",
-        "বেশি",
-        "মতো",
-        "মধ্যে",
-        "মনে",
-        "যখন",
-        "যদি",
-        "যা",
-        "যাওয়া",
-        "যে",
-        "র",
-        "রকম",
-        "লক্ষ",
-        "শুধু",
-        "শুরু",
-        "সঙ্গে",
-        "সব",
-        "সহ",
-        "সাধারণ",
-        "সামনে",
-        "সি",
-        "সে",
-        "সেই",
-        "হতে",
-        "হাজার",
-        "হয়",
+        "কেমন ",
+        "কোথায়",
+        "কোনটা ",
+        "ডান",
+        "তাই, সুতরাং",
+        "তার, তাদের, ওর, ওদের ",
+        "তারপর",
+        "তারা ",
+        "তুমি, আপনি ",
+        "তোমরা , আপনারা ",
+        "তোমার, তোর ",
+        "দিকে",
+        "না ",
+        "নিচে",
+        "পরিবর্তে , বরং ",
+        "পর্যন্ত",
+        "বাইরে",
+        "বাম",
+        "ভিতর",
+        "ভিতরে",
+        "মত",
+        "যতক্ষণ না",
+        "যথেষ্ট",
+        "যদি ",
+        "যাহার",
+        "যাহোক",
+        "সব, সবাই ",
+        "সবাই",
+        "সর্বাধিক",
+        "সামান্য",
+        "সে রকমই",
+        "সে, ও",
     ],
     "ca": [
         "-ho",
@@ -3686,232 +3566,257 @@ stopwords = {
         "êtes",
         "être",
     ],
+    "gu": [
+        "અંદર",
+        "અડધા, અડધું",
+        "અત્યારે, હમણાં",
+        "અથવા, કે",
+        "અને",
+        "અનેક, ઘણા",
+        "અન્ય, બીજું",
+        "અમને, હમેં",
+        "અમારા",
+        "અમારું, આપણું",
+        "અમે",
+        "અહીં, અહીંયા",
+        "આ",
+        "આ દ્વારા",
+        "આ રીતે, આ તરફ",
+        "આની જેમ",
+        "ઉપર",
+        "એકલા",
+        "એનાથી",
+        "એમાથી",
+        "ઓછું, ઓછા",
+        "કઈ બાજુ",
+        "કદાચ",
+        "કયું, કયો, કઈ, જે",
+        "કાં તો",
+        "કેટલા",
+        "કેટલાક, થોડા",
+        "કેમ, શા માટે",
+        "કેવી રીતે, કઈ રીતે",
+        "કોઈ",
+        "કોઈ નહી",
+        "કોઈને",
+        "કોઈપણ",
+        "કોણ",
+        "કોનું, જેમના, જેમની",
+        "ક્યાંક, કોઈ જગ્યાએ",
+        "ક્યાંથી, જ્યાં, ક્યાં ",
+        "ક્યારે, જ્યારે",
+        "ક્યારેક ક્યારેક",
+        "ઘણું બધું",
+        "ઘણું, પુસ્કળ, અતિશય",
+        "જેથી",
+        "જેને, જેમને",
+        "જેમ",
+        "જેમ કે, જેમ, જે રીતે, જેવા કે",
+        "જો",
+        "તને",
+        "તમારા, તમારું",
+        "તમારું",
+        "તમે, તું",
+        "તારું",
+        "તે જેવી, તેની જેમ",
+        "તે રીતે, તે તરફ",
+        "તેઓ",
+        "તેઓનું",
+        "તેઓને, તેમને",
+        "તેણીના",
+        "તેથી, તો",
+        "તેના",
+        "તેનું, તેના",
+        "તેમના, તેમનું, તેઓની",
+        "તેમને. એમને",
+        "તેવું",
+        "ત્યાં",
+        "ત્યાં સુધી",
+        "થોડા",
+        "થોડું",
+        "દરેક",
+        "દૂર",
+        "દ્વારા",
+        "નજીક, પાસે",
+        "ના, નહિ",
+        "ના, નો",
+        "ની અંદર",
+        "ની સામે",
+        "નીચે",
+        "પછી",
+        "પછી, ત્યારે",
+        "પછીથી",
+        "પણ",
+        "પરંતુ, પણ",
+        "પાછળ",
+        "પેલી",
+        "પેલું",
+        "પેલો, તે",
+        "પ્રતિ",
+        "ફરીથી, ફરી",
+        "બંને, બેઉ",
+        "બધા",
+        "બહાર",
+        "બાજુમાં",
+        "ભરપૂર",
+        "મને",
+        "માં",
+        "માંથી, થી",
+        "માટે",
+        "માથે, ઉપર",
+        "મારા",
+        "મારુ, મારી ",
+        "મારું",
+        "લીધે, કારણ કે,કેમ કે",
+        "વધારાનું",
+        "વધારે",
+        "વધારે, વધુ ",
+        "શું",
+        "સમગ્ર",
+        "સમાન, એક સરખું",
+        "સાથે",
+        "સિવાય",
+        "સુધી",
+        "સૌથી વધુ",
+        "હજુ સુધી",
+        "હું",
+    ],
     "hi": [
         "अंदर",
-        "अत",
-        "अदि",
-        "अप",
-        "अपना",
-        "अपनि",
-        "अपनी",
-        "अपने",
-        "अभि",
-        "अभी",
-        "आदि",
-        "आप",
-        "इंहिं",
-        "इंहें",
-        "इंहों",
-        "इतयादि",
-        "इत्यादि",
-        "इन",
-        "इनका",
-        "इन्हीं",
-        "इन्हें",
-        "इन्हों",
-        "इस",
-        "इसका",
-        "इसकि",
-        "इसकी",
-        "इसके",
-        "इसमें",
-        "इसि",
-        "इसी",
-        "इसे",
-        "उंहिं",
-        "उंहें",
-        "उंहों",
-        "उन",
-        "उनका",
-        "उनकि",
-        "उनकी",
+        "अकेला",
+        "अतिरिक्त",
+        "अथवा, या",
+        "अधिकांश",
+        "अन्यथा",
+        "अब, अभि, इसी वक्त",
+        "अभी तक",
+        "आधा",
+        "आप, तुम, तुजे",
+        "आपका, तुम्हारा, तेरा",
+        "इधर, यहाँ",
+        "इन्हें, इन",
+        "इस तरफ",
+        "इस से",
+        "इसका, इसकी",
+        "इसके द्वारा",
+        "इसके साथ",
+        "इसलिए",
+        "इसलिए, तो",
+        "उदाहरण के लिए",
+        "उन को, इन को, उन्हें, इन्हें",
+        "उनका, उनके, उनकी, इनका",
         "उनके",
-        "उनको",
-        "उन्हीं",
+        "उनमें से",
         "उन्हें",
-        "उन्हों",
-        "उस",
-        "उसके",
-        "उसि",
-        "उसी",
-        "उसे",
-        "एक",
-        "एवं",
-        "एस",
-        "एसे",
-        "ऐसे",
-        "ओर",
+        "उस तरफ, उसी और",
+        "उसकी, उसके",
+        "उसके जैसा",
+        "उसको, उसके, इसको, इसके, इसकी",
+        "ऊपर",
+        "ऐसा",
         "और",
-        "कइ",
-        "कई",
-        "कर",
-        "करता",
-        "करते",
-        "करना",
-        "करने",
-        "करें",
-        "कहते",
-        "कहा",
-        "का",
-        "काफि",
-        "काफ़ी",
-        "कि",
-        "किंहें",
-        "किंहों",
-        "कितना",
-        "किन्हें",
-        "किन्हों",
-        "किया",
-        "किर",
-        "किस",
-        "किसि",
-        "किसी",
-        "किसे",
-        "की",
-        "कुछ",
-        "कुल",
-        "के",
-        "को",
-        "कोइ",
+        "कब, जब",
+        "कभी - कभी",
+        "कभी कभी",
+        "कम",
+        "कम, थोड़ा",
+        "कहीं",
+        "का, की, के",
+        "काफ़ी",
+        "किंतु, पर, लेकिन, मगर",
+        "कितने",
+        "किस तरफ",
+        "किसके, जिसके, जिनके, किसका",
+        "किसको, किसे, जिसे, जिन्हे",
+        "किसी को",
+        "की ओर, की तरफ़",
+        "कुछ, थोड़े",
+        "के अंदर",
+        "के अलावा",
+        "के ऊपर",
+        "के लिये",
+        "के सामने",
+        "कैसे, कैसा",
         "कोई",
-        "कोन",
-        "कोनसा",
+        "कोई न कोई",
+        "कोई नहीं",
+        "कोई, कोई व्यक्ति",
         "कौन",
-        "कौनसा",
-        "गया",
-        "घर",
-        "जब",
-        "जहाँ",
-        "जहां",
-        "जा",
-        "जिंहें",
-        "जिंहों",
-        "जितना",
-        "जिधर",
-        "जिन",
-        "जिन्हें",
-        "जिन्हों",
-        "जिस",
-        "जिसे",
-        "जीधर",
-        "जेसा",
-        "जेसे",
+        "कौन सा, जो",
+        "कौन, जो",
+        "क्या",
+        "क्यों",
+        "क्योंकि, चूंकि",
+        "जब तक",
+        "जब तक, तक तक",
+        "जहाँ, कहां, किधर",
+        "जिसका",
         "जैसा",
         "जैसे",
-        "जो",
+        "जैसे की, जैसा, वैसा",
+        "जैसे, इस तरह",
+        "ज्यादा, अधिक",
+        "ढेर सारा",
+        "ढेर सारा, बहुत सारा",
         "तक",
-        "तब",
-        "तरह",
-        "तिंहें",
-        "तिंहों",
-        "तिन",
-        "तिन्हें",
-        "तिन्हों",
-        "तिस",
-        "तिसे",
-        "तो",
-        "था",
-        "थि",
-        "थी",
-        "थे",
-        "दबारा",
-        "दवारा",
-        "दिया",
-        "दुसरा",
-        "दुसरे",
-        "दूसरे",
-        "दो",
+        "तक, जब तक",
+        "तब, फिर",
+        "ताकि",
+        "तुम्हारा",
+        "तुम्हारा, तुम्हारे",
+        "तुम्हे, तुझे, तुमको",
+        "तेरा, तेरी",
+        "थोड़ा",
+        "दाहिने, दाहिना",
+        "दुसरा, एक और",
+        "दूर",
+        "दोनों",
         "द्वारा",
-        "न",
-        "नहिं",
-        "नहीं",
-        "ना",
-        "निचे",
-        "निहायत",
+        "नहीं, मत ",
         "नीचे",
-        "ने",
-        "पर",
-        "पहले",
-        "पुरा",
+        "पास में, पास",
+        "पास, नजदीक, करीब",
+        "पीछे",
         "पूरा",
-        "पे",
-        "फिर",
-        "बनि",
-        "बनी",
-        "बहि",
-        "बही",
-        "बहुत",
-        "बाद",
-        "बाला",
-        "बिलकुल",
-        "भि",
-        "भितर",
+        "प्रति, से, तक",
+        "प्रत्येक",
+        "फिर, तो, तब, उस वक़्त",
+        "फिर, दुबारा",
+        "बजाय",
+        "बहुत, अनेक",
+        "बहुत, ज्यादा, काफी",
+        "बाएं, वाम",
+        "बाद में",
+        "बाद में, पीछे",
+        "बाहर",
         "भी",
-        "भीतर",
-        "मगर",
-        "मानो",
-        "मे",
-        "में",
+        "मुझे",
+        "में, भीतर, अंदर",
+        "में, मैंने",
+        "मेरा, अपना",
+        "मेरा, मेरी",
+        "मेरी, मेरा, मेरे",
         "यदि",
-        "यह",
-        "यहाँ",
-        "यहां",
-        "यहि",
-        "यही",
-        "या",
-        "यिह",
-        "ये",
-        "रखें",
-        "रवासा",
-        "रहा",
-        "रहे",
-        "ऱ्वासा",
-        "लिए",
-        "लिये",
+        "यदि, अगर",
+        "यदि, या",
+        "यह, ये, इसे",
         "लेकिन",
-        "व",
-        "वगेरह",
-        "वरग",
-        "वर्ग",
         "वह",
-        "वहाँ",
+        "वह, जो",
         "वहां",
-        "वहिं",
-        "वहीं",
-        "वाले",
-        "वुह",
-        "वे",
-        "वग़ैरह",
-        "संग",
-        "सकता",
-        "सकते",
-        "सबसे",
-        "सभि",
-        "सभी",
+        "वही",
+        "वे, वह, वो, उन्होंने",
+        "वैसे, उसके जैसा",
+        "शायद",
+        "सब लोग",
+        "सब, सभी, सारे",
+        "सबसे ज्यादा, अधिकांश",
         "साथ",
-        "साबुत",
-        "साभ",
-        "सारा",
         "से",
-        "सो",
-        "हि",
-        "ही",
-        "हुअ",
-        "हुआ",
-        "हुइ",
-        "हुई",
-        "हुए",
-        "हे",
-        "हें",
-        "है",
-        "हैं",
-        "हो",
-        "होता",
-        "होति",
-        "होती",
-        "होते",
-        "होना",
-        "होने",
+        "हम",
+        "हमारा, हमारे, हमारी",
+        "हर जगह",
+        "हालाँकि",
     ],
     "id": [
         "Anda",
@@ -5128,546 +5033,180 @@ stopwords = {
         "zake",
     ],
     "ur": [
-        "آئی",
-        "آئے",
-        "آج",
-        "آخر",
-        "آخرکبر",
-        "آدهی",
-        "آًب",
-        "آٹھ",
-        "آیب",
-        "اة",
-        "اخبزت",
-        "اختتبم",
-        "ادھر",
-        "ارد",
-        "اردگرد",
-        "ارکبى",
-        "اش",
-        "اضتعوبل",
-        "اضتعوبلات",
-        "اضطرذ",
-        "اضکب",
-        "اضکی",
-        "اضکے",
-        "اطراف",
-        "اغیب",
-        "افراد",
-        "الگ",
-        "اور",
-        "اوًچب",
-        "اوًچبئی",
-        "اوًچی",
-        "اوًچے",
-        "اى",
-        "اً",
-        "اًذر",
-        "اًہیں",
-        "اٹھبًب",
-        "اپٌب",
-        "اپٌے",
-        "اچھب",
-        "اچھی",
-        "اچھے",
-        "اکثر",
-        "اکٹھب",
-        "اکٹھی",
-        "اکٹھے",
-        "اکیلا",
-        "اکیلی",
-        "اکیلے",
-        "اگرچہ",
-        "اہن",
-        "ایطے",
-        "ایک",
-        "ب",
-        "ت",
-        "تبزٍ",
-        "تت",
-        "تر",
-        "ترتیت",
-        "تریي",
-        "تعذاد",
-        "تن",
-        "تو",
-        "توبم",
-        "توہی",
-        "توہیں",
-        "تٌہب",
-        "تک",
-        "تھب",
-        "تھوڑا",
-        "تھوڑی",
-        "تھوڑے",
-        "تھی",
-        "تھے",
-        "تیي",
-        "ثب",
-        "ثبئیں",
-        "ثبترتیت",
-        "ثبری",
-        "ثبرے",
-        "ثبعث",
-        "ثبلا",
-        "ثبلترتیت",
-        "ثبہر",
-        "ثدبئے",
-        "ثرآں",
-        "ثراں",
-        "ثرش",
-        "ثعذ",
-        "ثغیر",
-        "ثلٌذ",
-        "ثلٌذوثبلا",
-        "ثلکہ",
-        "ثي",
-        "ثٌب",
-        "ثٌبرہب",
-        "ثٌبرہی",
-        "ثٌبرہے",
-        "ثٌبًب",
-        "ثٌذ",
-        "ثٌذکرو",
-        "ثٌذکرًب",
-        "ثٌذی",
-        "ثڑا",
-        "ثڑوں",
-        "ثڑی",
-        "ثڑے",
-        "ثھر",
-        "ثھرا",
-        "ثھراہوا",
-        "ثھرپور",
-        "ثھی",
-        "ثہت",
-        "ثہتر",
-        "ثہتری",
-        "ثہتریي",
-        "ثیچ",
-        "ج",
-        "خب",
-        "خبرہب",
-        "خبرہی",
-        "خبرہے",
-        "خبهوظ",
-        "خبًب",
-        "خبًتب",
-        "خبًتی",
-        "خبًتے",
-        "خبًٌب",
-        "خت",
-        "ختن",
-        "خجکہ",
-        "خص",
-        "خططرذ",
-        "خلذی",
-        "خو",
-        "خواى",
-        "خوًہی",
-        "خوکہ",
-        "خٌبة",
-        "خگہ",
-        "خگہوں",
-        "خگہیں",
-        "خیطب",
-        "خیطبکہ",
-        "در",
-        "درخبت",
-        "درخہ",
-        "درخے",
-        "درزقیقت",
-        "درضت",
-        "دش",
-        "دفعہ",
-        "دلچطپ",
-        "دلچطپی",
-        "دلچطپیبں",
-        "دو",
-        "دور",
-        "دوراى",
-        "دوضرا",
-        "دوضروں",
-        "دوضری",
-        "دوضرے",
-        "دوًوں",
-        "دکھبئیں",
-        "دکھبتب",
-        "دکھبتی",
-        "دکھبتے",
-        "دکھبو",
-        "دکھبًب",
-        "دکھبیب",
-        "دی",
-        "دیب",
-        "دیتب",
-        "دیتی",
-        "دیتے",
-        "دیر",
-        "دیٌب",
-        "دیکھو",
-        "دیکھٌب",
-        "دیکھی",
-        "دیکھیں",
-        "دے",
-        "ر",
-        "راضتوں",
-        "راضتہ",
-        "راضتے",
-        "رریعہ",
-        "رریعے",
-        "رکي",
-        "رکھ",
-        "رکھب",
-        "رکھتب",
-        "رکھتبہوں",
-        "رکھتی",
-        "رکھتے",
-        "رکھی",
-        "رکھے",
-        "رہب",
-        "رہی",
-        "رہے",
-        "ز",
-        "زبصل",
-        "زبضر",
-        "زبل",
-        "زبلات",
-        "زبلیہ",
-        "زصوں",
-        "زصہ",
-        "زصے",
-        "زقبئق",
-        "زقیتیں",
-        "زقیقت",
-        "زکن",
-        "زکویہ",
-        "زیبدٍ",
-        "صبف",
-        "صسیر",
-        "صفر",
-        "صورت",
-        "صورتسبل",
-        "صورتوں",
-        "صورتیں",
-        "ض",
-        "ضبت",
-        "ضبتھ",
-        "ضبدٍ",
-        "ضبرا",
-        "ضبرے",
-        "ضبل",
-        "ضبلوں",
-        "ضت",
-        "ضرور",
-        "ضرورت",
-        "ضروری",
-        "ضلطلہ",
-        "ضوچ",
-        "ضوچب",
-        "ضوچتب",
-        "ضوچتی",
-        "ضوچتے",
-        "ضوچو",
-        "ضوچٌب",
-        "ضوچی",
-        "ضوچیں",
-        "ضکب",
-        "ضکتب",
-        "ضکتی",
-        "ضکتے",
-        "ضکٌب",
-        "ضکی",
-        "ضکے",
-        "ضیذھب",
-        "ضیذھی",
-        "ضیذھے",
-        "ضیکٌڈ",
-        "ضے",
-        "طرف",
-        "طریق",
-        "طریقوں",
-        "طریقہ",
-        "طریقے",
-        "طور",
-        "طورپر",
-        "ظبہر",
-        "ع",
-        "عذد",
-        "عظین",
-        "علاقوں",
-        "علاقہ",
-        "علاقے",
-        "علاوٍ",
-        "عووهی",
-        "غبیذ",
-        "غخص",
-        "غذ",
-        "غروع",
-        "غروعبت",
-        "غے",
-        "فرد",
-        "فی",
-        "ق",
-        "قجل",
-        "قجیلہ",
-        "قطن",
-        "لئے",
-        "لا",
-        "لازهی",
-        "لو",
-        "لوجب",
-        "لوجی",
-        "لوجے",
-        "لوسبت",
-        "لوسہ",
-        "لوگ",
-        "لوگوں",
-        "لڑکپي",
-        "لگتب",
-        "لگتی",
-        "لگتے",
-        "لگٌب",
-        "لگی",
-        "لگیں",
-        "لگے",
-        "لی",
-        "لیب",
-        "لیٌب",
-        "لیں",
-        "لے",
-        "ه",
-        "هتعلق",
-        "هختلف",
-        "هسترم",
-        "هسترهہ",
-        "هسطوش",
-        "هسیذ",
-        "هطئلہ",
-        "هطئلے",
-        "هطبئل",
-        "هطتعول",
-        "هطلق",
-        "هعلوم",
-        "هػتول",
-        "هلا",
-        "هوکي",
-        "هوکٌبت",
-        "هوکٌہ",
-        "هٌبضت",
-        "هڑا",
-        "هڑًب",
-        "هڑے",
-        "هکول",
-        "هگر",
-        "هہرثبى",
-        "هیرا",
-        "هیری",
-        "هیرے",
-        "هیں",
-        "و",
-        "وار",
-        "والے",
-        "وٍ",
-        "ًئی",
-        "ًئے",
-        "ًب",
-        "ًبپطٌذ",
-        "ًبگسیر",
-        "ًطجت",
-        "ًقطہ",
-        "ًو",
-        "ًوخواى",
-        "ًکبلٌب",
-        "ًکتہ",
-        "ًہ",
-        "ًہیں",
-        "ًیب",
-        "ًے",
-        "ٓ آش",
-        "ٹھیک",
-        "پبئے",
-        "پبش",
-        "پبًب",
-        "پبًچ",
-        "پر",
-        "پراًب",
-        "پطٌذ",
-        "پل",
-        "پورا",
-        "پوچھب",
-        "پوچھتب",
-        "پوچھتی",
-        "پوچھتے",
-        "پوچھو",
-        "پوچھوں",
-        "پوچھٌب",
-        "پوچھیں",
-        "پچھلا",
+        "اسلئے",
+        "اسکے جیسا",
+        "ان کے بیچ ,ان لوگوں کے بیچ",
+        "اندر",
+        "انکا",
+        "اور ,و",
+        "اوپر",
+        "اگر ,گرچہ ,اگرچہ",
+        "باہر",
+        "بایاں ,بائیں",
+        "بجائے ,بدلے ,بدلے میں",
+        "بہت ,بہت سارے ,بہت کچھ",
+        "بہت زیادہ",
+        "تب تک",
+        "تم لوگ ,آپ ,آپ لوگ",
+        "تمہارا ,تیرا ,آپکا",
+        "تو, تم ,آپ",
+        "تھوڑا ,تھوڑی",
+        "جب تک",
+        "جسکا",
+        "جیسے",
+        "حالاںکہ",
+        "دایاں ,دائیں ,صحیح",
+        "دوسرا",
+        "زیادہ تر",
+        "ساتھ ,کے ساتھ",
+        "سب ,سبھی ,سب کچھ ,سارے ,سارا",
+        "سب لوگ",
+        "طرف ,اسکی طرف",
+        "لیکن",
+        "مثلأ ,مثال کے طور پے",
+        "میرا",
+        "میں",
+        "میں ,کے اندر ,اندر",
+        "نہی تو",
+        "نہیں ,ناں ,نا",
+        "نیچے",
+        "وہ ,وہ لوگ",
+        "وہ ,وہ والا, کہ",
+        "وہ ,یے",
+        "وہاں",
         "پھر",
-        "پہلا",
-        "پہلی",
-        "پہلےضی",
-        "پہلےضے",
-        "پہلےضےہی",
-        "پیع",
-        "چبر",
-        "چبہب",
-        "چبہٌب",
-        "چبہے",
-        "چلا",
-        "چلو",
-        "چلیں",
-        "چلے",
-        "چکب",
-        "چکی",
-        "چکیں",
-        "چکے",
-        "چھوٹب",
-        "چھوٹوں",
-        "چھوٹی",
-        "چھوٹے",
-        "چھہ",
-        "چیسیں",
-        "ڈھوًڈا",
-        "ڈھوًڈلیب",
-        "ڈھوًڈو",
-        "ڈھوًڈًب",
-        "ڈھوًڈی",
-        "ڈھوًڈیں",
-        "ک",
-        "کئی",
-        "کئے",
+        "پہ ,پر ,میں",
+        "کافی",
         "کب",
-        "کبفی",
-        "کبم",
-        "کت",
-        "کجھی",
-        "کرا",
-        "کرتب",
-        "کرتبہوں",
-        "کرتی",
-        "کرتے",
-        "کرتےہو",
-        "کررہب",
-        "کررہی",
-        "کررہے",
-        "کرو",
-        "کرًب",
-        "کریں",
-        "کرے",
-        "کطی",
-        "کل",
-        "کن",
+        "کبھی کبھی",
+        "کم",
         "کوئی",
-        "کوتر",
-        "کورا",
-        "کوروں",
-        "کورٍ",
-        "کورے",
-        "کوطي",
-        "کوى",
-        "کوًطب",
-        "کوًطی",
-        "کوًطے",
-        "کھولا",
-        "کھولو",
-        "کھولٌب",
-        "کھولی",
-        "کھولیں",
-        "کھولے",
-        "کہ",
-        "کہب",
-        "کہتب",
-        "کہتی",
-        "کہتے",
-        "کہو",
-        "کہوں",
-        "کہٌب",
-        "کہی",
-        "کہیں",
-        "کہے",
-        "کی",
-        "کیب",
-        "کیطب",
-        "کیطرف",
-        "کیطے",
-        "کیلئے",
-        "کیوًکہ",
-        "کیوں",
-        "کیے",
-        "کے",
-        "کےثعذ",
-        "کےرریعے",
-        "گئی",
-        "گئے",
-        "گب",
-        "گرد",
-        "گروٍ",
-        "گروپ",
-        "گروہوں",
-        "گٌتی",
-        "گی",
-        "گیب",
-        "گے",
-        "ہر",
-        "ہن",
-        "ہو",
-        "ہوئی",
-        "ہوئے",
-        "ہوا",
-        "ہوبرا",
-        "ہوبری",
-        "ہوبرے",
-        "ہوتب",
-        "ہوتی",
-        "ہوتے",
-        "ہورہب",
-        "ہورہی",
-        "ہورہے",
-        "ہوضکتب",
-        "ہوضکتی",
-        "ہوضکتے",
-        "ہوًب",
-        "ہوًی",
-        "ہوًے",
-        "ہوچکب",
-        "ہوچکی",
-        "ہوچکے",
-        "ہوگئی",
-        "ہوگئے",
-        "ہوگیب",
-        "ہوں",
-        "ہی",
-        "ہیں",
-        "ہے",
-        "ی",
-        "یقیٌی",
-        "یہ",
-        "یہبں",
+        "کون",
+        "کونسا",
+        "کچھ",
+        "کہاں",
+        "کیا",
+        "کیسے",
+        "کیوںکہ ,چوںکہ ,کیوںکی",
+        "کےلئے",
+        "ہم ,ھم",
+        "یہ ,یہ والا",
+        "یہاں",
     ],
     "vi": [
+        "ai",
+        "ai ai",
+        "ai nấy",
+        "anh",
+        "anh em",
+        "anh trai",
+        "anh ấy",
+        "ba",
+        "bao",
+        "bao giờ",
+        "bay",
+        "bà",
+        "bà con",
+        "bà ấy",
+        "bác",
+        "bây",
+        "bé",
         "bên",
+        "bạn",
+        "bạn gái",
+        "bạn trai",
+        "bả",
+        "bản thân",
+        "bất chấp",
+        "bất cứ",
+        "bất kì",
+        "bất luận",
+        "bất nhược",
+        "bất quá",
+        "bấy",
         "bấy nhiêu",
+        "bần tăng",
+        "bầy quân",
+        "bầy tui",
+        "bậu",
         "bằng",
+        "bệ hạ",
+        "bị cáo",
+        "bố",
+        "bố nó",
+        "bồ",
+        "bộ",
         "bởi",
+        "bởi vì",
         "cc",
+        "cha",
         "chao",
+        "chi",
+        "chiếu theo",
         "cho",
         "cho dù",
+        "cho đến",
+        "choa",
+        "chàng",
         "chán",
+        "cháu",
+        "chí",
         "chính",
+        "chú",
+        "chú mày",
+        "chúng",
+        "chúng mày",
+        "chúng mình",
+        "chúng nó",
+        "chúng ta",
+        "chúng tao",
+        "chúng tôi",
         "chút",
+        "chăng",
+        "chưa",
+        "chưng",
+        "chả",
+        "chắc",
+        "chẳng cứ",
+        "chỉ",
+        "chị",
+        "chị gái",
+        "chị ấy",
+        "chớ",
         "chứ",
+        "con",
+        "con này",
+        "cuối cùng",
         "các",
+        "các hạ",
         "cái",
+        "cái gì",
+        "cái này",
+        "cán bộ",
         "còn",
         "có",
         "có vẻ",
+        "cóc",
+        "cô",
+        "cô nương",
+        "cô ta",
+        "cô ấy",
+        "côi",
+        "công tử",
         "cùng",
+        "cơ",
         "cơ mà",
+        "cưng",
+        "cạnh",
         "cả",
+        "cả nhà",
+        "cầm bằng",
+        "cậu",
+        "cổ",
+        "cộng",
+        "cụ",
         "của",
+        "cứ",
         "do",
         "do vậy",
         "do đó",
@@ -5675,68 +5214,176 @@ stopwords = {
         "dù",
         "dù sao",
         "dù vậy",
+        "dưng",
         "dưới",
         "dường như",
         "dạ",
+        "dầu",
         "dẫu",
         "dẫu vậy",
+        "dậy",
+        "dọc",
+        "dợ",
+        "em",
+        "ghe",
+        "già",
+        "giá như",
+        "giả dụ",
+        "giả sử",
         "giữa",
         "gì",
+        "ha",
         "hay",
         "hay là",
+        "hen",
+        "hoàng thượng",
         "hoặc",
+        "huynh",
+        "huống",
+        "huống chi",
+        "huống gì",
+        "huống hồ",
+        "há",
+        "hôn",
+        "hơn",
         "hơn nữa",
         "hả",
         "hầu hết",
+        "hắn",
         "hết",
+        "hết cả",
         "hề",
         "hễ",
+        "họ",
+        "hổi",
+        "hỡi",
+        "hử",
+        "khanh",
+        "khi",
+        "khi nào",
+        "không",
+        "không ai",
         "không những",
+        "khứa",
+        "kia",
+        "kém",
+        "kìa",
+        "kẻo",
+        "kể từ",
         "l",
         "là",
+        "lão",
         "lên",
         "lại nữa",
+        "lần",
         "lẫn",
         "lắm",
+        "mi",
+        "min",
+        "miễn",
+        "moa",
+        "muôn",
+        "muội",
         "mà",
         "mà còn",
+        "mày",
+        "mãi",
+        "mình",
+        "mô",
+        "mũ",
+        "mất",
         "mấy",
+        "mầy",
+        "mẫu hậu",
         "mặc dù",
+        "mặc dầu",
         "mặt khác",
+        "mẹ",
+        "mẹ nó",
         "mọi",
+        "mọi người",
+        "mọi vật",
+        "mỏa",
         "mỗi",
         "một chút",
         "một nửa",
         "một số",
         "một vài",
         "một ít",
+        "mụ",
         "ngay",
+        "nghe",
+        "nghen",
+        "nghỉ",
         "ngoài",
         "ngoài ra",
+        "ngoại",
+        "ngoải",
+        "ngài",
+        "ngươi",
+        "người",
+        "người người",
+        "người ta",
         "ngược lại",
+        "ngộ",
+        "nha",
+        "nhiều",
+        "nhà quân",
         "nhá",
         "nhân",
+        "nhân dịp",
         "nhé",
         "như",
         "như vậy",
         "nhưng",
+        "nhưng mà",
+        "nhược bằng",
         "nhất là",
         "nhằm",
         "nhỉ",
+        "nhỏ",
         "nhờ",
+        "nhỡ",
         "những",
+        "ni",
+        "nà",
+        "nàng",
         "nào",
         "này",
         "nè",
         "nên",
+        "nó",
+        "nô tài",
+        "nô tì",
+        "nơi",
+        "nơi nơi",
+        "nấy",
+        "nầy",
+        "nẩu",
         "nếu",
         "nếu như",
+        "nọ",
+        "nội",
+        "nớ",
+        "nừng",
         "nửa",
         "nữa",
+        "phi",
         "phía",
+        "phô bay",
+        "phải",
+        "phải hôn",
+        "phải không",
+        "phần",
         "phần lớn",
+        "phỏng",
+        "phứt",
         "qua",
+        "quanh",
+        "quý khách",
+        "quý vị",
         "quả",
+        "quả nhân",
         "ra",
         "riêng",
         "rùi",
@@ -5745,37 +5392,81 @@ stopwords = {
         "sang",
         "sao",
         "sau",
+        "sau cùng",
         "song",
+        "song le",
+        "sắp",
+        "sẽ",
+        "sở dĩ",
+        "ta",
+        "tao",
+        "tau",
+        "thanh niên",
         "thay",
+        "thay vì",
         "theo",
+        "theo đó",
+        "thiếp",
         "thiệt",
+        "thành",
+        "thâu",
+        "thêm",
         "thì",
         "thí dụ",
         "thôi",
+        "thần",
+        "thầy",
+        "thẩy",
         "thật",
+        "thằng này",
         "thế",
         "thế là",
         "thế mà",
         "thế nhưng",
+        "thị",
+        "thời",
+        "tiểu nhân",
+        "toa",
+        "toà",
         "toàn",
         "toàn bộ",
         "toàn thể",
         "trong",
+        "trong khi",
+        "trong đó",
+        "trái",
+        "trái lại",
         "trên",
+        "trò",
         "trước",
+        "trẫm",
         "trời",
+        "trừ phi",
         "tuy",
         "tuy nhiên",
+        "tuy rằng",
         "tuy vậy",
+        "tê",
         "tóm lại",
+        "tôi",
+        "tương đương",
         "tại",
+        "tại hạ",
+        "tại vì",
         "tất cả",
+        "tầm",
         "tận",
+        "tỉ",
         "tổ",
+        "tớ",
         "tới",
+        "tụi",
+        "tụi nó",
         "tức",
         "tức là",
         "từ",
+        "tự",
+        "tựa",
         "ui",
         "và",
         "vài",
@@ -5785,30 +5476,68 @@ stopwords = {
         "vì thế",
         "vì vậy",
         "ví dụ",
+        "ví như",
         "vô",
         "vô số",
         "vô vàn",
+        "vả chăng",
+        "vả lại",
         "vậy",
         "vậy là",
         "vậy mà",
         "về",
+        "về hướng",
+        "về phía",
+        "vị",
         "với",
         "xuống",
         "à",
+        "á",
+        "ái khanh",
+        "âu là",
+        "í",
+        "ít",
+        "ông",
+        "ông ấy",
+        "út",
+        "ý",
         "đa số",
+        "đang",
         "đi",
         "đâu",
         "đây",
+        "đã",
+        "đê",
+        "đích thân",
         "đó",
         "đôi",
+        "đương",
         "được",
+        "đại nhân",
         "đấy",
+        "đầu tiên",
+        "đằng này",
+        "đằng ấy",
+        "��ẳng",
+        "đặng",
         "đến",
         "để",
+        "đệ",
         "đối với",
+        "đồ",
+        "ơi",
+        "ư",
         "ạ",
+        "ả",
+        "ảnh",
         "ấy",
+        "ẻm",
+        "ổng",
+        "ờ",
         "ở",
+        "ừ",
+        "ừa",
+        "ừm",
     ],
     "yo": [
         "a",

ur.arpa.bin

@@ -0,0 +1,3 @@
+version https://git-lfs.github.com/spec/v1
+oid sha256:cda435e6d899daa71aba3cffccd0558ef9eb8a00f2b9ae8ba7b69326dc535511
+size 396138774

ur.sp.model

@@ -0,0 +1,3 @@
+version https://git-lfs.github.com/spec/v1
+oid sha256:97b15e17d55fa19c6254bf3955744bfb3e19084a603ecddf1fb405f72d2f93e1
+size 1001211

ur_examples_with_stats.json

@@ -0,0 +1,3 @@
+version https://git-lfs.github.com/spec/v1
+oid sha256:b1c7c393d25b9d80094f10c74547b493d2f2097ce2e238f13cf11f3dc2643ea8
+size 214081086

vi.arpa.bin

@@ -0,0 +1,3 @@
+version https://git-lfs.github.com/spec/v1
+oid sha256:983460dc00aaaec7325139cd87e89e937fcf5ac0cba4b16f23241fcc52d3c0ca
+size 1414396214

vi.sp.model

@@ -0,0 +1,3 @@
+version https://git-lfs.github.com/spec/v1
+oid sha256:b1393f7ca703337a5b94f86ddb8e17e3171fc1ca388ca035942f594e0f0d958d
+size 906762

vi_examples_with_stats.json

@@ -0,0 +1,3 @@
+version https://git-lfs.github.com/spec/v1
+oid sha256:f583cd636721d6990c3765348ae92f4549e3ea21871d36564dd1a3ab262b0aab
+size 207235185