Duplicate from wasmdashai/vits-ar

Co-authored-by: Anas Al-Tawil <wasmdashai@users.noreply.huggingface.co>

.gitattributes

@@ -0,0 +1,35 @@
+*.7z filter=lfs diff=lfs merge=lfs -text
+*.arrow filter=lfs diff=lfs merge=lfs -text
+*.bin filter=lfs diff=lfs merge=lfs -text
+*.bz2 filter=lfs diff=lfs merge=lfs -text
+*.ckpt filter=lfs diff=lfs merge=lfs -text
+*.ftz filter=lfs diff=lfs merge=lfs -text
+*.gz filter=lfs diff=lfs merge=lfs -text
+*.h5 filter=lfs diff=lfs merge=lfs -text
+*.joblib filter=lfs diff=lfs merge=lfs -text
+*.lfs.* filter=lfs diff=lfs merge=lfs -text
+*.mlmodel filter=lfs diff=lfs merge=lfs -text
+*.model filter=lfs diff=lfs merge=lfs -text
+*.msgpack filter=lfs diff=lfs merge=lfs -text
+*.npy filter=lfs diff=lfs merge=lfs -text
+*.npz filter=lfs diff=lfs merge=lfs -text
+*.onnx filter=lfs diff=lfs merge=lfs -text
+*.ot filter=lfs diff=lfs merge=lfs -text
+*.parquet filter=lfs diff=lfs merge=lfs -text
+*.pb filter=lfs diff=lfs merge=lfs -text
+*.pickle filter=lfs diff=lfs merge=lfs -text
+*.pkl filter=lfs diff=lfs merge=lfs -text
+*.pt filter=lfs diff=lfs merge=lfs -text
+*.pth filter=lfs diff=lfs merge=lfs -text
+*.rar filter=lfs diff=lfs merge=lfs -text
+*.safetensors filter=lfs diff=lfs merge=lfs -text
+saved_model/**/* filter=lfs diff=lfs merge=lfs -text
+*.tar.* filter=lfs diff=lfs merge=lfs -text
+*.tar filter=lfs diff=lfs merge=lfs -text
+*.tflite filter=lfs diff=lfs merge=lfs -text
+*.tgz filter=lfs diff=lfs merge=lfs -text
+*.wasm filter=lfs diff=lfs merge=lfs -text
+*.xz filter=lfs diff=lfs merge=lfs -text
+*.zip filter=lfs diff=lfs merge=lfs -text
+*.zst filter=lfs diff=lfs merge=lfs -text
+*tfevents* filter=lfs diff=lfs merge=lfs -text

README.md

@@ -0,0 +1,109 @@
+---
+datasets:
+- mozilla-foundation/common_voice_17_0
+- wasmdashai/db-arabic-f1-nn
+language:
+- ar
+license: afl-3.0
+pipeline_tag: text-to-speech
+---
+# Model Card for Model ID
+
+
+## Model Details
+
+### Model Description
+
+<!-- Provide a longer summary of what this model is. -->
+
+An advanced text-to-speech (TTS) system specifically designed for the Arabic language, built on the VITS architecture and utilizing the pre-trained weights from Facebook's vits ara model. The model is capable of:
+
+Generating natural and realistic speech: Producing high-quality Arabic speech that closely mimics human voices, preserving intonation and linguistic nuances.
+Understanding colloquial text: Processing text written in various Arabic dialects, including idiomatic expressions and local vocabulary.
+
+Model Details
+VITS (Variational Inference with adversarial learning for end-to-end Text-to-Speech) is an end-to-end speech synthesis model that predicts a speech waveform conditional on an input text sequence. It is a conditional variational autoencoder (VAE) comprised of a posterior encoder, decoder, and conditional prior.
+
+A set of spectrogram-based acoustic features are predicted by the flow-based module, which is formed of a Transformer-based text encoder and multiple coupling layers. The spectrogram is decoded using a stack of transposed convolutional layers, much in the same style as the HiFi-GAN vocoder. Motivated by the one-to-many nature of the TTS problem, where the same text input can be spoken in multiple ways, the model also includes a stochastic duration predictor, which allows the model to synthesise speech with different rhythms from the same input text.
+
+## Usage
+
+MMS-TTS is available in the 🤗 Transformers library from version 4.33 onwards. To use this checkpoint, 
+first install the latest version of the library:
+
+```
+pip install  transformers[torch]
+```
+
+Then, run inference with the following code-snippet:
+
+```python
+from transformers import VitsModel, AutoTokenizer
+import torch
+
+model = VitsModel.from_pretrained("wasmdashai/vits-ar")
+tokenizer = AutoTokenizer.from_pretrained("wasmdashai/vits-ar")
+
+text = "السلام عليكم ورحمة الله وبركاتة  ما الجديد ؟ "
+inputs = tokenizer(text, return_tensors="pt")
+
+with torch.no_grad():
+  full_generation =model(**inputs)
+full_generation_waveform = full_generation.waveform.cpu().numpy().reshape(-1)
+
+from IPython.display import Audio
+
+Audio(full_generation_waveform, rate=model.config.sampling_rate)
+
+```
+
+## Contact
+You can also email us at modelasg@gmail.com
+
+
+
+## مجموعة نماذج توليد اللهجات العربية
+
+### مقدمة
+
+يسرنا أن نعلن عن إصدار مجموعة من نماذج توليد اللهجات العربية قريبًا. تم تصميم هذه النماذج باستخدام تقنيات الذكاء الاصطناعي المتقدمة لتقديم تجربة طبيعية وواقعية في تحويل النص إلى كلام (Text-to-Speech) بمختلف اللهجات العربية.
+
+### جدول النماذج
+| **اللهجة**        | **اسم النموذج**                                                                  | **الوصف**                                                                 | **تاريخ الإصدار المتوقع** | **مستوى جودة الصوت** |
+|-------------------|---------------------------------------------------------------------------------|---------------------------------------------------------------------------|----------------------------|----------------------|
+|  اللغة العربية       | [vits-ar](https://huggingface.co/wasmdashai/vits-ar)                      | نموذج لتحويل النص إلى كلام باللهجة اليمنية بتفاصيل دقيقة.                  | متوفر                     | متوسط                |
+| اللهجة اليمنية      | [vits-ar-ye](https://huggingface.co/wasmdashai/vits-ar-ye)                      | نموذج لتحويل النص إلى كلام باللهجة اليمنية بتفاصيل دقيقة.                  | قريباً                     | متوسط                |
+| اللهجة السعودية    | [vits-ar-sa](https://huggingface.co/wasmdashai/vits-ar-sa-huba)                      | نموذج لتحويل النص إلى كلام باللهجة السعودية بجودة عالية وتفاصيل دقيقة.     | متوفر                     | متوسط                |
+| اللهجة المصرية     | [vits-ar-eg](https://huggingface.co/wasmdashai/vits-ar-eg)                      | نموذج لتحويل النص إلى كلام باللهجة المصرية بأسلوب طبيعي وسلس.              | قريباً                     | متوسط                |
+| اللهجة اللبنانية   | [vits-ar-lb](https://huggingface.co/wasmdashai/vits-ar-lb)                      | نموذج متخصص في اللهجة اللبنانية لتوليد كل��م بتفاصيل دقيقة وواقعية.         | قريباً                     | متوسط                |
+| اللهجة المغربية    | [vits-ar-ma](https://huggingface.co/wasmdashai/vits-ar-ma)                      | نموذج لتحويل النص إلى كلام باللهجة المغربية بقدرة على فهم المصطلحات المحلية.| قريباً                     | متوسط                |
+| اللهجة الإماراتية  | [vits-ar-ae](https://huggingface.co/wasmdashai/vits-ar-ae)                      | نموذج لتحويل النص إلى كلام باللهجة الإماراتية بواقعية وتفاصيل دقيقة.        | قريباً                     | متوسط                |
+| اللهجة الأردنية     | [vits-ar-jo](https://huggingface.co/wasmdashai/vits-ar-jo)                      | نموذج لتحويل النص إلى كلام باللهجة الأردنية بإتقان للتفاصيل الصوتية.        | قريباً                     | متوسط                |
+| اللهجة العراقية     | [vits-ar-iq](https://huggingface.co/wasmdashai/vits-ar-iq)                      | نموذج لتوليد الكلام باللهجة العراقية بدقة في نطق الكلمات والتعابير الشائعة.  | قريباً                     | متوسط                |
+| اللهجة السورية      | [vits-ar-sy](https://huggingface.co/wasmdashai/vits-ar-sy)                      | نموذج لتحويل النص إلى كلام باللهجة السورية بوضوح وصوت طبيعي.               | قريباً                     | متوسط                |
+| اللهجة الفلسطينية  | [vits-ar-ps](https://huggingface.co/wasmdashai/vits-ar-ps)                      | نموذج لتحويل النص إلى كلام باللهجة الفلسطينية بتفاصيل دقيقة.               | قريباً                     | متوسط                |
+| اللهجة السودانية    | [vits-ar-sd](https://huggingface.co/wasmdashai/vits-ar-sd)                      | نموذج لتحويل النص إلى كلام باللهجة السودانية مع فهم المفردات المحلية.       | قريباً                     | متوسط                |
+| اللهجة الجزائرية    | [vits-ar-dz](https://huggingface.co/wasmdashai/vits-ar-dz)                      | نموذج لتحويل النص إلى كلام باللهجة الجزائرية بدقة وجودة عالية.              | قريباً                     | متوسط                |
+| اللهجة التونسية     | [vits-ar-tn](https://huggingface.co/wasmdashai/vits-ar-tn)                      | نموذج لتحويل النص إلى كلام باللهجة التونسية بإتقان للتفاصيل المحلية.         | قريباً                     | متوسط                |
+| اللهجة الليبية      | [vits-ar-ly](https://huggingface.co/wasmdashai/vits-ar-ly)                      | نموذج لتحويل النص إلى كلام باللهجة الليبية بدقة وواقعية في النطق.           | قريباً                     | متوسط                |
+| اللهجة البحرينية    | [vits-ar-bh](https://huggingface.co/wasmdashai/vits-ar-bh)                      | نموذج لتحويل النص إلى كلام باللهجة البحرينية بجودة صوت عالية.               | قريباً                     | متوسط                |
+| اللهجة العمانية     | [vits-ar-om](https://huggingface.co/wasmdashai/vits-ar-om)                      | نموذج لتحويل النص إلى كلام باللهجة العمانية بدقة ووضوح في النطق.             | قريباً                     | متوسط                |
+| اللهجة القطرية      | [vits-ar-qa](https://huggingface.co/wasmdashai/vits-ar-qa)                      | نموذج لتحويل النص إلى كلام باللهجة القطرية بتفاصيل دقيقة وواقعية.           | قريباً                     | متوسط                |
+| اللهجة الكويتية     | [vits-ar-kw](https://huggingface.co/wasmdashai/vits-ar-kw)                      | نموذج لتحويل النص إلى كلام باللهجة الكويتية بجودة عالية ووضوح.              | قريباً                     | متوسط                |
+| اللهجة الموريتانية  | [vits-ar-mr](https://huggingface.co/wasmdashai/vits-ar-mr)                      | نموذج لتحويل النص إلى كلام باللهجة الموريتانية بتفاصيل دقيقة وواقعية.       | قريباً                     | متوسط                |
+
+### التفاصيل الفنية
+
+تعتمد جميع النماذج على بنية VITS، وهي نموذج شامل لتحويل النص إلى كلام يتيح توليد موجات صوتية واقعية بناءً على المدخلات النصية. تحتوي النماذج على محولات لتحليل النص وتوليد الكلام بناءً على خصائص الصوت المحلية لكل لهجة.
+
+### الترقيات المستقبلية
+
+سيتم تقديم تحديثات منتظمة لتحسين جودة الصوت وزيادة كفاءة فهم اللهجات المختلفة. تابعونا لمعرفة المزيد حول تواريخ الإطلاق الدقيقة لكل نموذج.
+
+
+
+## Acknowledgements
+
+
+
+This implementation is based on [tts-arabic](https://github.com/nipponjo/tts-arabic-pytorch), [VITS](https://github.com/jaywalnut310/vits), [Finetune VITS](https://github.com/ylacombe/finetune-hf-vits) and [Bert-VITS2](https://github.com/fishaudio/Bert-VITS2). We appreciate their awesome work.

added_tokens.json

@@ -0,0 +1,3 @@
+{
+  "<unk>": 39
+}

config.json

@@ -0,0 +1,108 @@
+{
+  "_name_or_path": "/content/drive/MyDrive/TRUBO-Huba/arabic/v1",
+  "activation_dropout": 0.1,
+  "architectures": [
+    "VitsModel"
+  ],
+  "attention_dropout": 0.1,
+  "depth_separable_channels": 2,
+  "depth_separable_num_layers": 3,
+  "discriminator_kernel_size": 5,
+  "discriminator_period_channels": [
+    1,
+    32,
+    128,
+    512,
+    1024
+  ],
+  "discriminator_periods": [
+    2,
+    3,
+    5,
+    7,
+    11
+  ],
+  "discriminator_scale_channels": [
+    1,
+    16,
+    64,
+    256,
+    1024
+  ],
+  "discriminator_stride": 3,
+  "duration_predictor_dropout": 0.5,
+  "duration_predictor_filter_channels": 256,
+  "duration_predictor_flow_bins": 10,
+  "duration_predictor_kernel_size": 3,
+  "duration_predictor_num_flows": 4,
+  "duration_predictor_tail_bound": 5.0,
+  "ffn_dim": 768,
+  "ffn_kernel_size": 3,
+  "flow_size": 192,
+  "hidden_act": "relu",
+  "hidden_dropout": 0.1,
+  "hidden_size": 192,
+  "hop_length": 256,
+  "initializer_range": 0.02,
+  "layer_norm_eps": 1e-05,
+  "layerdrop": 0.1,
+  "leaky_relu_slope": 0.1,
+  "model_type": "vits",
+  "noise_scale": 0.667,
+  "noise_scale_duration": 0.8,
+  "num_attention_heads": 2,
+  "num_hidden_layers": 6,
+  "num_speakers": 1,
+  "posterior_encoder_num_wavenet_layers": 16,
+  "prior_encoder_num_flows": 4,
+  "prior_encoder_num_wavenet_layers": 4,
+  "resblock_dilation_sizes": [
+    [
+      1,
+      3,
+      5
+    ],
+    [
+      1,
+      3,
+      5
+    ],
+    [
+      1,
+      3,
+      5
+    ]
+  ],
+  "resblock_kernel_sizes": [
+    3,
+    7,
+    11
+  ],
+  "sampling_rate": 16000,
+  "segment_size": 8192,
+  "speaker_embedding_size": 0,
+  "speaking_rate": 1.0,
+  "spectrogram_bins": 513,
+  "torch_dtype": "float32",
+  "transformers_version": "4.42.4",
+  "upsample_initial_channel": 512,
+  "upsample_kernel_sizes": [
+    16,
+    16,
+    4,
+    4
+  ],
+  "upsample_rates": [
+    8,
+    8,
+    2,
+    2
+  ],
+  "use_bias": true,
+  "use_stochastic_duration_prediction": true,
+  "vocab_size": 39,
+  "wavenet_dilation_rate": 1,
+  "wavenet_dropout": 0.0,
+  "wavenet_kernel_size": 5,
+  "window_size": 4
+}

model.safetensors

@@ -0,0 +1,3 @@
+version https://git-lfs.github.com/spec/v1
+oid sha256:7f8b6c437bc5b5f157a15254a9934554943e08d6ccfd633d8fe777803c5bc9a4
+size 145231480

special_tokens_map.json

@@ -0,0 +1,4 @@
+{
+  "pad_token": "ا",
+  "unk_token": "<unk>"
+}

tokenizer_config.json

@@ -0,0 +1,30 @@
+{
+  "add_blank": true,
+  "added_tokens_decoder": {
+    "0": {
+      "content": "ا",
+      "lstrip": false,
+      "normalized": false,
+      "rstrip": false,
+      "single_word": false,
+      "special": true
+    },
+    "39": {
+      "content": "<unk>",
+      "lstrip": false,
+      "normalized": false,
+      "rstrip": false,
+      "single_word": false,
+      "special": true
+    }
+  },
+  "clean_up_tokenization_spaces": true,
+  "is_uroman": false,
+  "language": "ara",
+  "model_max_length": 1000000000000000019884624838656,
+  "normalize": true,
+  "pad_token": "ا",
+  "phonemize": false,
+  "tokenizer_class": "VitsTokenizer",
+  "unk_token": "<unk>"
+}

vocab.json

@@ -0,0 +1,41 @@
+{
+  " ": 25,
+  "_": 37,
+  "ء": 26,
+  "آ": 27,
+  "أ": 20,
+  "ؤ": 35,
+  "إ": 4,
+  "ئ": 38,
+  "ا": 0,
+  "ب": 28,
+  "ة": 7,
+  "ت": 12,
+  "ث": 19,
+  "ج": 13,
+  "ح": 23,
+  "خ": 11,
+  "د": 16,
+  "ذ": 6,
+  "ر": 9,
+  "ز": 34,
+  "س": 8,
+  "ش": 32,
+  "ص": 18,
+  "ض": 22,
+  "ط": 10,
+  "ظ": 14,
+  "ع": 3,
+  "غ": 5,
+  "ف": 36,
+  "ق": 33,
+  "ك": 2,
+  "ل": 31,
+  "م": 30,
+  "ن": 1,
+  "ه": 24,
+  "و": 29,
+  "ى": 21,
+  "ي": 15,
+  "–": 17
+}