Upload 5 files

Dockerfile

@@ -0,0 +1,17 @@
+FROM python:3.9
+
+WORKDIR /code
+
+COPY ./requirements.txt /code/requirements.txt
+
+RUN pip install --no-cache-dir --upgrade -r /code/requirements.txt
+
+RUN useradd -m -u 1000 user
+USER user
+ENV HOME=/home/user \
+    PATH=/home/user/.local/bin:$PATH
+
+WORKDIR $HOME/app
+
+COPY --chown=user . $HOME/app
+CMD ["uvicorn", "main:app", "--host", "0.0.0.0", "--port", "7860"]

main.py

@@ -0,0 +1,169 @@
+import tensorflow as tf
+import numpy as np
+import pandas as pd
+import swifter
+import json
+import re
+import requests
+import time
+from keras.preprocessing.text import Tokenizer
+from sklearn.preprocessing import OneHotEncoder, LabelEncoder
+from sklearn.model_selection import train_test_split
+from sklearn.metrics import classification_report
+# from keras.optimizers.optimizer_v2.rmsprop import RMSProp
+from tensorflow.keras.utils import to_categorical
+from tensorflow.keras.models import Sequential, load_model
+from tensorflow.keras.layers import Dense, Conv1D, Embedding, MaxPooling1D, GlobalMaxPooling1D, GlobalAveragePooling1D, SpatialDropout1D, LSTM, Dropout, SimpleRNN, Bidirectional, Attention, Activation, GRU, TextVectorization, Input
+from tensorflow.keras.callbacks import EarlyStopping
+from tensorflow.keras.preprocessing.sequence import pad_sequences
+import arabicstopwords.arabicstopwords as stp
+from nltk.stem.isri import ISRIStemmer
+from pyarabic.araby import strip_tashkeel, strip_tatweel
+from huggingface_hub import from_pretrained_keras
+from collections import Counter
+from fastapi import FastAPI, Request, HTTPException
+import firebase_admin
+from firebase_admin import credentials
+from firebase_admin import firestore
+import threading
+# Import the Firebase Admin SDK
+import firebase_admin
+from firebase_admin import credentials
+from firebase_admin import firestore
+# Firebase ininlaziton
+cred = credentials.Certificate(
+    "text-to-emotions-firebase-adminsdk-8isbn-dffbdf01e8.json")
+firebase_admin.initialize_app(cred)
+
+
+# Model inilization
+isristemmer = ISRIStemmer()
+model = from_pretrained_keras('MahmoudNasser/GRU-MODEL-EMOTION-AR-TEXT-76jP')
+
+
+def stemming(txt):
+    return isristemmer.stem(txt)
+
+
+def remove_singleCharacter(text):
+    text_tokenized = ar.tokenize(text)
+    clean_txt = ''
+    for word in text_tokenized:
+        if len(word) != 1:
+            clean_txt = clean_txt + word + ' '
+
+    return clean_txt[:-1]
+
+# remove_punctuations
+
+
+def remove_punctuations(text):
+    punc = '''()-[]{};:'"\,<>./@#$%^&*،؛_~'''
+    arabic_punctuations = '''`÷×؛_ـ،/:".,'~¦+|”…“–ـ=﴾﴿ ﹱ ﹹ ⸀˓• ב'''
+    punctuations_list = punc + arabic_punctuations
+    for x in punctuations_list:
+        text = text.replace(x, ' ')
+    return text
+
+
+def normalize_text(txt):
+    txt = strip_tashkeel(txt)
+    txt = strip_tatweel(txt)
+    txt = ''.join(txt[i] for i in range(len(txt)) if i ==
+                  0 or txt[i-1] != txt[i])  # remove repeated characters
+    return txt
+
+
+def remove_stopwords(txt, path="stopword.txt"):
+    text_tokenized = txt.split(' ')
+    clean_txt = ''
+#   useful_words=[]
+#   filtered_sentence=" "
+    arabic_stop_words_file = open(path, 'r', encoding='utf-8')
+    arabic_stop_words = arabic_stop_words_file.read().split('\n')
+    for word in text_tokenized:
+        if word not in arabic_stop_words:
+            clean_txt = clean_txt + word + ' '
+
+    return clean_txt[:-1]
+
+
+def Remove_unwanted(text):
+    # removing the extra spacing and links
+
+    text = re.sub(r'^https?:\/\/.*[\r\n]*', ' ', text, flags=re.MULTILINE)
+    text = re.sub(r'^http?:\/\/.*[\r\n]*', ' ', text, flags=re.MULTILINE)
+    text = re.sub(r"http\S+", " ", text)
+    text = re.sub(r"https\S+", " ", text)
+    text = re.sub(r'\s+', ' ', text)
+    text = re.sub(r'[a-zA-Z]+', ' ', text)
+    text = re.sub(r"^\s+|\s+$", "", text)
+    text = re.sub(r"(\s\d+)", " ", text)
+    text = re.sub(r"$\d+\W+|\b\d+\b|\W+\d+$", " ", text)
+    text = re.sub(r"\d+", " ", text)
+    text = re.sub(r'[إأٱآا]', 'ا', text)
+    text = re.sub(r'ى', '[ي]', text)
+    text = re.sub(r'ء', '[ؤئ]', text)
+    text = re.sub(r' +', ' ', text)
+    return text
+
+
+def txt_preprocess(text):
+    text = normalize_text(text)
+    text = stemming(text)
+    text = remove_stopwords(text)
+    text = remove_punctuations(text)
+    text = Remove_unwanted(text)
+    return text
+
+
+def see_if_thereupdates():
+    f = open("updates.txt", "r")
+    return f.readline()
+
+
+def getmodel():
+    m = from_pretrained_keras('MahmoudNasser/GRU-MODEL-EMOTION-AR-TEXT-72P')
+    return m
+
+
+def original_values(num):
+    if num == 0:
+        return 'anger'
+    elif num == 1:
+        return 'sadness'
+    elif num == 2:
+        return 'joy'
+    elif num == 3:
+        return 'surprise'
+    elif num == 4:
+        return 'love'
+    elif num == 5:
+        return 'sympathy'
+    elif num == 6:
+        return 'fear'
+
+
+def modelpredict(data):
+    data = txt_preprocess(data)
+    pred = model.predict(pd.Series([data]))
+    return {'anger': float(pred[0][0]), 'sadness': float(pred[0][1]), 'joy': float(pred[0][2]), 'surprise': float(pred[0][3]),
+            'love': float(pred[0][4]), 'sympathy': float(pred[0][5]), 'fear': float(pred[0][6])}
+    # return {"anger": .90, "happy": .02, "emotionlabel": "anger"}
+
+
+# Main Server inilization
+app = FastAPI()
+
+@app.post("/")
+async def read_root(request: Request):
+    json_data = await request.json()
+    if "mathod" in json_data and json_data["mathod"] == "emotion_predict" and 'text' in json_data:
+        return modelpredict(json_data["text"])
+    else:
+        raise HTTPException(status_code=400, detail="Missing mathod value")
+@app.get("/commonwords")
+def getcommonwords():
+    return {'التسجيل': 23, 'مش': 19, 'تطبيق': 18, 'التطبيق': 18, 'التفعيل': 17, 'كود': 13, 'ارسال': 12, 'تسجيل': 12, 'يتم': 12, 'الرقم': 12}
+    
+        

requirements.txt

@@ -0,0 +1,14 @@
+keras
+tensorflow
+farasapy
+Arabic-Stopwords
+swifter
+pyarabic
+lime
+huggingface_hub
+nltk
+fastapi==0.74.*
+requests==2.27.*
+sentencepiece==0.1.*
+firebase-admin
+uvicorn[standard]==0.17.*

stopword.txt

@@ -0,0 +1,477 @@
+آض
+آمينَ
+آه
+انا
+آهاً
+آي
+أب
+أجل
+أجمع
+أخ
+أخذ
+أصبح
+أضحى
+أقبل
+أقل
+أكثر
+ألا
+أم
+أما
+أمامك
+أمامكَ
+أمسى
+أمّا
+أن
+أنا
+أنت
+أنتم
+أنتما
+أنتن
+أنتِ
+أنشأ
+أنّى
+أو
+أوشك
+أولئك
+أولئكم
+أولاء
+أولالك
+أوّهْ
+أي
+أيا
+أين
+أينما
+أيّ
+أَنَّ
+أَيُّ
+أُفٍّ
+إذ
+إذا
+إذاً
+إذما
+إذن
+إلى
+إليكم
+إليكما
+إليكنّ
+إليكَ
+إلَيْكَ
+إلّا
+إمّا
+إن
+إنّما
+إي
+إياك
+إياكم
+إياكما
+إياكن
+إيانا
+إياه
+إياها
+إياهم
+إياهما
+إياهن
+إياي
+إيهٍ
+إِنَّ
+ا
+ابتدأ
+اثر
+اجل
+احد
+اخرى
+اخلولق
+اذا
+اربعة
+ارتدّ
+استحال
+اطار
+اعادة
+اعلنت
+اف
+اكثر
+اكد
+الألاء
+الألى
+الا
+الاخيرة
+الان
+الاول
+الاولى
+التى
+التي
+الثاني
+الثانية
+الذاتي
+الذى
+الذي
+الذين
+السابق
+الف
+اللائي
+اللاتي
+اللتان
+اللتيا
+اللتين
+اللذان
+اللذين
+اللواتي
+الماضي
+المقبل
+الوقت
+الى
+اليوم
+اما
+امام
+امس
+ان
+انبرى
+انقلب
+انه
+انها
+او
+اول
+اي
+ايار
+ايام
+ايضا
+ب
+بات
+باسم
+بان
+بخٍ
+برس
+بسبب
+بسّ
+بشكل
+بضع
+بطآن
+بعد
+بعض
+بك
+بكم
+بكما
+بكن
+بل
+بلى
+بما
+بماذا
+بمن
+بن
+بنا
+به
+بها
+بي
+بيد
+بين
+بَسْ
+بَلْهَ
+بِئْسَ
+تانِ
+تانِك
+تبدّل
+تجاه
+تحوّل
+تلقاء
+تلك
+تلكم
+تلكما
+تم
+تينك
+تَيْنِ
+تِه
+تِي
+ثلاثة
+ثم
+ثمّ
+ثمّة
+ثُمَّ
+جعل
+جلل
+جميع
+جير
+حار
+حاشا
+حاليا
+حاي
+حتى
+حرى
+حسب
+حم
+حوالى
+حول
+حيث
+حيثما
+حين
+حيَّ
+حَبَّذَا
+حَتَّى
+حَذارِ
+خلا
+خلال
+دون
+دونك
+ذا
+ذات
+ذاك
+ذانك
+ذانِ
+ذلك
+ذلكم
+ذلكما
+ذلكن
+ذو
+ذوا
+ذواتا
+ذواتي
+ذيت
+ذينك
+ذَيْنِ
+ذِه
+ذِي
+راح
+رجع
+رويدك
+ريث
+رُبَّ
+زيارة
+سبحان
+سرعان
+سنة
+سنوات
+سوف
+سوى
+سَاءَ
+سَاءَمَا
+شبه
+شخصا
+شرع
+شَتَّانَ
+صار
+صباح
+صفر
+صهٍ
+صهْ
+ضد
+ضمن
+طاق
+طالما
+طفق
+طَق
+ظلّ
+عاد
+عام
+عاما
+عامة
+عدا
+عدة
+عدد
+عدم
+عسى
+عشر
+عشرة
+علق
+على
+عليك
+عليه
+عليها
+علًّ
+عن
+عند
+عندما
+عوض
+عين
+عَدَسْ
+عَمَّا
+غدا
+غير
+ف
+فان
+فلان
+فو
+فى
+في
+فيم
+فيما
+فيه
+فيها
+قال
+قام
+قبل
+قد
+قطّ
+قلما
+قوة
+كأنّما
+كأين
+كأيّ
+كأيّن
+كاد
+كان
+كانت
+كذا
+كذلك
+كرب
+كل
+كلا
+كلاهما
+كلتا
+كلم
+كليكما
+كليهما
+كلّما
+كلَّا
+كم
+كما
+كي
+كيت
+كيف
+كيفما
+كَأَنَّ
+كِخ
+لئن
+لا
+لات
+لاسيما
+لدن
+لدى
+لعمر
+لقاء
+لك
+لكم
+لكما
+لكن
+لكنَّما
+لكي
+لكيلا
+للامم
+لم
+لما
+لمّا
+لن
+لنا
+له
+لها
+لو
+لوكالة
+لولا
+لوما
+لي
+لَسْتَ
+لَسْتُ
+لَسْتُم
+لَسْتُمَا
+لَسْتُنَّ
+لَسْتِ
+لَسْنَ
+لَعَلَّ
+لَكِنَّ
+لَيْتَ
+لَيْسَ
+لَيْسَا
+لَيْسَتَا
+لَيْسَتْ
+لَيْسُوا
+لَِسْنَا
+ما
+ماانفك
+مابرح
+مادام
+ماذا
+مازال
+مافتئ
+مايو
+متى
+مثل
+مذ
+مساء
+مع
+معاذ
+مقابل
+مكانكم
+مكانكما
+مكانكنّ
+مكانَك
+مليار
+مليون
+مما
+ممن
+من
+منذ
+منها
+مه
+مهما
+مَنْ
+مِن
+نحن
+نحو
+نعم
+نفس
+نفسه
+نهاية
+نَخْ
+نِعِمّا
+نِعْمَ
+ها
+هاؤم
+هاكَ
+هاهنا
+هبّ
+هذا
+هذه
+هكذا
+هل
+هلمَّ
+هلّا
+هم
+هما
+هن
+هنا
+هناك
+هنالك
+هو
+هي
+هيا
+هيت
+هيّا
+هَؤلاء
+هَاتانِ
+هَاتَيْنِ
+هَاتِه
+هَاتِي
+هَجْ
+هَذا
+هَذانِ
+هَذَيْنِ
+هَذِه
+هَذِي
+هَيْهَاتَ
+و
+وا
+واحد
+واضاف
+واضافت
+واكد
+وان
+واهاً
+واوضح
+وراءَك
+وفي
+وقال
+وقالت
+وقد
+وقف
+وكان
+وكانت
+ولا
+ولم
+ومن
+وهو
+وهي
+ويكأنّ
+وَيْ
+وُشْكَانَ
+يكون
+يمكن
+يوم
+أيّان

text-to-emotions-firebase-adminsdk-8isbn-dffbdf01e8.json

@@ -0,0 +1,13 @@
+{
+  "type": "service_account",
+  "project_id": "text-to-emotions",
+  "private_key_id": "dffbdf01e831117f58d7819ea7e3fefd524d158e",
+  "private_key": "-----BEGIN PRIVATE KEY-----\nMIIEvAIBADANBgkqhkiG9w0BAQEFAASCBKYwggSiAgEAAoIBAQCxNxv8UBMZUz4/\nJr7kSt4JANPsKDwYo+LZBsjgfYPHwYDLhI9GJsulORoeprPDM6Qsu0acIHHMiYxz\ncg2eAALKgMYEAt9Mz4FcMv2dvxL6M5YBgpYHoH1k90QvgViJPjeGSP7q3JrF5xvv\n3+BJYG641T20WT3Vm6/DIB6ktmNaG0iQXzZfrJypLBHlozqfSd80Stg1ho4BrQa9\nQ6h22tAQQFOza4oIHe+enFgDbaEhKtVEB1GUbNFtpAQa4onTTNdI1r8EFrx3ELzS\nCID72MGNf4XTfoq7r2rAFR5ZlruIKRqcB9Qno6i+BnVbt4kk/7lJVnW6AhQPeAIa\nQJhVn8CHAgMBAAECggEAEVYRNTJzXw7dqZ/iT/YvzAGthnS8X3/o0s8iTfoslUxz\n8dtN7zbsXriihxnkjAjWDrb8+VkGYocyNJ9iGNed1K5nfXNdroEkm1IBrX57t/sQ\nuaUX62pJc6i2aujkZS8VwqhxbguWuIJOh72gjo0SFJ+hVOGsdhd84kHKJAlG2Hf/\nUDWJTUGN4oZtspQA/TrZDexpzbEG5qNifn8mjPOg2/xArL54v0Gl3HlqDjcx8GGI\n+Swdq236/o88WgMGsXcmLIgNZzew/sdMPyN1CY+7G0PKpJU0A9pTJJqHYyi9OYFP\nSg3HNn6NaX8muzfDb6j5gKdvsZZNgBs4qYQbVz+wQQKBgQDsRvV8nyPP0ZebW6kP\njSI17DXzgvOIpsYLKyED6j5oBCeXBjN66rgp4WthC3MYWKujZsIHIcjPCdKSo/MY\ngL7DiqfueiwuDIjBDq09bATASEgn4sQK+reSsBI0Oept9n5UXVJ4pJt3mFokdluk\necJgdoD+ctBpytzqg3kw0e0GYwKBgQDAAgxCvqGnsB3QU1lIeV9wta/lor6qMzNI\nrDMuEIRYFzNiTIa94DmMkffHlBJLZ0/dCl07Mlnl5/pHgQ3z/HS6WBiyKDgsBojS\nK6JExFhzUaeTBDh2cqTD+wVwQOPOeDv15iYRzlFQ1XBhOHlFi+LVuU4SrV4KOkp/\nmfl9jLaUjQKBgF0iZ1e1Px+G5XTGv7AymJ6aunV/U9G0s3HpkT0C05CauqRMPHSi\nGu/fPD1njvm00gs50ReQmKALpiZJW+R3szpO6H0XSVzpcepvh5gjgQfuNgsK1u3h\nAAVhQ/u0LJUlyYwlsQF/GQ0eT8H5qYv+tsDhVV13EnHxFf2Wz2mQBhczAoGAfJFX\njv3KNtZloUBRzlkf+CmHgn3BIP6yqNU/JwWENvpmVcG8MPeFnpMco5iG/fB6ubb9\noWgbNrL3huhNOxtwR2zcKMk7GCTtIx0321Fe6QHyq8izMPVTu+nhL2CJ6uvKStAT\npr2pt72heRGAbARDF9Fuu2NKfWwv5PTqDe/6jAkCgYAs4hNcx8qpqPFOo5fmuLlA\nXj3p4ToKyJ/S+aHaFX8KBAnVSNVgUhi0hsWKCFkPuDOu8TDlMwzpKXvIKdc1HTLR\nyClbE9Xejr/zPDQoClOOWg4hgHgbajQTtUxQ4DSZK7MWaoh78NXqRQoiKhE+yV4v\nmPdQWjmbh9yCWt3xQKUJaQ==\n-----END PRIVATE KEY-----\n",
+  "client_email": "firebase-adminsdk-8isbn@text-to-emotions.iam.gserviceaccount.com",
+  "client_id": "100821195059447963966",
+  "auth_uri": "https://accounts.google.com/o/oauth2/auth",
+  "token_uri": "https://oauth2.googleapis.com/token",
+  "auth_provider_x509_cert_url": "https://www.googleapis.com/oauth2/v1/certs",
+  "client_x509_cert_url": "https://www.googleapis.com/robot/v1/metadata/x509/firebase-adminsdk-8isbn%40text-to-emotions.iam.gserviceaccount.com",
+  "universe_domain": "googleapis.com"
+}