Update app.py

app.py

@@ -19,20 +19,20 @@ model_name = "TinyLlama/TinyLlama-1.1B-Chat-v1.0"
 # 🔹 تحديد الجهاز المناسب (GPU أو CPU)
 device = "cuda" if torch.cuda.is_available() else "cpu"
 
-# 🔹 تحميل النموذج والمحول
+# 🔹 تحميل النموذج والمحول مع تحسين الأداء
 model = AutoModelForCausalLM.from_pretrained(
     model_name,
     torch_dtype=torch.float16 if torch.cuda.is_available() else torch.float32,
-    device_map="auto",
+    device_map="cuda" if torch.cuda.is_available() else "cpu",
     trust_remote_code=True
-)
+).eval()  # 🔥 تحسين السرعة بتعطيل التدريب
 
 tokenizer = AutoTokenizer.from_pretrained(model_name)
 
 # 🔹 حل مشكلة الـ padding
 tokenizer.pad_token = tokenizer.eos_token  
 
-# 🔹 ردود مخصصة
+# 🔹 ردود مخصصة (Instant Responses)
 custom_responses = {
     "ما هو هدفك؟": "هدفي هو تقديم المساعدة والإجابة على أسئلتك بأفضل طريقة ممكنة.",
     "who created you?": "I was created by George.",
@@ -45,9 +45,9 @@ custom_responses = {
     "你的编程者是谁？": "我的编程者是 George。",
 }
 
-# 🔹 دالة الدردشة
+# 🔹 دالة الدردشة السريعة
 def chatbot(user_input):
-    if not user_input.strip():  # التأكد من أن الإدخال ليس فارغًا
+    if not user_input.strip():
         return "Please enter a message."
 
     user_input = user_input.lower()
@@ -57,11 +57,19 @@ def chatbot(user_input):
         if question in user_input:
             return answer
 
-    # معالجة الإدخال باستخدام النموذج
+    # 🔥 تحسين الأداء باستخدام المعلمات التالية:
     inputs = tokenizer(user_input, return_tensors="pt", padding=True, truncation=True).to(device)
 
-    with torch.no_grad():  # تحسين الأداء
-        output = model.generate(**inputs, max_length=150, pad_token_id=tokenizer.eos_token_id)
+    with torch.no_grad():  # تحسين السرعة
+        output = model.generate(
+            **inputs,
+            max_length=50,          # 🔹 تقليل الطول الأقصى لتسريع الاستجابة
+            temperature=0.7,        # 🔹 ضبط الحرارة لجعل الردود أسرع وأفضل
+            top_p=0.9,              # 🔹 تقليل الاحتمالات غير المفيدة
+            do_sample=True,         # 🔹 السماح بالتوليد العشوائي لتجنب التكرار
+            early_stopping=True,    # 🔹 إنهاء التوليد عندما يكون كافيًا
+            pad_token_id=tokenizer.eos_token_id
+        )
 
     response = tokenizer.decode(output[0], skip_special_tokens=True)