Update app.py

app.py

@@ -13,17 +13,19 @@ if hf_token:
 else:
     raise ValueError("Hugging Face token is missing. Please check your secrets.")
 
-# اختيار النموذج الأصغر
-model_name = "Qwen/Qwen1.5-4B-Chat"  # يمكنك استخدام "google/gemma-2b" إذا أردت
+# استخدام نموذج TinyLlama الأخف
+model_name = "TinyLlama/TinyLlama-1.1B-Chat"
 
 # تحديد الجهاز المناسب (GPU أو CPU)
 device = "cuda" if torch.cuda.is_available() else "cpu"
 
-# تحميل النموذج والمحول مع تقليل الاستهلاك
+# تحميل النموذج والمحول
 model = AutoModelForCausalLM.from_pretrained(
     model_name,
-    torch_dtype=torch.float16,
-    device_map="auto"
+    torch_dtype=torch.float16 if torch.cuda.is_available() else torch.float32,
+    device_map="auto",
+    token=hf_token,
+    trust_remote_code=True
 )
 tokenizer = AutoTokenizer.from_pretrained(model_name)
 
@@ -44,16 +46,20 @@ custom_responses = {
 def chatbot(user_input):
     user_input = user_input.lower()
 
+    # التحقق من الردود المخصصة أولاً
     for question, answer in custom_responses.items():
         if question in user_input:
             return answer
 
+    # معالجة الإدخال باستخدام النموذج
     inputs = tokenizer(user_input, return_tensors="pt").to(device)
-    output = model.generate(**inputs, max_length=100)
-    response = tokenizer.decode(output[0], skip_special_tokens=True)
 
+    with torch.no_grad():  # تقليل استهلاك الذاكرة
+        output = model.generate(**inputs, max_length=100)
+
+    response = tokenizer.decode(output[0], skip_special_tokens=True)
     return response
 
-# تشغيل الواجهة
+# تشغيل الواجهة مع Gradio
 iface = gr.Interface(fn=chatbot, inputs="text", outputs="text")
-iface.launch()
+iface.launch(share=True)