Update app.py

app.py

@@ -1,16 +1,9 @@
-from transformers import AutoTokenizer, TextIteratorStreamer
+from transformers import AutoTokenizer, TextIteratorStreamer, AutoModelForCausalLM
 import torch
 import gradio as gr
 import spaces
 from threading import Thread
 
-# نحاول استخدام Unsloth إذا متوفر
-try:
-    from unsloth import FastLanguageModel
-    HAS_UNSLOTH = True
-except ImportError:
-    HAS_UNSLOTH = False
-
 # ======================================================
 # إعدادات الموديل
 # ======================================================
@@ -23,10 +16,16 @@ SYSTEM_PROMPT = (
 )
 
 # ======================================================
-# تحميل الموديل (مع دعم Unsloth أو Transformers العادي)
+# تحميل الموديل (مع دعم Unsloth إذا متوفر)
 # ======================================================
 print("🔄 Loading model:", MODEL_ID)
 
+try:
+    from unsloth import FastLanguageModel
+    HAS_UNSLOTH = True
+except ImportError:
+    HAS_UNSLOTH = False
+
 if HAS_UNSLOTH:
     print("🚀 Using Unsloth FastLanguageModel backend")
     model, tokenizer = FastLanguageModel.from_pretrained(
@@ -37,7 +36,6 @@ if HAS_UNSLOTH:
     )
 else:
     print("⚙️ Using standard Transformers backend")
-    from transformers import AutoModelForCausalLM
     model = AutoModelForCausalLM.from_pretrained(
         MODEL_ID,
         torch_dtype=torch.bfloat16,
@@ -52,9 +50,8 @@ print("✅ Model ready!\n")
 # ======================================================
 # دالة المحادثة
 # ======================================================
-@spaces.GPU(duration=60)
 def chat(message, history):
-    # تحويل تاريخ المحادثة لصيغة messages
+    # تحويل تاريخ المحادثة إلى صيغة messages
     messages = []
     for msg in history:
         if msg["role"] == "user":
@@ -65,14 +62,14 @@ def chat(message, history):
     # نضيف السؤال الحالي مع system prompt
     messages.append({"role": "user", "content": f"{SYSTEM_PROMPT}\n\nالسؤال: {message}"})
 
-    # تجهيز الإدخال عبر الـ chat template
+    # تجهيز الإدخال عبر chat template
     input_ids = tokenizer.apply_chat_template(
         messages,
         return_tensors="pt",
         add_generation_prompt=True
     ).to(model.device)
 
-    # إعداد Streamer للبث الحي
+    # Streamer للبث الحي للنص الناتج
     streamer = TextIteratorStreamer(tokenizer, skip_prompt=True, skip_special_tokens=True)
 
     generation_kwargs = dict(
@@ -85,7 +82,7 @@ def chat(message, history):
         repetition_penalty=1.15,
     )
 
-    # تشغيل التوليد في Thread منفصل
+    # تشغيل التوليد في Thread منفصل للبث المباشر
     thread = Thread(target=model.generate, kwargs=generation_kwargs)
     thread.start()
 
@@ -122,4 +119,4 @@ demo = gr.ChatInterface(
 )
 
 if __name__ == "__main__":
-    demo.launch(server_name="0.0.0.0", server_port=7860)
+    demo.launch()