Update app.py

app.py

@@ -10,35 +10,34 @@ from threading import Thread
 MODEL_ID = "unsloth/gemma-3-4b-it-unsloth-bnb-4bit"
 
 # ======================================================
-# البرومبت الافتراضي (ليطابق أسلوب التدريب)
+# البرومبت الافتراضي (متوافق مع أسلوب التدريب)
 # ======================================================
 SYSTEM_PROMPT = (
-    "أنت نموذج لغوي ذكي مدرّب على اللهجة العراقية والعربية الفصحى. "
-    "تجاوب على الأسئلة بطريقة مختصرة وواضحة وباللغة نفسها التي يستخدمها المستخدم. "
-    "نمط التدريب يعتمد أسلوب سؤال وجواب بسيط مثل: "
-    "سؤال المستخدم → جواب مباشر من المساعد بدون مقدمات أو تحيات."
+    "أنت مساعد ذكي تفهم اللهجة العراقية والعربية الفصحى. "
+    "جاوب على الأسئلة بإيجاز ووضوح، بنفس لغة المستخدم. "
+    "لا تستخدم مقدمات مثل (مرحباً أو بالتأكيد)، فقط الجواب المباشر."
 )
 
+# ======================================================
+# تحميل الموديل (مرة واحدة فقط)
+# ======================================================
+print("🔄 Loading Gemma 3 4B model...")
+tokenizer = AutoTokenizer.from_pretrained(MODEL_ID)
+model = AutoModelForCausalLM.from_pretrained(
+    MODEL_ID,
+    torch_dtype=torch.bfloat16,
+    device_map="auto",
+)
+model.eval()
+print("✅ Model ready!")
+
+
 # ======================================================
 # دالة المحادثة
 # ======================================================
 @spaces.GPU(duration=60)
 def chat(message, history):
-    global model, tokenizer
-
-    # تحميل الموديل عند أول استدعاء داخل GPU worker
-    if "model" not in globals():
-        print("🔄 Loading SILMA Kashif 2B Instruct model inside GPU worker...")
-        tokenizer = AutoTokenizer.from_pretrained(MODEL_ID)
-        model = AutoModelForCausalLM.from_pretrained(
-            MODEL_ID,
-            dtype=torch.bfloat16,
-            device_map="auto",
-        )
-        model.eval()
-        print("✅ Model ready!")
-
-    # ✅ تنسيق Gradio الحديث (type="messages")
+    # تحويل تاريخ المحادثة لصيغة مناسبة
     messages = []
     for msg in history:
         if msg["role"] == "user":
@@ -46,37 +45,37 @@ def chat(message, history):
         elif msg["role"] == "assistant":
             messages.append({"role": "assistant", "content": msg["content"]})
 
-    # ندمج الـ system prompt داخل السؤال لتجنّب system role
-    merged_prompt = f"{SYSTEM_PROMPT}\n\nالسؤال: {message}"
-    messages.append({"role": "user", "content": merged_prompt})
+    # نضيف السؤال الحالي مع system prompt
+    messages.append({"role": "user", "content": f"{SYSTEM_PROMPT}\n\nالسؤال: {message}"})
 
-    # تطبيق chat template الخاص بالموديل
+    # تحويل الرسائل إلى input ids باستخدام chat template الخاص بـ Gemma
     input_ids = tokenizer.apply_chat_template(
         messages,
         return_tensors="pt",
         add_generation_prompt=True
     ).to(model.device)
 
-    # إعداد streamer للبث الحي
+    # إعداد Streamer للبث الحي
     streamer = TextIteratorStreamer(tokenizer, skip_prompt=True, skip_special_tokens=True)
 
     generation_kwargs = dict(
         input_ids=input_ids,
         streamer=streamer,
-        max_new_tokens=128,   # أقصر (مطابق لتدريبك)
-        temperature=0.25,     # أكثر ثباتًا وأقل هلوسة
+        max_new_tokens=256,
+        temperature=0.3,
         top_p=0.9,
         do_sample=True,
-        repetition_penalty=1.2,
+        repetition_penalty=1.15,
     )
 
+    # توليد النص في thread منفصل للبث الحي
     thread = Thread(target=model.generate, kwargs=generation_kwargs)
     thread.start()
 
     partial_text = ""
     for new_text in streamer:
         partial_text += new_text
-        yield partial_text
+        yield partial_text.strip()
 
     thread.join()
 
@@ -87,20 +86,20 @@ def chat(message, history):
 demo = gr.ChatInterface(
     fn=chat,
     type="messages",
-    title="🇮🇶 SILMA Kashif 2B – Chat Demo",
+    title="🇮🇶 Gemma 3 4B – Iraqi/Arabic Chat Demo",
     description="""
-**نموذج SILMA Kashif 2B Instruct v1.0**  
-مدرّب على اللهجة العراقية والعربية الفصحى بأسلوب سؤال وجواب مباشر.
+**نموذج Gemma 3 4B Instruct (Unsloth Optimized)**  
+مدرّب على العربية والفصحى ومهيّأ للحوار باللهجة العراقية.
 
 🧠 جرّب:
-- "وضحلي معنى كلمة إنكار معقول"
-- "اشرحلي شنو يعني إنكار معقول؟"
-- "شنو يقصدون بالإنكار المع��ول؟"
+- "شنو معنى إنكار معقول؟"
+- "اشرحلي شنو يعني تصعيد إداري"
+- "وضحلي الفرق بين الدليل والعبرة"
 """,
     examples=[
-        ["وضحلي معنى كلمة إنكار معقول"],
-        ["اشرحلي شنو يعني إنكار معقول؟"],
-        ["شنو يقصدون بالإنكار المعقول؟"],
+        ["شنو معنى إنكار معقول؟"],
+        ["اشرحلي شنو يعني تصعيد إداري"],
+        ["وضحلي الفرق بين الدليل والعبرة"],
     ],
     theme=gr.themes.Soft(),
 )