Update app.py

app.py

@@ -1,119 +1,66 @@
+#!/usr/bin/env python3
+# -*- coding: utf-8 -*-
+"""
+Gemma-3 Iraqi Arabic Chat App
+"""
+
 import os
 import torch
+from transformers import AutoModelForCausalLM, AutoTokenizer
 import gradio as gr
-from threading import Thread
-from transformers import AutoTokenizer, AutoModelForCausalLM, TextIteratorStreamer
-from huggingface_hub import login
-import spaces
-
-# ======================================================
-# تسجيل الدخول في حال الموديل خاص
-# ======================================================
-if os.getenv("HF_TOKEN"):
-    login(token=os.getenv("HF_TOKEN"))
-    print("🔐 Logged in to Hugging Face Hub")
-
-# ======================================================
-# إعدادات الموديل
-# ======================================================
-MODEL_ID = "anaspro/gemma3-iraqi"
 
-SYSTEM_PROMPT = (
-    "أنت مساعد ذكي تفهم اللهجة العراقية والعربية الفصحى. "
-    "جاوب على الأسئلة بإيجاز ووضوح، بنفس لغة المستخدم. "
-    "لا تستخدم مقدمات مثل (مرحباً أو بالتأكيد)، فقط الجواب المباشر."
-)
-
-print(f"🔄 Loading model: {MODEL_ID}")
+MODEL_NAME = "anaspro/gemma3-iraqi"
 
-# ======================================================
-# تحميل الموديل
-# ======================================================
-tokenizer = AutoTokenizer.from_pretrained(MODEL_ID)
+print("🔐 Loading model:", MODEL_NAME)
 
+tokenizer = AutoTokenizer.from_pretrained(MODEL_NAME)
 model = AutoModelForCausalLM.from_pretrained(
-    MODEL_ID,
-    torch_dtype=torch.bfloat16,
-    device_map="auto",  # سيستخدم GPU عند تنفيذ الدالة أدناه
+    MODEL_NAME,
+    torch_dtype=torch.bfloat16 if torch.cuda.is_available() else torch.float32,
+    device_map="auto",
 )
-model.eval()
-
-print("✅ Model ready!\n")
-
-
-# ======================================================
-# دالة المحادثة (تُنفذ داخل ZeroGPU)
-# ======================================================
-@spaces.GPU(duration=60)
-def chat(message, history):
-    # إعداد سياق المحادثة
-    messages = []
-    for msg in history:
-        messages.append({"role": msg["role"], "content": msg["content"]})
-
-    # system prompt محسّن
-    system_prompt = (
-        "أنت مساعد ذكي تحچي باللهجة العراقية الطبيعية. "
-        "جاوب بحرّية وخلّك مرتاح بالكلام، مثل إنسان حقيقي. "
-        "تذكّر شنو انحچا قبله وكمّل الحديث بدون ما تكون رسمي. "
-        "لا تقول 'مرحباً' أو 'بالتأكيد'، بس جاوب مباشرة."
-    )
-
-    messages.append({"role": "system", "content": system_prompt})
-    messages.append({"role": "user", "content": message})
-
-    input_ids = tokenizer.apply_chat_template(
-        messages,
-        return_tensors="pt",
-        add_generation_prompt=True
+print("✅ Model loaded and ready!")
+
+def chat_fn(user_message, history):
+    # سجل رسالة المستخدم
+    history = history or []
+    history.append((user_message, None))
+    
+    # إعداد الإدخال
+    inputs = tokenizer.apply_chat_template(
+        [{"role": "user", "content": user_message}],
+        tokenize=True,
+        add_generation_prompt=True,
+        return_tensors="pt"
     ).to(model.device)
-
-    streamer = TextIteratorStreamer(tokenizer, skip_prompt=True, skip_special_tokens=True)
-
-    generation_kwargs = dict(
-        input_ids=input_ids,
-        streamer=streamer,
-        max_new_tokens=1024,        # يكتب براحة
-        temperature=0.95,          # كلام طبيعي
-        top_p=0.95,                # توازن بالاحتمالات
-        do_sample=True,
-        repetition_penalty=1.07,   # يقلل التكرار الطفيف
+    
+    # توليد الرد
+    outputs = model.generate(
+        **inputs,
+        max_new_tokens=1024,
+        temperature=0.8,
+        top_p=0.95,
+        top_k=100,
+        repetition_penalty=1.05,
+        eos_token_id=tokenizer.eos_token_id,
     )
-
-    thread = Thread(target=model.generate, kwargs=generation_kwargs)
-    thread.start()
-
-    partial_text = ""
-    for new_text in streamer:
-        partial_text += new_text
-        yield partial_text.strip()
-
-    thread.join()
-
-
-# ======================================================
-# واجهة Gradio
-# ======================================================
-demo = gr.ChatInterface(
-    fn=chat,
-    type="messages",
-    title="🇮🇶 Gemma 3 Iraqi Chat – ZeroGPU Edition",
-    description="""
-**نموذج Gemma 3 Iraqi 🇮🇶**  
-مبني ومهيأ للحوار باللهجة العراقية والعربية الفصحى.
-
-🧠 أمثلة جاهزة:
-- "شلونك اليوم؟"
-- "اشرحلي شنو يعني تصعيد إداري"
-- "وضحلي الفرق بين الدليل والعبرة"
-""",
-    examples=[
-        ["شلونك اليوم؟"],
-        ["اشرحلي شنو يعني تصعيد إداري"],
-        ["وضحلي الفرق بين الدليل والعبرة"],
-    ],
-    theme=gr.themes.Soft(),
-)
-
-if __name__ == "__main__":
-    demo.launch()
+    resp = tokenizer.decode(outputs[0], skip_special_tokens=True)
+    
+    # اقتطاع الجزء بعد “assistant” إذا موجود
+    if "assistant" in resp:
+        resp = resp.split("assistant")[-1].strip()
+    
+    # سجل الرد
+    history[-1] = (user_message, resp)
+    return history, history
+
+with gr.Blocks() as demo:
+    gr.Markdown("## 🗣️ Iraqi Arabic Chat with Gemma-3\nاكتب باللهجة العراقية أي سؤال وتفاعل.")
+    chatbot = gr.Chatbot(label="Chatbot")
+    msg = gr.Textbox(placeholder="اكتب نصك هنا...", lines=1)
+    clear = gr.Button("🧹 مسح المحادثة")
+    
+    msg.submit(chat_fn, [msg, chatbot], [chatbot, chatbot])
+    clear.click(lambda: None, None, chatbot, queue=False)
+    
+demo.launch(server_name="0.0.0.0", server_port=7860, share=True)