Update app.py

app.py

@@ -1,105 +1,118 @@
 """
-THE Z AI Agent - Gemma 4 31B Server (Zero GPU)
-================================================
-سيرفر Gradio لتشغيل نموذج google/gemma-4-31B-it على Hugging Face Spaces
-باستخدام بنية تحتية Zero GPU (H200 مؤقت لكل استدعاء).
+THE Z AI Agent - DeepSeek-V4-Flash Server (CPU / RAM only)
+============================================================
+سيرفر Gradio لتشغيل نموذج DeepSeek-V4-Flash (GGUF، UD-IQ1_S)
+على المعالج (CPU) باستخدام الرام فقط - بدون GPU.
+
+⚠️ تحذير مهم بخصوص الموارد:
+- الملف يوزن ~82.5GB على القرص (Disk) - خاصك Persistent Storage
+  على الأقل "Medium" (150GB) من Settings > Persistent storage.
+- الاستهلاك الفعلي للرام أثناء التشغيل (نموذج + KV cache) يقدر
+  يوصل لحدود قريبة من الرام المتاحة عندك (104GB) - راقب استهلاك
+  الرام من لوحة التحكم وقلل n_ctx إذا صرا OOM.
+- السرعة بطيئة نسبياً (توكنات قليلة/الثانية) لأن التشغيل بالكامل
+  على المعالج بلا GPU، والنموذج ضخم (284B params / 13B activated).
 """
 
 import os
-import spaces
+import multiprocessing
+from llama_cpp import Llama
 import gradio as gr
-import torch
-from transformers import AutoProcessor, AutoModelForMultimodalLM
 
-MODEL_ID = "google/gemma-4-31B-it"
-HF_TOKEN = os.environ.get("HF_TOKEN")  # ضعه في Settings > Repository secrets إذا كان النموذج يتطلب موافقة/توكن
-
-print(f"⏳ جاري تحميل المعالج (processor) لـ {MODEL_ID} ...")
-processor = AutoProcessor.from_pretrained(MODEL_ID, token=HF_TOKEN)
-
-print(f"⏳ جاري تحميل النموذج {MODEL_ID} (bf16) ... قد يأخذ بعض الوقت أول مرة")
-model = AutoModelForMultimodalLM.from_pretrained(
-    MODEL_ID,
-    dtype=torch.bfloat16,
-    device_map="auto",
+# ------------------------------------------------------------------
+# إعدادات النموذج
+# ------------------------------------------------------------------
+MODEL_REPO = "unsloth/DeepSeek-V4-Flash-GGUF"
+# نمط اسم الملف يطابق كل شاردات UD-IQ1_S (llama_cpp كيدمجهم تلقائياً)
+MODEL_FILE_PATTERN = "*UD-IQ1_S*.gguf"
+
+# مسار التخزين الدائم على Hugging Face Spaces (Persistent Storage)
+# تأكد أن عندك Persistent Storage مفعّل (Medium 150GB على الأقل)
+CACHE_DIR = os.environ.get("MODEL_CACHE_DIR", "/data/models")
+os.makedirs(CACHE_DIR, exist_ok=True)
+
+HF_TOKEN = os.environ.get("HF_TOKEN")  # ضعه في Settings > Repository secrets
+
+# عدد الأنوية المتاحة للمعالج (خليها تلقائية حسب السيرفر)
+N_THREADS = int(os.environ.get("N_THREADS", multiprocessing.cpu_count()))
+
+# سياق أصغر نسبياً لتقليل استهلاك الرام (KV cache) - عدّله حسب الحاجة
+N_CTX = int(os.environ.get("N_CTX", 8192))
+
+print(f"⏳ جاري تحميل/تحضير النموذج {MODEL_REPO} ({MODEL_FILE_PATTERN}) ...")
+print(f"   مسار التخزين: {CACHE_DIR}")
+print(f"   عدد الأنوية (threads): {N_THREADS}")
+print(f"   حجم السياق (n_ctx): {N_CTX}")
+print("   ⚠️ التحميل الأول قد يأخذ وقتاً طويلاً (~82.5GB) ...")
+
+llm = Llama.from_pretrained(
+    repo_id=MODEL_REPO,
+    filename=MODEL_FILE_PATTERN,
+    cache_dir=CACHE_DIR,
+    local_dir=CACHE_DIR,
+    n_ctx=N_CTX,
+    n_threads=N_THREADS,
+    n_gpu_layers=0,       # 0 = تشغيل كامل على CPU/RAM بدون GPU
+    use_mmap=True,        # يقلل استهلاك الرام الفعلي عبر memory-mapping
+    use_mlock=False,      # لا تقفل الرام بالكامل (يترك مجال للنظام)
+    verbose=False,
     token=HF_TOKEN,
 )
-model.eval()
 print("✅ النموذج جاهز.")
 
 
-def build_messages(history, system_prompt, enable_thinking):
+def build_messages(history, system_prompt):
     messages = []
     if system_prompt and system_prompt.strip():
         messages.append({"role": "system", "content": system_prompt.strip()})
-
     for turn in history:
         role = turn["role"]
         content = turn["content"]
-        if role == "user":
-            messages.append({"role": "user", "content": [{"type": "text", "text": content}]})
-        elif role == "assistant":
-            messages.append({"role": "assistant", "content": content})
+        messages.append({"role": role, "content": content})
     return messages
 
 
-@spaces.GPU(duration=120)  # مدة تخصيص الـ GPU بالثواني - عدّلها حسب طول الردود المتوقعة
 def generate_response(message, history, system_prompt, max_new_tokens, temperature, top_p, top_k, enable_thinking):
-    # تحويل history (تنسيق Gradio) إلى تنسيق messages
-    chat_history = []
-    for h in history:
-        chat_history.append(h)
+    chat_history = list(history) if history else []
     chat_history.append({"role": "user", "content": message})
 
-    messages = build_messages(chat_history, system_prompt, enable_thinking)
+    messages = build_messages(chat_history, system_prompt)
 
     if enable_thinking:
-        # تفعيل التفكير عبر إضافة التوكن الخاص في بداية system prompt
+        # تفعيل وضع التفكير عبر التعليمات النظامية (حسب Chat template ديال DeepSeek-V4)
+        think_instruction = "قم بالتفكير خطوة بخطوة قبل الإجابة النهائية."
         if messages and messages[0]["role"] == "system":
-            messages[0]["content"] = "<|think|>" + messages[0]["content"]
+            messages[0]["content"] = think_instruction + "\n" + messages[0]["content"]
         else:
-            messages.insert(0, {"role": "system", "content": "<|think|>"})
-
-    inputs = processor.apply_chat_template(
-        messages,
-        tokenize=True,
-        return_dict=True,
-        return_tensors="pt",
-        add_generation_prompt=True,
-    ).to(model.device)
-
-    input_len = inputs["input_ids"].shape[-1]
-
-    with torch.no_grad():
-        outputs = model.generate(
-            **inputs,
-            max_new_tokens=int(max_new_tokens),
-            temperature=float(temperature),
-            top_p=float(top_p),
-            top_k=int(top_k),
-            do_sample=True,
-        )
-
-    response = processor.decode(outputs[0][input_len:], skip_special_tokens=False)
-
-    try:
-        parsed = processor.parse_response(response)
-        # parsed قد يكون dict فيه "thought" و "answer" - نعرض النهائي فقط في الشات
-        if isinstance(parsed, dict):
-            final = parsed.get("answer") or parsed.get("content") or response
-        else:
-            final = str(parsed)
-    except Exception:
-        final = response
+            messages.insert(0, {"role": "system", "content": think_instruction})
+
+    stream = llm.create_chat_completion(
+        messages=messages,
+        max_tokens=int(max_new_tokens),
+        temperature=float(temperature),
+        top_p=float(top_p),
+        top_k=int(top_k),
+        stream=True,
+    )
 
-    return final
+    partial = ""
+    for chunk in stream:
+        delta = chunk["choices"][0]["delta"]
+        piece = delta.get("content", "")
+        if piece:
+            partial += piece
+            yield partial
 
 
-with gr.Blocks(title="THE Z AI Agent - Gemma 4 31B", theme=gr.themes.Soft()) as demo:
+with gr.Blocks(title="THE Z AI Agent - DeepSeek-V4-Flash", theme=gr.themes.Soft()) as demo:
     gr.Markdown(
         """
-        # 🤖 THE Z AI Agent — Gemma 4 31B (Zero GPU)
-        نموذج **google/gemma-4-31B-it** (30.7B، Dense) يعمل على Hugging Face Zero GPU.
+        # 🤖 THE Z AI Agent — DeepSeek-V4-Flash (CPU / RAM)
+        نموذج **DeepSeek-V4-Flash** (284B، MoE، 13B activated، GGUF UD-IQ1_S)
+        يعمل بالكامل على المعالج (CPU) باستخدام الرام - بدون GPU.
+
+        ⚠️ ملاحظة: التشغيل على الرام فقط لهذا الحجم من النماذج يكون **بطيء نسبياً**
+        وقد يحتاج ثوانٍ للتوكن الواحد. راقب استهلاك الرام من لوحة تحكم الـ Space.
         """
     )
 
@@ -112,17 +125,17 @@ with gr.Blocks(title="THE Z AI Agent - Gemma 4 31B", theme=gr.themes.Soft()) as
         enable_thinking = gr.Checkbox(label="تفعيل وضع التفكير (Thinking Mode)", value=False)
         max_new_tokens = gr.Slider(64, 4096, value=1024, step=64, label="أقصى عدد للتوكنز الجديدة")
         temperature = gr.Slider(0.1, 2.0, value=1.0, step=0.05, label="Temperature")
-        top_p = gr.Slider(0.1, 1.0, value=0.95, step=0.05, label="top_p")
-        top_k = gr.Slider(1, 128, value=64, step=1, label="top_k")
+        top_p = gr.Slider(0.1, 1.0, value=1.0, step=0.05, label="top_p")
+        top_k = gr.Slider(0, 128, value=0, step=1, label="top_k")
 
     chatbot = gr.ChatInterface(
         fn=generate_response,
         type="messages",
         additional_inputs=[system_prompt, max_new_tokens, temperature, top_p, top_k, enable_thinking],
         examples=[
-            ["اشرح لي مبدأ نسبية آينشتاين ببساطة", "أنت مساعد ذكي ومفيد. أجب دائماً بوضوح ودقة.", 1024, 1.0, 0.95, 64, False],
-            ["اكتب لي دالة بايثون لترتيب قائمة", "أنت مساعد ذكي ومفيد. أجب دائماً بوضوح ودقة.", 1024, 1.0, 0.95, 64, False],
-            ["لخص لي فوائد الرياضة اليومية", "أنت مساعد ذكي ومفيد. أجب دائماً بوضوح ودقة.", 1024, 1.0, 0.95, 64, False],
+            ["اشرح لي مبدأ نسبية آينشتاين ببساطة", "أنت مساعد ذكي ومفيد. أجب دائماً بوضوح ودقة.", 1024, 1.0, 1.0, 0, False],
+            ["اكتب لي دالة بايثون لترتيب قائمة", "أنت مساعد ذكي ومفيد. أجب دائماً بوضوح ودقة.", 1024, 1.0, 1.0, 0, False],
+            ["لخص لي فوائد الرياضة اليومية", "أنت مساعد ذكي ومفيد. أجب دائماً بوضوح ودقة.", 1024, 1.0, 1.0, 0, False],
         ],
     )