F

app.py

@@ -96,13 +96,14 @@ def format_conversation_history(chat_history):
 
 @spaces.GPU()
 def generate_response(input_data, chat_history, max_new_tokens, temperature, top_p, top_k, repetition_penalty):
+    # حذف الهستوري كله - نبدأ محادثة جديدة دايماً
+    # chat_history = []  # تعطيل الهستوري
+
     new_message = {"role": "user", "content": input_data}
-    processed_history = format_conversation_history(chat_history)
 
     # Build messages for Llama chat template
     messages = [{"role": "system", "content": DEFAULT_SYSTEM_PROMPT}]
-    messages.extend(processed_history)
-    messages.append(new_message)
+    # لا نضيف chat_history القديم
 
     # استخدام ChatPipeline المخصص مع streaming
     streamer = TextIteratorStreamer(tokenizer, skip_prompt=True, skip_special_tokens=True)

app2.py

@@ -0,0 +1,170 @@
+import os
+import torch
+from transformers import AutoTokenizer, AutoModelForCausalLM, TextIteratorStreamer, pipeline
+from threading import Thread
+import gradio as gr
+import spaces
+
+# Load system prompt from file
+def load_system_prompt():
+    try:
+        with open('system_prompt.txt', 'r', encoding='utf-8') as f:
+            return f.read().strip()
+    except FileNotFoundError:
+        return "أنت مساعد ذكي مفيد."
+
+DEFAULT_SYSTEM_PROMPT = load_system_prompt()
+
+model_path = "anaspro/meta-llama-3.1-8b-inst-iraqi"
+
+# إذا كان فيه HF_TOKEN في البيئة
+hf_token = os.getenv("HF_TOKEN")
+
+# استخدام ChatPipeline بدلاً من text-generation العادي
+tokenizer = AutoTokenizer.from_pretrained(model_path, token=hf_token)
+model = AutoModelForCausalLM.from_pretrained(model_path, torch_dtype="auto", device_map="auto", token=hf_token)
+
+# إنشاء chat pipeline مخصص مع streaming
+def create_chat_pipeline(tokenizer, model):
+    """إنشاء pipeline مخصص للدردشة مع chat template و streaming"""
+    def chat_generate(messages, streamer=None, **kwargs):
+        # تحويل الرسائل للـ chat template
+        if hasattr(tokenizer, 'apply_chat_template') and tokenizer.chat_template is not None:
+            prompt = tokenizer.apply_chat_template(messages, tokenize=False, add_generation_prompt=True)
+        else:
+            # Fallback للموديلات اللي ما عندها chat template
+            prompt = ""
+            for msg in messages:
+                if msg["role"] == "system":
+                    prompt += f"System: {msg['content']}\n"
+                elif msg["role"] == "user":
+                    prompt += f"Human: {msg['content']}\n"
+                elif msg["role"] == "assistant":
+                    prompt += f"Assistant: {msg['content']}\n"
+            prompt += "Assistant:"
+
+        inputs = tokenizer(prompt, return_tensors="pt").to(model.device)
+
+        # توليد الرد مع streaming إذا كان مطلوب
+        if streamer:
+            generation_kwargs = {
+                **inputs,
+                "max_new_tokens": kwargs.get('max_new_tokens', 512),
+                "temperature": kwargs.get('temperature', 0.7),
+                "top_p": kwargs.get('top_p', 0.9),
+                "top_k": kwargs.get('top_k', 50),
+                "repetition_penalty": kwargs.get('repetition_penalty', 1.1),
+                "do_sample": True,
+                "pad_token_id": tokenizer.eos_token_id,
+                "streamer": streamer,
+            }
+
+            # نرجع الـ thread للتشغيل
+            return generation_kwargs
+        else:
+            # للتوليد العادي بدون streaming
+            with torch.no_grad():
+                outputs = model.generate(
+                    **inputs,
+                    max_new_tokens=kwargs.get('max_new_tokens', 512),
+                    temperature=kwargs.get('temperature', 0.7),
+                    top_p=kwargs.get('top_p', 0.9),
+                    top_k=kwargs.get('top_k', 50),
+                    repetition_penalty=kwargs.get('repetition_penalty', 1.1),
+                    do_sample=True,
+                    pad_token_id=tokenizer.eos_token_id,
+                    return_dict_in_generate=True,
+                    output_scores=False,
+                )
+
+            response = tokenizer.decode(outputs.sequences[0][inputs.input_ids.shape[1]:], skip_special_tokens=True)
+            return [{"generated_text": response}]
+
+    return chat_generate
+
+pipe = create_chat_pipeline(tokenizer, model)
+
+def format_conversation_history(chat_history):
+    messages = []
+    for item in chat_history:
+        role = item["role"]
+        content = item["content"]
+        if isinstance(content, list):
+            content = content[0]["text"] if content and "text" in content[0] else str(content)
+        messages.append({"role": role, "content": content})
+    return messages
+
+@spaces.GPU()
+def generate_response(input_data, chat_history, max_new_tokens, temperature, top_p, top_k, repetition_penalty):
+    # حذف الهستوري كله - نبدأ محادثة جديدة دايماً
+    # chat_history = []  # تعطيل الهستوري
+
+    new_message = {"role": "user", "content": input_data}
+
+    # Build messages for Llama chat template
+    messages = [{"role": "system", "content": DEFAULT_SYSTEM_PROMPT}]
+    # لا نضيف chat_history القديم
+
+    # استخدام ChatPipeline المخصص مع streaming
+    streamer = TextIteratorStreamer(tokenizer, skip_prompt=True, skip_special_tokens=True)
+
+    generation_kwargs = pipe(
+        messages,
+        streamer=streamer,
+        max_new_tokens=max_new_tokens,
+        temperature=temperature,
+        top_p=top_p,
+        top_k=top_k,
+        repetition_penalty=repetition_penalty
+    )
+
+    thread = Thread(target=model.generate, kwargs=generation_kwargs)
+    thread.start()
+
+    # Stream the response
+    response = ""
+    for chunk in streamer:
+        response += chunk
+        yield response
+
+demo = gr.ChatInterface(
+    fn=generate_response,
+    additional_inputs=[
+        gr.Slider(label="الحد الأقصى للكلمات الجديدة", minimum=64, maximum=4096, step=1, value=2048),
+        gr.Slider(label="درجة الحرارة", minimum=0.1, maximum=2.0, step=0.1, value=0.7),
+        gr.Slider(label="Top-p", minimum=0.05, maximum=1.0, step=0.05, value=0.9),
+        gr.Slider(label="Top-k", minimum=1, maximum=100, step=1, value=50),
+        gr.Slider(label="عقوبة التكرار", minimum=1.0, maximum=2.0, step=0.05, value=1.0)
+    ],
+    examples=[
+        [{"text": "النت عندي معطل من الصبح، تقدر تساعدني؟"}],
+        [{"text": "عندي مشكلة بالاتصال بالواي فاي"}],
+        [{"text": "شنو الباقات المتوفرة عندكم؟"}],
+        [{"text": "كيف أعيد ضبط الجهاز؟"}],
+        [{"text": "My device is not working properly"}],
+    ],
+    cache_examples=False,
+    type="messages",
+    title="دعم عملاء TechSolutions - مساعد أليكس (العراقي)",
+    description="""🤖 مساعد خدمة عملاء ذكي لـ TechSolutions
+
+✨ المميزات:
+- 🌐 دعم ثنائي اللغة (عربي وإنجليزي)
+- 💬 لهجة محادثة طبيعية
+- 🔧 دعم فني واستكشاف الأخطاء
+- 📋 معلومات الخدمات والإرشاد
+- 🎯 مدعوم بـ موديل anaspro العراقي (Llama 3.1 محسن للعربية العراقية)
+
+احجي مع أليكس لحل مشاكلك التقنية، استفسر عن الخدمات، أو احصل على معلومات المنتجات.""",
+    fill_height=True,
+    textbox=gr.Textbox(
+        label="اكتب رسالتك هنا",
+        placeholder="مثال: عندي مشكلة بالجهاز..."
+    ),
+    stop_btn="إيقاف التوليد",
+    multimodal=False,
+    theme=gr.themes.Soft()
+)
+
+if __name__ == "__main__":
+    demo.launch()