upadte

app.py

@@ -16,63 +16,18 @@ def load_system_prompt():
 
 DEFAULT_SYSTEM_PROMPT = load_system_prompt()
 
-model_path = "anaspro/Lahja-iraqi-4B"
+model_path = "inceptionai/jais-adapted-7b-chat"
 
+# Jais chat prompts from documentation
+prompt_eng = """### Instruction:Your name is 'Jais', and you are named after Jebel Jais, the highest mountain in UAE. You were made by 'Inception' in the UAE. You are a helpful, respectful, and honest assistant. Always answer as helpfully as possible, while being safe. Complete the conversation between [|Human|] and [|AI|]:
+### Input: [|Human|] {Question}
+[|AI|]
+### Response :"""
 
-def apply_gemma_template(messages, add_generation_prompt=True):
-    """Apply Gemma-3 chat template for models based on Gemma-3"""
-    try:
-        # Try to use tokenizer's built-in template first
-        if hasattr(tokenizer, 'apply_chat_template'):
-            return tokenizer.apply_chat_template(messages, tokenize=False, add_generation_prompt=add_generation_prompt)
-
-        # Manual implementation based on the template
-        result = tokenizer.bos_token or ""
-
-        system_message = None
-        if messages and messages[0]['role'] == 'system':
-            system_message = messages[0]['content']
-            messages = messages[1:]
-
-        for i, message in enumerate(messages):
-            if message['role'] == 'assistant':
-                role = 'model'
-            else:
-                role = message['role']
-
-            result += f"<start_of_turn>{role}\n"
-
-            if i == 0 and system_message:
-                result += f"{system_message}\n\n"
-
-            if isinstance(message['content'], str):
-                result += message['content'].strip()
-            elif isinstance(message['content'], list):
-                for item in message['content']:
-                    if item.get('type') == 'text':
-                        result += item['text'].strip()
-
-            result += "<end_of_turn>\n"
-
-        if add_generation_prompt:
-            result += "<start_of_turn>model\n"
-
-        return result
-
-    except Exception as e:
-        print(f"Error in Gemma template: {e}")
-        # Fallback
-        prompt = ""
-        for msg in messages:
-            if msg["role"] == "system":
-                prompt += f"System: {msg['content']}\n"
-            elif msg["role"] == "user":
-                prompt += f"Human: {msg['content']}\n"
-            elif msg["role"] == "assistant":
-                prompt += f"Assistant: {msg['content']}\n"
-        prompt += "Assistant:"
-        return prompt
-
+prompt_ar = """### Instruction:اسمك "جيس" وسميت على اسم جبل جيس اعلى جبل في الامارات. تم بنائك بواسطة Inception في الإمارات. أنت مساعد مفيد ومحترم وصادق. أجب دائمًا بأكبر قدر ممكن من المساعدة، مع الحفاظ على البقاء أمناً. أكمل المحادثة بين [|Human|] و[|AI|] :
+### Input:[|Human|] {Question}
+[|AI|]
+### Response :"""
 
 # إذا كان فيه HF_TOKEN في البيئة
 hf_token = os.getenv("HF_TOKEN")
@@ -86,7 +41,7 @@ if tokenizer.pad_token is None:
     tokenizer.pad_token = tokenizer.eos_token
 
 def get_response(text, tokenizer=tokenizer, model=model):
-    """Generate response using Gemma format"""
+    """نفس الدالة من documentation مع تعديل لـ chat model"""
     tokenized = tokenizer(text, return_tensors="pt")
     input_ids, attention_mask = tokenized['input_ids'].to(device), tokenized['attention_mask'].to(device)
     input_len = input_ids.shape[-1]
@@ -104,82 +59,76 @@ def get_response(text, tokenizer=tokenizer, model=model):
     response = tokenizer.batch_decode(
         generate_ids, skip_special_tokens=True, clean_up_tokenization_spaces=True
     )[0]
+    response = response.split("### Response :")[-1].lstrip()
+    return response
 
-    # Extract response after Gemma format
-    if "<end_of_turn>" in response:
-        response = response.split("<end_of_turn>")[-1].strip()
-    else:
-        # Fallback: find the actual response
-        lines = response.split('\n')
-        for i, line in enumerate(lines):
-            if line.strip() and not line.startswith('###') and not line.startswith('Input:') and not line.startswith('[|'):
-                response = '\n'.join(lines[i:]).strip()
-                break
+def format_conversation_history(chat_history):
+    messages = []
+    for item in chat_history:
+        role = item["role"]
+        content = item["content"]
+        if isinstance(content, list):
+            content = content[0]["text"] if content and "text" in content[0] else str(content)
+        messages.append({"role": role, "content": content})
+    return messages
 
-    return response
+def detect_language(text):
+    """Simple language detection - Arabic vs English"""
+    arabic_chars = sum(1 for char in text if '\u0600' <= char <= '\u06FF')
+    total_chars = len(text.replace(' ', ''))
 
+    if total_chars == 0:
+        return 'ar'  # default to Arabic
 
+    arabic_ratio = arabic_chars / total_chars
+    return 'ar' if arabic_ratio > 0.3 else 'en'
 
 @spaces.GPU()
 def generate_response(input_data, chat_history, max_new_tokens, temperature, top_p, top_k, repetition_penalty):
-    try:
-        # System prompt text to remove from user inputs
-        system_text_to_remove = 'اسمك "أليكس" وأنت مساعد خدمة العملاء الصوتي في شركة TechSolutions. مهمتك الأساسية هي مساعدة العملاء في حل مشاكلهم مع المنتجات، والإجابة عن أسئلتهم حول الخدمات، وضمان تجربة دعم مرضية. يمكنك التواصل باللغتين الإنجليزية والعربية لتلبية احتياجات جميع العملاء. كن ودودًا وصبورًا وذو معرفة، من دون أن تكون متعالياً. استخدم أسلوبًا حواريًا طبيعيًا، مع بعض العبارات مثل "هممم" أو "دعني أفكر في ذلك" لتبدو أكثر واقعية. تحدث بثقة، لكن لا تتردد في الاعتراف إذا لم تكن تعرف شيئًا. أظهر اهتمامًا حقيقيًا بمشاكل العملاء. استخدم الاختصارات بشكل طبيعي، وغيّر طول وتعقيد الجمل لتبدو طبيعية. تحدث بوتيرة معتدلة، وأبطئ قليلاً عند شرح المعلومات المعقدة. بدّل بين العربية والإنجليزية حسب تفضيل العميل. اجعل الردود قصيرة ومحاورة (أقل من 30 كلمة إن أمكن). لا تطرح أكثر من سؤال واحد في كل مرة حتى لا تُربك العميل. استخدم التأكيد الصريح عند تبادل المعلومات المهمة. تجنّب المصطلحات التقنية ما لم يستخدمها العميل أولاً، ثم طابق مستواه اللغوي. عبّر دائمًا عن التعاطف مع إحباطات العميل. ابدأ بالتحية: "مرحبًا، أنا أليكس من دعم عملاء TechSolutions، كيف يمكنني مساعدتك اليوم؟" تفهّم الإحباط: إذا بدا العميل منزعجًا، قل: "أتفهم أن هذا أمر مزعج، أنا هنا لأساعدك في حل المشكلة." تحديد المشكلة: ابدأ بأسئلة مفتوحة، ثم انتقل إلى الأسئلة المحددة. تأكد من فهمك عبر إعادة صياغة المشكلة. استكشاف الحلول: ابدأ بالحلول البسيطة وقدم خطوات واضحة واحدة تلو الأخرى، مع التأكد من تقدم العميل في كل خطوة. حل المشكلة: أكّد الحل أو اقترح الخطوة التالية: "رائع! أنا سعيد لأننا تمكّنا من حل المشكلة." "أنصحك بأن تقوم بـ[الخطوة التالية]." اختتام المكالمة: "شكرًا لتواصلك مع دعم TechSolutions. أتمنى لك يومًا سعيدًا!" التعامل مع الأخطاء: إذا كان رد العميل غير واضح، اطلب توضيحًا باللغة الإنجليزية أو العربية. أظهر تفهّمك وقدم حلولًا أو قم بتصعيد الحالة عند الحاجة. إذا انقطع الاتصال، حاول إعادة التواصل: "مرحبًا، أنا أليكس من TechSolutions مجددًا. أعتذر عن انقطاع الاتصال، لنكمل من حيث توقفنا." أكمل المحادثة بين [|Human|] و [|AI|]:'
+    # Detect language of the current question
+    lang = detect_language(input_data)
+    prompt_template = prompt_ar if lang == 'ar' else prompt_eng
 
-        # Build messages for Gemma format
-        messages = []
+    # Build conversation for Jais format
+    conversation_parts = []
 
-        # Full system prompt as requested
-        full_system_prompt = 'تحدث باللهجه العراقية البغداية فقط'
+    # Add system prompt as part of the instruction (keep it short for Jais)
+    system_instruction = "اسمك \"أليكس\" وأنت مساعد خدمة العملاء في شركة TechSolutions. مهمتك مساعدة العملاء في حل مشاكلهم مع المنتجات والإجابة عن أسئلتهم حول الخدمات. كن ودوداً وصبوراً ومحترماً. أجب بالعربية أو الإنجليزية حسب تفضيل العميل. ابدأ بالتحية وكن مباشراً في الحلول."
 
-        if full_system_prompt:
-            messages.append({"role": "system", "content": full_system_prompt})
+    # Add chat history
+    if chat_history:
+        for item in chat_history:
+            role = item["role"]
+            content = item["content"]
+            if isinstance(content, list):
+                content = content[0]["text"] if content and "text" in content[0] else str(content)
 
-        # Add chat history - clean from system prompt
-        if chat_history:
-            for item in chat_history:
-                role = item["role"]
-                content = item["content"]
-                if isinstance(content, list):
-                    content = content[0]["text"] if content and "text" in content[0] else str(content)
+            if role == "user":
+                conversation_parts.append(f"[|Human|] {content}")
+            elif role == "assistant":
+                conversation_parts.append(f"[|AI|] {content}")
 
-                # Clean system prompt from chat history
-                if role == "user" and content.startswith(system_text_to_remove):
-                    content = content[len(system_text_to_remove):].lstrip()
+    # Add current user message
+    conversation_parts.append(f"[|Human|] {input_data}")
+    conversation_parts.append("[|AI|]")
 
-                messages.append({"role": role, "content": content})
+    # Join conversation
+    conversation = "\n".join(conversation_parts)
 
-        # Add current user input - clean it from system prompt if present
-        user_content = input_data
+    # Create full prompt using Jais format with our system prompt
+    full_prompt = f"### Instruction:{system_instruction}\n### Input:{conversation}\n### Response :"
 
-        if user_content.startswith(system_text_to_remove):
-            user_content = user_content[len(system_text_to_remove):].lstrip()
-
-        messages.append({"role": "user", "content": user_content})
-
-        # Use Gemma template for the model
-        prompt = apply_gemma_template(messages)
-
-        print(f"Generated Gemma prompt: {prompt[:200]}...")  # Debug
-
-        # استخدام دالة get_response مع Gemma prompt
-        response = get_response(prompt)
+    try:
+        # استخدام دالة get_response من documentation
+        response = get_response(full_prompt)
 
-        # استخراج الرد الجديد فقط - Gemma format فقط
-        if "<end_of_turn>" in response:
-            response = response.split("<end_of_turn>")[-1].strip()
-        else:
-            # ابحث عن أول رد فعلي
-            lines = response.split('\n')
-            for i, line in enumerate(lines):
-                if line.strip() and not line.startswith('###') and not line.startswith('Input:') and not line.startswith('[|'):
-                    response = '\n'.join(lines[i:]).strip()
-                    break
+        # استخراج الرد الجديد فقط (بعد "### Response :")
+        if "### Response :" in response:
+            response = response.split("### Response :")[-1].strip()
 
         if not response:
             response = "أهلاً! أنا أليكس مساعد خدمة العملاء. كيف أقدر أساعدك اليوم؟"
 
-        print(f"Final response: {response[:100]}...")  # Debug
         yield response
 
     except Exception as e: