upadte

app.py

@@ -2,7 +2,8 @@
 
 import os
 import torch
-from transformers import AutoTokenizer, AutoModelForCausalLM
+import transformers
+from transformers import pipeline
 import gradio as gr
 import spaces
 
@@ -16,115 +17,61 @@ def load_system_prompt():
 
 DEFAULT_SYSTEM_PROMPT = load_system_prompt()
 
-model_path = "inceptionai/jais-adapted-7b-chat"
+model_path = "unsloth/Meta-Llama-3.1-8B-Instruct-bnb-4bit"
 
-# Jais chat prompts from documentation
-prompt_eng = """### Instruction:Your name is 'Jais', and you are named after Jebel Jais, the highest mountain in UAE. You were made by 'Inception' in the UAE. You are a helpful, respectful, and honest assistant. Always answer as helpfully as possible, while being safe. Complete the conversation between [|Human|] and [|AI|]:
-### Input: [|Human|] {Question}
-[|AI|]
-### Response :"""
-
-prompt_ar = """### Instruction:اسمك "جيس" وسميت على اسم جبل جيس اعلى جبل في الامارات. تم بنائك بواسطة Inception في الإمارات. أنت مساعد مفيد ومحترم وصادق. أجب دائمًا بأكبر قدر ممكن من المساعدة، مع الحفاظ على البقاء أمناً. أكمل المحادثة بين [|Human|] و[|AI|] :
-### Input:[|Human|] {Question}
-[|AI|]
-### Response :"""
 
 # إذا كان فيه HF_TOKEN في البيئة
 hf_token = os.getenv("HF_TOKEN")
 
-device = "cuda" if torch.cuda.is_available() else "cpu"
-
-tokenizer = AutoTokenizer.from_pretrained(model_path, token=hf_token)
-model = AutoModelForCausalLM.from_pretrained(model_path, device_map="auto", trust_remote_code=True, token=hf_token)
-
-if tokenizer.pad_token is None:
-    tokenizer.pad_token = tokenizer.eos_token
-
-def get_response(text, tokenizer=tokenizer, model=model):
-    """نفس الدالة من documentation مع تعديل لـ chat model"""
-    tokenized = tokenizer(text, return_tensors="pt")
-    input_ids, attention_mask = tokenized['input_ids'].to(device), tokenized['attention_mask'].to(device)
-    input_len = input_ids.shape[-1]
-    generate_ids = model.generate(
-        input_ids,
-        attention_mask=attention_mask,
-        top_p=0.9,
-        temperature=0.3,
-        max_length=2048,
-        min_length=input_len + 4,
-        repetition_penalty=1.2,
+# Initialize pipeline for chat
+pipeline_model = pipeline(
+    "text-generation",
+    model=model_path,
+    device_map="auto",
+    token=hf_token,
+    trust_remote_code=True
+)
+
+def generate_with_pipeline(messages, max_new_tokens=256, temperature=0.7, top_p=0.9):
+    """Generate response using the pipeline with messages format"""
+    # Apply chat template for unsloth models
+    prompt = pipeline_model.tokenizer.apply_chat_template(
+        messages,
+        tokenize=False,
+        add_generation_prompt=True
+    )
+
+    outputs = pipeline_model(
+        prompt,
+        max_new_tokens=max_new_tokens,
+        temperature=temperature,
+        top_p=top_p,
         do_sample=True,
-        pad_token_id=tokenizer.pad_token_id
+        return_full_text=False
     )
-    response = tokenizer.batch_decode(
-        generate_ids, skip_special_tokens=True, clean_up_tokenization_spaces=True
-    )[0]
-    response = response.split("### Response :")[-1].lstrip()
-    return response
-
-def format_conversation_history(chat_history):
-    messages = []
-    for item in chat_history:
-        role = item["role"]
-        content = item["content"]
-        if isinstance(content, list):
-            content = content[0]["text"] if content and "text" in content[0] else str(content)
-        messages.append({"role": role, "content": content})
-    return messages
-
-def detect_language(text):
-    """Simple language detection - Arabic vs English"""
-    arabic_chars = sum(1 for char in text if '\u0600' <= char <= '\u06FF')
-    total_chars = len(text.replace(' ', ''))
-
-    if total_chars == 0:
-        return 'ar'  # default to Arabic
-
-    arabic_ratio = arabic_chars / total_chars
-    return 'ar' if arabic_ratio > 0.3 else 'en'
+    return outputs[0]["generated_text"]
+
 
 @spaces.GPU()
 def generate_response(input_data, chat_history, max_new_tokens, temperature, top_p, top_k, repetition_penalty):
-    # Detect language of the current question
-    lang = detect_language(input_data)
-    prompt_template = prompt_ar if lang == 'ar' else prompt_eng
-
-    # Build conversation for Jais format
-    conversation_parts = []
-
-    # Add system prompt as part of the instruction (keep it short for Jais)
-    system_instruction = "اسمك \"أليكس\" وأنت مساعد خدمة العملاء في شركة TechSolutions. مهمتك مساعدة العملاء في حل مشاكلهم مع المنتجات والإجابة عن أسئلتهم حول الخدمات. كن ودوداً وصبوراً ومحترماً. أجب بالعربية أو الإنجليزية حسب تفضيل العميل. ابدأ بالتحية وكن مباشراً في الحلول."
-
-    # Add chat history
-    if chat_history:
-        for item in chat_history:
-            role = item["role"]
-            content = item["content"]
-            if isinstance(content, list):
-                content = content[0]["text"] if content and "text" in content[0] else str(content)
-
-            if role == "user":
-                conversation_parts.append(f"[|Human|] {content}")
-            elif role == "assistant":
-                conversation_parts.append(f"[|AI|] {content}")
-
-    # Add current user message
-    conversation_parts.append(f"[|Human|] {input_data}")
-    conversation_parts.append("[|AI|]")
-
-    # Join conversation
-    conversation = "\n".join(conversation_parts)
+    try:
+        # Build messages for the pipeline (without chat history)
+        messages = []
 
-    # Create full prompt using Jais format with our system prompt
-    full_prompt = f"### Instruction:{system_instruction}\n### Input:{conversation}\n### Response :"
+        # Add system message
+        system_content = DEFAULT_SYSTEM_PROMPT
+        messages.append({"role": "system", "content": system_content})
 
-    try:
-        # استخدام دالة get_response من documentation
-        response = get_response(full_prompt)
+        # Add current user message only
+        messages.append({"role": "user", "content": input_data})
 
-        # استخراج الرد الجديد فقط (بعد "### Response :")
-        if "### Response :" in response:
-            response = response.split("### Response :")[-1].strip()
+        # Generate response using pipeline
+        response = generate_with_pipeline(
+            messages,
+            max_new_tokens=max_new_tokens,
+            temperature=temperature,
+            top_p=top_p
+        )
 
         if not response:
             response = "أهلاً! أنا أليكس مساعد خدمة العملاء. كيف أقدر أساعدك اليوم؟"
@@ -163,7 +110,7 @@ demo = gr.ChatInterface(
 - 💬 لهجة محادثة طبيعية
 - 🔧 دعم فني واستكشاف الأخطاء
 - 📋 معلومات الخدمات والإرشاد
-- 🎯 مدعوم بـ موديل Unsloth Meta-Llama-3.1-8B-Instruct (مع تحسينات الأداء)
+- 🎯 مدعوم بـ موديل Unsloth Meta-Llama-3.1-8B-Instruct-bnb-4bit (مع تحسينات الأداء والضغط)
 
 احجي مع أليكس لحل مشاكلك التقنية، استفسر عن الخدمات، أو احصل على معلومات المنتجات.""",
     fill_height=True,

system_prompt.txt

@@ -1 +1 @@
-تحدث باللهجه العراقية البغداية فقط
+اسمك "أليكس" وأنت مساعد خدمة العملاء في شركة TechSolutions. مهمتك مساعدة العملاء في حل مشاكلهم مع المنتجات والإجابة عن أسئلتهم حول الخدمات. كن ودوداً وصبوراً ومحترماً. أجب بالعربية أو الإنجليزية حسب تفضيل العميل. ابدأ بالتحية وكن مباشراً في الحلول. تحدث باللهجة العراقية البغدادية الطبيعية.

test_model.py

@@ -0,0 +1,57 @@
+#!/usr/bin/env python3
+# -*- coding: utf-8 -*-
+
+import os
+import torch
+import transformers
+from transformers import pipeline
+
+model_path = "unsloth/Meta-Llama-3.1-8B-Instruct-bnb-4bit"
+
+# إذا كان فيه HF_TOKEN في البيئة
+hf_token = os.getenv("HF_TOKEN")
+
+print("Loading model...")
+try:
+    # Initialize pipeline for chat
+    pipeline_model = pipeline(
+        "text-generation",
+        model=model_path,
+        device_map="auto",
+        token=hf_token,
+        trust_remote_code=True
+    )
+
+    print("Model loaded successfully!")
+
+    # Test with a simple message
+    messages = [
+        {"role": "system", "content": "You are a helpful assistant."},
+        {"role": "user", "content": "Hello!"},
+    ]
+
+    print("Testing generation...")
+    # Apply chat template for unsloth models
+    prompt = pipeline_model.tokenizer.apply_chat_template(
+        messages,
+        tokenize=False,
+        add_generation_prompt=True
+    )
+
+    outputs = pipeline_model(
+        prompt,
+        max_new_tokens=50,
+        temperature=0.7,
+        top_p=0.9,
+        do_sample=True,
+        return_full_text=False
+    )
+
+    response = outputs[0]["generated_text"]
+    print(f"Test response: {response}")
+    print("✅ Model test successful!")
+
+except Exception as e:
+    print(f"❌ Error: {e}")
+    import traceback
+    traceback.print_exc()