updatE

README.md

@@ -18,14 +18,14 @@ tags:
 - multilingual
 ---
 
-مساعد خدمة عملاء ذكي لشركة TechSolutions يدعم اللغة العربية والإنجليزية.
+مساعد خدمة عملاء ذكي لشركة TechSolutions يتحدث باللهجة العراقية.
 
 🚀 **المميزات:**
-- 🌐 دعم ثنائي اللغة (عربي وإنجليزي)
-- 💬 لهجة محادثة طبيعية بالعراقية
+- 🇮🇶 لهجة عراقية أصيلة وطبيعية
+- 💬 محادثات يومية بالعراقي
 - 🔧 دعم فني واستكشاف الأخطاء
 - 📋 معلومات الخدمات والإرشاد
-- 🎯 مدعوم بـ موديل ذكي مع تحسينات الأداء
+- 🎯 مدعوم بـ موديل ذكي مع تحسينات الأداء (4-bit quantization)
 
 📞 احجي مع أليكس لحل مشاكلك التقنية، استفسر عن الخدمات، أو احصل على معلومات المنتجات.
 

app.py

@@ -108,9 +108,6 @@ def generate_response(input_data, chat_history, max_new_tokens, temperature, top
     # Build conversation for Iraqi model format
     conversation_parts = []
 
-    # Add system prompt as part of the instruction (Iraqi Arabic)
-    system_instruction = "انت مساعد ذكي تتحدث باللهجة العراقية. اسمك أليكس وانت مساعد خدمة العملاء في شركة TechSolutions. مهمتك مساعدة العملاء في حل مشاكلهم مع المنتجات والإجابة عن أسئلتهم حول الخدمات. كن ودود وصبور ومحترم. ابدأ بالتحية وكن مباشر في الحلول."
-
     # Add chat history
     if chat_history:
         for item in chat_history:
@@ -130,9 +127,8 @@ def generate_response(input_data, chat_history, max_new_tokens, temperature, top
     # Join conversation
     conversation = "\n".join(conversation_parts)
 
-    # Create full prompt using Jais format with our system prompt
-    # Note: We don't add "[|AI|]" at the end to prevent the model from generating multiple responses
-    full_prompt = f"### Instruction:{system_instruction}\n### Input:{conversation}\n[|AI|]\n### Response :"
+    # Create full prompt using the Iraqi Arabic prompt template
+    full_prompt = prompt_ar.format(Question=conversation)
 
     try:
         # استخدام دالة get_response من documentation

test_iraqi_model.py

@@ -0,0 +1,69 @@
+#!/usr/bin/env python3
+"""
+اختبار الموديل العراقي 4-bit
+"""
+
+import os
+import torch
+from transformers import AutoTokenizer, AutoModelForCausalLM
+
+def test_model():
+    model_path = "anaspro/iraqi-7b_4bit"
+    hf_token = os.getenv("HF_TOKEN")
+
+    print("جاري تحميل المودل العراقي 4-bit...")
+    tokenizer = AutoTokenizer.from_pretrained(
+        model_path,
+        token=hf_token,
+        trust_remote_code=True
+    )
+
+    model = AutoModelForCausalLM.from_pretrained(
+        model_path,
+        device_map="auto",
+        trust_remote_code=True,
+        token=hf_token,
+        torch_dtype=torch.float16 if torch.cuda.is_available() else torch.float32,
+        low_cpu_mem_usage=True
+    )
+
+    if tokenizer.pad_token is None:
+        tokenizer.pad_token = tokenizer.eos_token
+
+    # اختبار الـ prompt الجديد
+    prompt = """### Instruction:أنت مساعد ذكي تتحدث باللهجة العراقية. أجب دائمًا بأكبر قدر ممكن من المساعدة، مع الحفاظ على البقاء أمناً. أكمل المحادثة بين [|Human|] و[|AI|] :
+### Input:[|Human|] مرحبا كيفك؟
+[|AI|]
+### Response :"""
+
+    inputs = tokenizer(prompt, return_tensors="pt")
+    input_ids = inputs['input_ids'].to('cuda' if torch.cuda.is_available() else 'cpu')
+    attention_mask = inputs['attention_mask'].to('cuda' if torch.cuda.is_available() else 'cpu')
+
+    print("جاري توليد الرد...")
+    outputs = model.generate(
+        input_ids,
+        attention_mask=attention_mask,
+        max_length=input_ids.shape[-1] + 100,
+        temperature=0.3,
+        top_p=0.8,
+        do_sample=True,
+        pad_token_id=tokenizer.pad_token_id,
+        eos_token_id=tokenizer.eos_token_id
+    )
+
+    response = tokenizer.decode(outputs[0], skip_special_tokens=True)
+
+    # استخراج الرد الجديد فقط
+    if "### Response :" in response:
+        response = response.split("### Response :")[-1].strip()
+
+    print("=" * 50)
+    print("الاختبار نجح! ✅")
+    print(f"الموديل: {model_path}")
+    print(f"الـ prompt: تم تحديثه للهجة العراقية")
+    print(f"الرد: {response}")
+    print("=" * 50)
+
+if __name__ == "__main__":
+    test_model()