Update app.py

app.py

@@ -10,7 +10,7 @@ import re
 import os
 import gc
 import threading
-import requests  # استخدام requests بدلاً من aiohttp
+import torch  # إضافة torch لمعالجة أنواع البيانات
 
 logging.basicConfig(level=logging.INFO)
 logger = logging.getLogger(__name__)
@@ -26,36 +26,39 @@ app.add_middleware(
     allow_headers=["*"],
 )
 
-# 🔥 نظام إدارة النماذج الذكي - نماذج صغيرة بدون trust_remote_code
+# 🔥 نظام إدارة النماذج الذكي - إصلاح مشكلة Half precision
 class SmartModelManager:
     def __init__(self):
         self.loaded_models = {}
         self.model_lock = threading.Lock()
         
-        # نماذج Hugging Face صغيرة الحجم لا تحتاج trust_remote_code
+        # نماذج Hugging Face صغيرة الحجم مع إعدادات متوافقة مع CPU
         self.models_config = {
             "arabic_general": {
-                "name": "microsoft/DialoGPT-small",  # 500MB - لا يحتاج trust_remote_code
+                "name": "microsoft/DialoGPT-small",
                 "type": "text-generation",
                 "description": "النموذج للفهم العام والردود",
-                "max_length": 400
+                "max_length": 300,
+                "torch_dtype": torch.float32  # استخدام float32 بدلاً من auto
             },
             "coding_expert": {
-                "name": "microsoft/DialoGPT-small",  # 500MB
-                "type": "text-generation", 
+                "name": "microsoft/DialoGPT-small", 
+                "type": "text-generation",
                 "description": "نموذج البرمجة والأمن السيبراني",
-                "max_length": 400
+                "max_length": 300,
+                "torch_dtype": torch.float32
             },
             "cyber_security": {
-                "name": "google/flan-t5-small",  # 300MB
+                "name": "google/flan-t5-small",
                 "type": "text2text-generation",
                 "description": "نموذج الأمن السيبراني المتخصص", 
-                "max_length": 512
+                "max_length": 400,
+                "torch_dtype": torch.float32
             }
         }
     
     def load_model(self, model_type: str):
-        """تحميل نموذج عند الحاجة فقط"""
+        """تحميل نموذج عند الحاجة فقط مع إصلاح مشكلة Half precision"""
         with self.model_lock:
             if model_type in self.loaded_models:
                 return self.loaded_models[model_type]
@@ -66,32 +69,49 @@ class SmartModelManager:
                 model_config = self.models_config[model_type]
                 
                 if model_config["type"] == "text-generation":
-                    from transformers import pipeline
+                    from transformers import pipeline, AutoModelForCausalLM, AutoTokenizer
+                    
+                    # تحميل المكونات يدوياً للتحكم في إعدادات dtype
+                    model = AutoModelForCausalLM.from_pretrained(
+                        model_config["name"],
+                        torch_dtype=model_config["torch_dtype"],
+                        low_cpu_mem_usage=True
+                    )
+                    tokenizer = AutoTokenizer.from_pretrained(model_config["name"])
                     
-                    model = pipeline(
+                    # إنشاء pipeline مع الإعدادات المحسنة
+                    model_pipeline = pipeline(
                         "text-generation",
-                        model=model_config["name"],
+                        model=model,
+                        tokenizer=tokenizer,
                         device=-1,  # استخدام CPU
                         max_length=model_config["max_length"],
                         do_sample=True,
                         temperature=0.7,
-                        torch_dtype="auto"
+                        pad_token_id=tokenizer.eos_token_id  # إضافة هذا للإصلاح
                     )
                     
                 elif model_config["type"] == "text2text-generation":
-                    from transformers import pipeline
+                    from transformers import pipeline, AutoModelForSeq2SeqLM, AutoTokenizer
                     
-                    model = pipeline(
+                    model = AutoModelForSeq2SeqLM.from_pretrained(
+                        model_config["name"],
+                        torch_dtype=model_config["torch_dtype"],
+                        low_cpu_mem_usage=True
+                    )
+                    tokenizer = AutoTokenizer.from_pretrained(model_config["name"])
+                    
+                    model_pipeline = pipeline(
                         "text2text-generation",
-                        model=model_config["name"],
+                        model=model,
+                        tokenizer=tokenizer,
                         max_length=model_config["max_length"],
-                        device=-1,
-                        torch_dtype="auto"
+                        device=-1
                     )
                 
-                self.loaded_models[model_type] = model
+                self.loaded_models[model_type] = model_pipeline
                 logger.info(f"✅ تم تحميل النموذج {model_type} بنجاح")
-                return model
+                return model_pipeline
                 
             except Exception as e:
                 logger.error(f"❌ فشل تحميل النموذج {model_type}: {e}")
@@ -103,6 +123,8 @@ class SmartModelManager:
             if model_type in self.loaded_models:
                 del self.loaded_models[model_type]
                 gc.collect()
+                if torch.cuda.is_available():
+                    torch.cuda.empty_cache()
                 logger.info(f"🗑️ تم إلغاء تحميل النموذج {model_type}")
     
     def unload_all_models(self):
@@ -217,55 +239,68 @@ def generate_with_model(model_type: str, prompt: str) -> str:
         # تحميل النموذج
         model = model_manager.load_model(model_type)
         
-        # توليد النص
-        if model_type in ["arabic_general", "coding_expert"]:
-            result = model(prompt, max_length=400, temperature=0.7, do_sample=True)
-            response = result[0]['generated_text']
-        else:  # cyber_security
-            result = model(prompt, max_length=512)
-            response = result[0]['generated_text']
-        
-        # تنظيف الاستجابة
-        response = response.replace(prompt, "").strip()
-        return response if response else "أفهم طلبك، وأحتاج إلى مزيد من التفاصيل لتقديم المساعدة المثلى."
+        # توليد النص مع معالجة الأخطاء المحسنة
+        try:
+            if model_type in ["arabic_general", "coding_expert"]:
+                result = model(
+                    prompt, 
+                    max_length=300, 
+                    temperature=0.7, 
+                    do_sample=True,
+                    num_return_sequences=1,
+                    pad_token_id=model.tokenizer.eos_token_id
+                )
+                response = result[0]['generated_text']
+            else:  # cyber_security
+                result = model(prompt, max_length=400)
+                response = result[0]['generated_text']
+            
+            # تنظيف الاستجابة
+            response = response.replace(prompt, "").strip()
+            if not response:
+                response = "أفهم طلبك، وأحتاج إلى مزيد من التفاصيل لتقديم المساعدة المثلى."
+                
+            return response
+            
+        except Exception as generation_error:
+            logger.error(f"❌ خطأ في توليد النص للنموذج {model_type}: {generation_error}")
+            raise Exception(f"فشل في توليد الرد: {generation_error}")
         
     except Exception as e:
         logger.error(f"❌ خطأ في توليد النص: {e}")
         raise Exception(f"فشل في معالجة الطلب: {e}")
     finally:
         # 🔥 إلغاء تحميل النموذج فوراً بعد الاستخدام
-        if model_type in model_manager.loaded_models:
-            model_manager.unload_model(model_type)
+        model_manager.unload_model(model_type)
 
 def build_smart_prompt(user_message: str, model_type: str) -> str:
     """بناء prompt ذكي حسب نوع النموذج"""
     
     if model_type == "arabic_general":
         prompt = f"""
-أنت مساعد ذكي. قم بالرد على الطلب التالي باللغة العربية بطريقة مفيدة واحترافية:
+أنت مساعد ذكي يتحدث العربية. قم بالرد بطريقة مفيدة واحترافية.
 
-طلب المستخدم: {user_message}
+السؤال: {user_message}
 
-الرد:
+الرد بالعربية:
 """
     
     elif model_type == "coding_expert":
         prompt = f"""
-You are an expert AI assistant specialized in cybersecurity and programming. 
-Respond in Arabic with technical advice:
+You are a technical AI assistant. Respond in Arabic with helpful programming advice.
 
-User request: {user_message}
+User: {user_message}
 
-Response:
+Arabic response:
 """
     
     else:  # cyber_security
         prompt = f"""
-You are a cybersecurity expert. Respond in Arabic with professional security advice:
+You are a cybersecurity expert. Respond in Arabic with professional security advice.
 
-User: {user_message}
+Question: {user_message}
 
-Response:
+Arabic response:
 """
     
     return prompt
@@ -276,12 +311,15 @@ def get_intelligent_response(user_message: str, client_id: str) -> Dict[str, Any
     try:
         # 🔥 التحليل المتقدم للطلب
         analysis = thinker.analyze_request(user_message)
+        logger.info(f"🔍 تحليل الطلب: {analysis}")
         
         # 🔥 بناء prompt ذكي
         prompt = build_smart_prompt(user_message, analysis["required_model"])
+        logger.info(f"📝 Prompt مبني للنموذج {analysis['required_model']}")
         
         # 🔥 الحصول على الرد من النموذج المناسب
         ai_response = generate_with_model(analysis["required_model"], prompt)
+        logger.info(f"✅ تم توليد الرد بنجاح")
         
         return {
             "response": ai_response,
@@ -308,6 +346,7 @@ async def chat_with_ai(request: ChatRequest):
             actions=ai_result["actions"]
         )
         
+        logger.info(f"✅ تم إرسال الرد بنجاح")
         return response
         
     except Exception as e: