Update ml_engine/data_manager.py

ml_engine/data_manager.py

@@ -1,6 +1,6 @@
 # ============================================================
 # 📂 ml_engine/data_manager.py 
-# (V18.2 - GEM-Architect: Synergy Matrix + Full Verbose Mode)
+# (V18.3 - GEM-Architect: Adaptive Synergy + Rescue Mode)
 # ============================================================
 
 import asyncio
@@ -31,10 +31,10 @@ logging.getLogger("ccxt").setLevel(logging.WARNING)
 
 class DataManager:
     """
-    DataManager V18.2
-    -----------------
+    DataManager V18.3 (Adaptive)
+    ----------------------------
     المسؤول عن جلب البيانات من المنصة، فلترتها، وتجهيزها للمعالج.
-    يستخدم الآن منطق 'Synergy Matrix' لدمج التحليل الفني مع عمق السوق.
+    يتميز بنظام 'Synergy Matrix' المرن الذي يتكيف مع ظروف السوق (Rescue Mode).
     """
 
     def __init__(self, contracts_db, whale_monitor, r2_service=None):
@@ -67,9 +67,10 @@ class DataManager:
         """تهيئة مدير البيانات والاتصالات"""
         print("   > [DataManager] Starting initialization...")
         try:
-            self.http_client = httpx.AsyncClient(timeout=30.0)
+            # ✅ GEM-Architect: زيادة الـ Timeout لتجنب مشاكل الشبكة أثناء الضغط
+            self.http_client = httpx.AsyncClient(timeout=60.0)
             await self._load_markets()
-            print(f"✅ [DataManager V18.2] Ready (Mode: Synergy Matrix | Trend + Depth).")
+            print(f"✅ [DataManager V18.3] Ready (Mode: Synergy Matrix | Adaptive 100).")
         except Exception as e:
             print(f"❌ [DataManager] Init Error: {e}")
             traceback.print_exc()
@@ -113,15 +114,12 @@ class DataManager:
         return self.contracts_db
     
     # ==================================================================
-    # 🛡️ Layer 1: Synergy Screening (The Core Logic)
+    # 🛡️ Layer 1: Synergy Screening (GEM-Architect Fix: Adaptive & Debuggable)
     # ==================================================================
     async def layer1_rapid_screening(self) -> List[Dict[str, Any]]:
         """
-        الفلترة الذكية المترابطة (Synergy Matrix):
-        تقوم هذه الدالة بمسح السوق بالكامل، واختيار العملات التي تحقق توافقاً بين:
-        1. اتجاه المتوسطات (EMA Trend).
-        2. الدعم المؤسساتي في دفتر الطلبات (Order Book Depth).
-        3. مناطق الدخول الذكية (Smart RSI).
+        الفلترة الذكية (نسخة مصححة): تتكيف مع ظروف السوق وتعالج مشاكل البيانات.
+        تقوم بمسح أفضل 100 عملة وتفعيل وضع الإنقاذ إذا كانت النتائج صفرية.
         """
         print(f"🔍 [Layer 1] Initiating Synergy Matrix Screening...")
         
@@ -129,42 +127,70 @@ class DataManager:
         initial_candidates = await self._stage0_universe_filter()
         
         if not initial_candidates:
-            print("⚠️ [Layer 1] No candidates passed Stage 0.")
+            print("⚠️ [Layer 1] No candidates passed Stage 0 (Check Internet/API).")
             return []
 
-        # 2. جلب البيانات الفنية + عمق السوق (Batch Fetching)
-        # نأخذ أفضل 150 عملة لضمان جودة البيانات وعدم تجاوز حدود API
-        top_liquid_candidates = initial_candidates[:150] 
+        # ✅ GEM-Architect Update: فحص أفضل 100 عملة حسب الطلب
+        # تم تحديد العدد لضمان التوازن بين كفاءة المسح وتجنب الحظر
+        top_liquid_candidates = initial_candidates[:100] 
+        
+        print(f"   -> Fetching deep data for top {len(top_liquid_candidates)} assets...")
         enriched_data = await self._fetch_technical_and_depth_batch(top_liquid_candidates)
         
-        # 3. حساب "نقاط التوافق" (Synergy Score)
+        # 🚨 Debug Check: هل البيانات تصل فعلاً؟
+        if len(enriched_data) == 0:
+            print("❌ [CRITICAL] 0 assets returned data. API might be throttling or returning empty responses.")
+            return []
+        
+        # 3. حساب النقاط (Synergy Score)
         scored_candidates = []
+        debug_scores = [] # لتسجيل وتتبع لماذا تفشل العملات
 
+        # ✅ استخدام حد أدنى مرن (Adaptive Threshold)
+        current_threshold = SystemLimits.L1_MIN_AFFINITY_SCORE 
+        
         for item in enriched_data:
             # استدعاء دالة التقييم الجديدة
             affinity_result = self._calculate_synergy_score(item)
+            score = affinity_result['score']
+            item['l1_score'] = score
+            item['tags'] = affinity_result['tags']
+            
+            debug_scores.append(score)
             
             # إذا حققت الحد الأدنى من النقاط، نضيفها للقائمة
-            if affinity_result['is_eligible']:
-                item['l1_score'] = affinity_result['score']
-                item['tags'] = affinity_result['tags']
+            if score >= current_threshold: 
                 scored_candidates.append(item)
 
-        # 4. الترتيب واختيار النخبة
+        # 4. 🔥 نظام الإنقاذ (Rescue Mode)
+        # إذا لم نجد أي عملة بالفلتر القاسي، نخفض المعايير فوراً بدلاً من إرجاع قائمة فارغة
+        if len(scored_candidates) == 0 and len(enriched_data) > 0:
+            max_found_score = max(debug_scores) if debug_scores else 0
+            print(f"⚠️ [Layer 1] Too strict! Max score found was {max_found_score:.2f}. Activating Rescue Mode...")
+            
+            # إعادة المحاولة بحد أدنى 0 (أي عملة إيجابية تقنياً)
+            for item in enriched_data:
+                if item['l1_score'] > 0:
+                    scored_candidates.append(item)
+            
+            if scored_candidates:
+                print(f"   -> ✅ Rescue Mode found {len(scored_candidates)} candidates with Score > 0.")
+
+        # 5. الترتيب واختيار النخبة
         # ترتيب تنازلي حسب النقاط
         scored_candidates.sort(key=lambda x: x['l1_score'], reverse=True)
 
-        # ✅ [GEM-Architect Debug] طباعة أفضل 10 عملات فقط بشكل أنيق للمراقبة
+        # ✅ طباعة النتائج للمراقبة
         if len(scored_candidates) > 0:
             print("-" * 75)
-            print(f"{'SYMBOL':<12} | {'SCORE':<6} | {'STRATEGY TAGS (REASON)'}")
+            print(f"{'SYMBOL':<12} | {'SCORE':<6} | {'TAGS'}")
             print("-" * 75)
-            for i, item in enumerate(scored_candidates[:10]):
+            for item in scored_candidates[:5]: # طباعة أفضل 5 فقط لعدم إغراق السجل
                 tags_str = ", ".join(item.get('tags', []))
                 print(f"{item['symbol']:<12} | {item['l1_score']:<6.1f} | {tags_str}")
             print("-" * 75)
-        
-        print(f"   -> [L1 Logic] Candidates passing Matrix: {len(scored_candidates)}")
+        else:
+             print(f"❌ [Layer 1] Still 0 candidates after Rescue Mode. Market is extremely weird or Data is bad.")
 
         # نختار أفضل 40 عملة فقط لتمريرها للمعالجة العميقة (L2/L3)
         final_selection = scored_candidates[:40]