Update ml_engine/data_manager.py

ml_engine/data_manager.py

@@ -1,6 +1,6 @@
 # ============================================================
 # 📂 ml_engine/data_manager.py 
-# (V60.3 - GEM-Architect: Critical Data Fix & Full Integration)
+# (V60.4 - GEM-Architect: Regime Gating + Robust Data)
 # ============================================================
 
 import asyncio
@@ -12,13 +12,13 @@ import pandas as pd
 import numpy as np
 from typing import List, Dict, Any
 
-# محاولة استيراد حدود النظام (اختياري للربط مع باقي النظام)
+# محاولة استيراد حدود النظام
 try:
     from ml_engine.processor import SystemLimits
 except ImportError:
     SystemLimits = None
 
-# إعدادات التسجيل لتقليل الضوضاء
+# تقليل ضوضاء السجلات
 logging.getLogger("httpx").setLevel(logging.WARNING)
 logging.getLogger("ccxt").setLevel(logging.WARNING)
 
@@ -27,9 +27,8 @@ class DataManager:
         self.contracts_db = contracts_db or {}
         self.whale_monitor = whale_monitor
         self.r2_service = r2_service
-        self.adaptive_hub_ref = None  # مرجع لملف التعلم
+        self.adaptive_hub_ref = None 
         
-        # إعداد منصة KuCoin
         self.exchange = ccxt.kucoin({
             'enableRateLimit': True,
             'timeout': 60000, 
@@ -39,13 +38,13 @@ class DataManager:
         self.http_client = None
         self.market_cache = {}
         
-        # قائمة العملات المحظورة (Stablecoins + Leveraged Tokens)
+        # القائمة السوداء
         self.BLACKLIST_TOKENS = [
             'USDT', 'USDC', 'DAI', 'TUSD', 'BUSD', 'FDUSD', 'EUR', 'PAX',
             'UP', 'DOWN', 'BEAR', 'BULL', '3S', '3L'
         ]
         
-        print(f"📦 [DataManager V60.3] Critical Data Fix + Tuned Shield Active.")
+        print(f"📦 [DataManager V60.4] Regime Gating (Range Protection) Active.")
 
     async def initialize(self):
         print("   > [DataManager] Starting initialization...")
@@ -74,53 +73,62 @@ class DataManager:
         return self.contracts_db
 
     # ==================================================================
-    # 🧠 Layer 1: Screening + Diagnosis + Injection (The Pipeline)
+    # 🧠 Layer 1: Screening + Diagnosis + Regime Gating
     # ==================================================================
     async def layer1_rapid_screening(self, adaptive_hub_ref=None) -> List[Dict[str, Any]]:
         self.adaptive_hub_ref = adaptive_hub_ref
-        print(f"🔍 [Layer 1] Initiating Robust Screening...")
+        print(f"🔍 [Layer 1] Screening with Regime Gating...")
         
-        # 1. فلتر السيولة الأساسي (المصحح جذرياً)
+        # 1. فلتر السيولة
         initial_candidates = await self._stage0_universe_filter()
-        
         if not initial_candidates:
-            print("⚠️ [Layer 1] CRITICAL: Stage 0 returned 0 candidates. Check Connection.")
+            print("⚠️ [Layer 1] Stage 0 returned 0 candidates.")
             return []
 
-        # 2. جلب البيانات الفنية (لأفضل 120 عملة لضمان التنوع)
+        # 2. جلب البيانات الفنية
         top_candidates = initial_candidates[:120] 
         enriched_data = await self._fetch_technical_data_batch(top_candidates)
         
         final_list = []
 
         for item in enriched_data:
-            # 3. تطبيق الفلتر الفني الصارم (Tuned Anti-FOMO)
+            # 3. التصنيف الفني (Breakout vs Reversal)
             classification = self._apply_strict_logic_tree(item)
             
             if classification['type'] != 'NONE':
-                # 4. التشخيص والحقن (Context Injection)
+                # 4. التشخيص (Diagnosis)
                 regime_info = self._diagnose_asset_regime(item)
-                item['asset_regime'] = regime_info['regime']
+                current_regime = regime_info['regime']
+                
+                # 🔥 5. Regime Gating (بوابة النظام - الحماية من المصيدة)
+                # إذا السوق عرضي (RANGE) أو ميت (DEAD)، نمنع الاختراقات (BREAKOUT)
+                # لأن الاختراقات تفشل في هذه الظروف وتصبح مصيدة ثيران.
+                if current_regime in ['RANGE', 'DEAD'] and classification['type'] == 'BREAKOUT':
+                    # تخطي بصمت (حماية)
+                    continue
+
+                # إذا مر من البوابة، نتابع
+                item['asset_regime'] = current_regime
                 item['asset_regime_conf'] = regime_info['conf']
                 
-                # حقن العتبات الديناميكية من ملف التعلم
+                # حقن العتبات
                 if self.adaptive_hub_ref:
-                    dynamic_config = self.adaptive_hub_ref.get_regime_config(regime_info['regime'])
+                    dynamic_config = self.adaptive_hub_ref.get_regime_config(current_regime)
                     item['dynamic_limits'] = dynamic_config
                 
                 item['l1_sort_score'] = classification['score'] 
                 item['strategy_tag'] = classification['type']
                 final_list.append(item)
 
-        # 5. الترتيب النهائي
+        # 6. الترتيب النهائي
         final_list.sort(key=lambda x: x['l1_sort_score'], reverse=True)
         
         selection = final_list[:50]
-        print(f"✅ [Layer 1] Passed {len(selection)} candidates to Processor.")
+        print(f"✅ [Layer 1] Passed {len(selection)} candidates (Safe Strategies Only).")
         return selection
 
     # ==================================================================
-    # 🔍 Stage 0: Universe Filter (FIXED: Force USD Calculation)
+    # 🔍 Stage 0: Universe Filter (Robust USD Calc)
     # ==================================================================
     async def _stage0_universe_filter(self) -> List[Dict[str, Any]]:
         try:
@@ -128,38 +136,39 @@ class DataManager:
             tickers = await self.exchange.fetch_tickers()
             candidates = []
             
-            # إحصائيات الرفض للتشخيص
+            # القائمة السيادية (تمر دائماً)
+            SOVEREIGN_COINS = ['BTC/USDT', 'ETH/USDT', 'SOL/USDT', 'BNB/USDT', 'XRP/USDT']
+            
             reject_stats = {"volume": 0, "change": 0, "blacklist": 0}
             debug_printed = False
 
             for symbol, ticker in tickers.items():
                 if not symbol.endswith('/USDT'): continue
                 
-                # 1. Blacklist
                 base_curr = symbol.split('/')[0]
                 if any(bad in base_curr for bad in self.BLACKLIST_TOKENS): 
                     reject_stats["blacklist"] += 1
                     continue
                 
-                # 2. 🔥 FORCE CALCULATED VOLUME (USD) - الإصلاح الجذري
-                # نتجاهل quoteVolume القادم من المنصة إذا كان مشكوكاً فيه
+                # حساب الحجم يدوياً لضمان الدقة
                 base_vol = float(ticker.get('baseVolume') or 0.0)
                 last_price = float(ticker.get('last') or 0.0)
-                
-                # الحساب اليدوي: الحجم * السعر = السيولة بالدولار
                 calc_quote_vol = base_vol * last_price
                 
-                # طباعة فحص BTC للتأكد من الإصلاح (مرة واحدة)
+                is_sovereign = symbol in SOVEREIGN_COINS
+                
+                # طباعة فحص BTC مرة واحدة
                 if "BTC/USDT" in symbol and not debug_printed:
-                    print(f"   🐛 [DEBUG] BTC Fixed Vol: ${calc_quote_vol:,.0f} (Verified USD)")
+                    print(f"   🐛 [DEBUG] BTC Vol: ${calc_quote_vol:,.0f}")
                     debug_printed = True
 
-                # فلتر السيولة (500k)
-                if calc_quote_vol < 500_000: 
-                    reject_stats["volume"] += 1
-                    continue
+                # فلتر السيولة (500k) - نتجاوزه للعملات السيادية
+                if not is_sovereign:
+                    if calc_quote_vol < 500_000: 
+                        reject_stats["volume"] += 1
+                        continue
                 
-                # فلتر التغير (20%) - مسموح للحركة القوية
+                # فلتر التغير (20%)
                 change_pct = ticker.get('percentage')
                 if change_pct is None: change_pct = 0.0
                 
@@ -169,7 +178,7 @@ class DataManager:
                 
                 candidates.append({
                     'symbol': symbol,
-                    'quote_volume': calc_quote_vol, # نستخدم القيمة المحسوبة
+                    'quote_volume': calc_quote_vol,
                     'current_price': last_price,
                     'change_24h': change_pct
                 })
@@ -186,7 +195,7 @@ class DataManager:
             return []
 
     # ------------------------------------------------------------------
-    # 🧭 The Diagnoser (يحدد حالة العملة لحقن العتبات)
+    # 🧭 The Diagnoser
     # ------------------------------------------------------------------
     def _diagnose_asset_regime(self, item: Dict[str, Any]) -> Dict[str, Any]:
         try:
@@ -216,7 +225,7 @@ class DataManager:
         except Exception: return {'regime': 'RANGE', 'conf': 0.0}
 
     # ------------------------------------------------------------------
-    # 🛡️ The Logic Tree (TUNED Anti-FOMO)
+    # 🛡️ The Logic Tree (Anti-FOMO Tuned)
     # ------------------------------------------------------------------
     def _apply_strict_logic_tree(self, data: Dict[str, Any]) -> Dict[str, Any]:
         try:
@@ -233,32 +242,21 @@ class DataManager:
             change_4h = ((curr_1h['close'] - close_4h_ago) / close_4h_ago) * 100
         except: change_4h = 0.0
 
-        # 🔧 TUNED GATES (بوابات الأمان المخففة)
-        # 1. السماح بحركة 12% في 4 ساعات
+        # Gates
         if change_4h > 12.0: return {'type': 'NONE', 'score': 0}
-        
-        # 2. السماح بـ RSI حتى 75 (منطقة الزخم القوي)
         if curr_1h['rsi'] > 75: return {'type': 'NONE', 'score': 0} 
-        
-        # 3. السماح بانحراف 2.2 ATR
         dev = (curr_1h['close'] - curr_1h['ema20']) / curr_1h['atr'] if curr_1h['atr'] > 0 else 0
         if dev > 2.2: return {'type': 'NONE', 'score': 0}
 
-        # --- التصنيف ---
-        
-        # A. Breakout (اختراق آمن)
+        # A. Breakout
         is_bullish = (curr_1h['ema20'] > curr_1h['ema50']) or (curr_1h['close'] > curr_1h['ema20'])
-        
-        # وسعنا النطاق قليلاً ليقبل الزخم القوي
         if is_bullish and (45 <= curr_1h['rsi'] <= 75): 
             vol_ma = df_15m['volume'].rolling(20).mean().iloc[-1]
-            
-            # خفضنا شرط الفوليوم لـ 1.2 لالتقاط البدايات
             if curr_15m['volume'] >= 1.2 * vol_ma: 
                 score = curr_15m['volume'] / vol_ma if vol_ma > 0 else 1.0
                 return {'type': 'BREAKOUT', 'score': score}
 
-        # B. Reversal (صيد القاع)
+        # B. Reversal
         if 20 <= curr_1h['rsi'] <= 40 and change_4h <= -2.0:
             score = (100 - curr_1h['rsi'])
             return {'type': 'REVERSAL', 'score': score}
@@ -313,4 +311,4 @@ class DataManager:
 
     async def get_order_book_snapshot(self, symbol, limit=20):
         try: return await self.exchange.fetch_order_book(symbol, limit)
-        except: return {}
+        except: return {}