Update ml_engine/data_manager.py

ml_engine/data_manager.py

@@ -1,6 +1,6 @@
 # ============================================================
 # 📂 ml_engine/data_manager.py 
-# (V67.3 - GEM-Architect: Full Code - Relaxed Funnel)
+# (V67.5 - GEM-Architect: Smart Market Breadth Scanner)
 # ============================================================
 
 import asyncio
@@ -44,7 +44,7 @@ class DataManager:
             'UP', 'DOWN', 'BEAR', 'BULL', '3S', '3L'
         ]
         
-        print(f"📦 [DataManager V67.3] Initialized (Relaxed Funnel).")
+        print(f"📦 [DataManager V67.5] Initialized (Smart Breadth Scanner).")
 
     async def initialize(self):
         print("   > [DataManager] Starting initialization...")
@@ -73,14 +73,16 @@ class DataManager:
         return self.contracts_db
 
     # ==================================================================
-    # 🌍 Global Market Validator (The Gatekeeper)
+    # 🌍 Global Market Validator V2 (Smart Breadth Scanner)
     # ==================================================================
     async def check_global_market_health(self) -> Dict[str, Any]:
         """
-        يفحص صحة السوق العامة (BTC) لتقرير ما إذا كان التداول آمناً.
+        يفحص صحة السوق العامة باستخدام منطق مزدوج:
+        1. فحص سلامة BTC (تجنب الانهيارات).
+        2. فحص نشاط العملات البديلة (Altcoin Pulse) للسماح بالتداول حتى لو كان BTC هادئاً.
         """
         try:
-            # نعتمد على BTC كمؤشر للسوق
+            # 1. جلب بيانات البيتكوين الأساسية
             btc_ohlcv = await self.exchange.fetch_ohlcv('BTC/USDT', '1d', limit=30)
             if not btc_ohlcv: return {'is_safe': True, 'reason': 'No BTC Data - Bypassed'}
 
@@ -88,52 +90,75 @@ class DataManager:
             current_close = df['c'].iloc[-1]
             prev_close = df['c'].iloc[-2]
             
-            # 1. فحص الانهيار اليومي (Crash Check)
+            # --- [ CRITICAL CHECK ] ---
+            # إذا كان البيتكوين ينهار، نوقف كل شيء لأن السيولة ستجف
             daily_change = (current_close - prev_close) / prev_close
-            if daily_change < -0.05: # انخفاض أكثر من 5% في يوم واحد
-                return {'is_safe': False, 'reason': '🚨 BTC CRASH DETECTED (>5% Drop)'}
+            if daily_change < -0.045: # السماح بمرونة أكبر قليلاً (-4.5%)
+                return {'is_safe': False, 'reason': f'🚨 BTC CRASHING ({daily_change*100:.2f}%)'}
 
-            # 2. فحص المتوسطات (Trend Check)
+            # فحص المتوسطات (Trend Check)
             sma20 = df['c'].rolling(20).mean().iloc[-1]
-            
-            # إذا كان السعر تحت متوسط 20 بفارق كبير، نعتبره خطراً
-            dist_to_sma = (sma20 - current_close) / sma20
-            if current_close < sma20 and dist_to_sma > 0.10: # بعيد جداً عن المتوسط لأسفل
-                return {'is_safe': False, 'reason': '📉 Deep Bear Market (Below SMA20)'}
+            if current_close < sma20 * 0.92: # إذا كان السعر تحت المتوسط بـ 8% (سوق هابط عنيف)
+                 return {'is_safe': False, 'reason': '📉 Deep Bear Market (Risk Off)'}
 
-            # 3. فحص السيولة (Volume Check)
+            # --- [ ALTCOIN PULSE CHECK ] ---
+            # بدلاً من إيقاف السوق بسبب ضعف فوليوم البيتكوين، نفحص هل هناك عملات تتحرك؟
+            
             avg_vol = df['v'].rolling(7).mean().iloc[-1]
             curr_vol = df['v'].iloc[-1]
             
-            # إذا كان الفوليوم ضعيفاً جداً (سوق ميت)
-            if curr_vol < (avg_vol * 0.3):
-                return {'is_safe': False, 'reason': '💤 Dead Market / Low Volume'}
+            btc_is_dead = curr_vol < (avg_vol * 0.4) # البيتكوين ميت
+            
+            if btc_is_dead:
+                # 🕵️ فحص النبض: هل هناك عملات تنفصل عن البيتكوين؟
+                print("   ⚠️ [Validator] BTC Volume Low.. Scanning Altcoin Pulse...")
+                tickers = await self.exchange.fetch_tickers()
+                
+                green_coins = 0
+                pump_coins = 0
+                total_checked = 0
+                
+                # نفحص العملات ذات الفوليوم العالي فقط
+                for sym, data in tickers.items():
+                    if not sym.endswith('/USDT'): continue
+                    vol = float(data.get('quoteVolume') or 0)
+                    if vol < 5000000: continue # تجاهل العملات الصغيرة جداً في هذا الفحص
+                    
+                    change = float(data.get('percentage') or 0)
+                    total_checked += 1
+                    
+                    if change > 1.0: green_coins += 1
+                    if change > 5.0: pump_coins += 1
+                
+                # المنطق: إذا وجدنا أكثر من 3 عملات تضخ بقوة، أو 40% من السوق أخضر -> السوق يعمل
+                if pump_coins >= 3 or (total_checked > 0 and (green_coins / total_checked) > 0.4):
+                    return {'is_safe': True, 'reason': f'✅ Decoupled Alts Active ({pump_coins} Pumping)'}
+                else:
+                    return {'is_safe': False, 'reason': '💤 Dead Market (BTC & Alts Flat)'}
 
-            return {'is_safe': True, 'reason': '✅ Market Stable'}
+            return {'is_safe': True, 'reason': '✅ Market Healthy'}
 
         except Exception as e:
             print(f"⚠️ [Market Validator] Error: {e}")
-            # في حال الخطأ التقني، نفترض الأمان لتجنب التوقف الكامل
             return {'is_safe': True, 'reason': 'Error Bypass'}
 
     # ==================================================================
-    # 🧠 Layer 1: Classification (Bottom, Momentum, Accumulation)
+    # 🧠 Layer 1: Classification (Relaxed Funnel)
     # ==================================================================
     async def layer1_rapid_screening(self, adaptive_hub_ref=None) -> List[Dict[str, Any]]:
         self.adaptive_hub_ref = adaptive_hub_ref
-        print(f"🔍 [Layer 1] Screening for High Vol Assets (Relaxed Funnel)...")
+        print(f"🔍 [Layer 1] Screening Market (Smart Breadth)...")
         
-        # 0. فحص صحة السوق أولاً
+        # 0. فحص صحة السوق
         market_health = await self.check_global_market_health()
         
         if not market_health['is_safe']:
             print(f"⛔ [Market Validator] Trading Halted: {market_health['reason']}")
             return []
         else:
-            # ✅ إضافة: طباعة حالة السوق عند النجاح
-            print(f"   🌍 [Market Validator] Global Status: {market_health['reason']}")
+            print(f"   🌍 [Market Validator] Status: {market_health['reason']}")
 
-        # 1. فلتر السيولة الأساسي (1 مليون دولار)
+        # 1. فلتر السيولة الأساسي
         initial_candidates = await self._stage0_universe_filter()
         if not initial_candidates:
             print("⚠️ [Layer 1] Stage 0 returned 0 candidates.")
@@ -145,39 +170,36 @@ class DataManager:
         
         semi_final_list = []
 
-        # 3. التصنيف الفني الأولي
+        # 3. التصنيف الفني
         for item in enriched_data:
             classification = self._classify_opportunity_type(item)
             
             if classification['type'] != 'NONE':
-                # الاحتفاظ بتشخيص Regime القديم (للاستئناس فقط)
                 regime_info = self._diagnose_asset_regime(item)
                 item['asset_regime'] = regime_info['regime']
                 item['asset_regime_conf'] = regime_info['conf']
                 
-                # الاعتماد الأساسي على التصنيف الجديد
                 item['strategy_type'] = classification['type'] 
                 item['l1_sort_score'] = classification['score']
                 item['strategy_tag'] = classification['type']
                 
-                # فحص إضافي: إذا كان السوق ميتاً، نقبل فقط التجميع القوي
+                # إذا كان التشخيص العام "ميت" لكن العملة في حالة ضغط (Squeeze)، نمررها
                 if regime_info['regime'] == 'DEAD' and classification['type'] == 'MOMENTUM_LAUNCH':
                     if not classification.get('is_squeeze', False):
                         continue
 
                 semi_final_list.append(item)
 
-        # 4. 🧱 فحص عمق السوق وحقن الإعدادات
+        # 4. فحص العمق وحقن الإعدادات
         final_list = []
-        # نأخذ أفضل 300 مرشحاً لفحص دفتر الطلبات
         semi_final_list.sort(key=lambda x: x['l1_sort_score'], reverse=True)
         candidates_for_depth = semi_final_list[:300]
         
         if candidates_for_depth:
-            print(f"   🛡️ [Layer 1.5] Checking Depth Support for {len(candidates_for_depth)} candidates...")
+            print(f"   🛡️ [Layer 1.5] Checking Depth for {len(candidates_for_depth)} candidates...")
         
         for item in candidates_for_depth:
-            # أ. فحص العمق (Order Book Check)
+            # أ. فحص العمق
             if item['strategy_type'] in ['ACCUMULATION_SQUEEZE', 'SAFE_BOTTOM']:
                 try:
                     atr_val = item.get('atr_value', 0.0)
@@ -194,9 +216,8 @@ class DataManager:
                             item['l1_sort_score'] -= 0.10 
                 except Exception: pass
             
-            # ب. ✅ FIX: حقن الإعدادات باستخدام get_coin_type_config
+            # ب. حقن الإعدادات
             if self.adaptive_hub_ref:
-                # نستخدم نوع العملة كمفتاح لجلب الإعدادات
                 coin_type = item.get('strategy_type', 'SAFE_BOTTOM')
                 dynamic_config = self.adaptive_hub_ref.get_coin_type_config(coin_type)
                 item['dynamic_limits'] = dynamic_config
@@ -259,48 +280,40 @@ class DataManager:
         bb_width = (upper_bb - lower_bb) / curr['ema20'] if curr['ema20'] > 0 else 1.0
 
         # 🔥 1. Dead Coin Filter (Relaxed to 0.3%)
-        # تم تخفيض العتبة من 0.4 إلى 0.3 للسماح للعملات الهادئة بالدخول إذا تحركت قليلاً
         volatility_pct = (atr / close) * 100 if close > 0 else 0
         if volatility_pct < 0.3: return {'type': 'NONE', 'score': 0}
 
         # 🛡️ TYPE 1: SAFE_BOTTOM (Widened)
-        # RSI < 55 (كانت 45)، والسعر عند أو تحت الحد السفلي + 8% (كانت 5%)
         if rsi < 55:
-            dist_from_ema = (ema50 - close) / ema50
             if close <= lower_bb * 1.08:
                 score = (60 - rsi) / 20.0 
                 return {'type': 'SAFE_BOTTOM', 'score': min(score, 1.0)}
 
         # 🔋 TYPE 2: ACCUMULATION_SQUEEZE (Widened)
-        # RSI 40-65 (كانت 45-60)، BB Width < 0.18 (كانت 0.12)
         elif 40 <= rsi <= 65:
             if bb_width < 0.18:
-                # إزالة الشرط الصارم لـ EMA20 للسماح للنماذج بالاختيار
                 score = 1.0 - (bb_width * 3.0) 
                 return {'type': 'ACCUMULATION_SQUEEZE', 'score': max(score, 0.5), 'is_squeeze': True}
 
         # 🚀 TYPE 3: MOMENTUM_LAUNCH (Earlier Entry)
-        # RSI > 50 (كانت 60)
         elif 50 < rsi < 85:
             if close > ema50:
                 dist_to_upper = (upper_bb - close) / close
-                if dist_to_upper < 0.12: # السماح بمسافة أكبر قليلاً
+                if dist_to_upper < 0.12: 
                     score = rsi / 100.0
                     return {'type': 'MOMENTUM_LAUNCH', 'score': score}
         
-        # 🃏 Special Case: High Volatility Wildcard
-        # إذا كانت السيولة والتقلب مرتفعين جداً (> 1.5%)، مررها للنماذج
+        # 🃏 Special Case
         if volatility_pct > 1.5:
              return {'type': 'SAFE_BOTTOM', 'score': 0.4}
 
         return {'type': 'NONE', 'score': 0}
 
     # ==================================================================
-    # 🔍 Stage 0: Universe Filter (STRICT 1M FILTER)
+    # 🔍 Stage 0: Universe Filter
     # ==================================================================
     async def _stage0_universe_filter(self) -> List[Dict[str, Any]]:
         try:
-            # 🔥 إعداد الحد الأدنى لحجم التداول
             MIN_VOLUME_THRESHOLD = 1000000.0  # 1 Million USDT
             
             print(f"   🛡️ [Stage 0] Fetching Tickers (Min Vol: ${MIN_VOLUME_THRESHOLD:,.0f})...")
@@ -324,7 +337,6 @@ class DataManager:
                 
                 is_sovereign = symbol in SOVEREIGN_COINS
                 
-                # 🔥 الفلتر الصارم الجديد: رفض أي عملة تحت المليون
                 if not is_sovereign:
                     if calc_quote_vol < MIN_VOLUME_THRESHOLD: 
                         reject_stats["volume"] += 1
@@ -357,12 +369,8 @@ class DataManager:
     # 🧭 The Diagnoser
     # ------------------------------------------------------------------
     def _diagnose_asset_regime(self, item: Dict[str, Any]) -> Dict[str, Any]:
-        """
-        تقوم بتشخيص حالة السوق للأصل (Regime) لتحديد ما إذا كان مناسباً للدخول
-        """
         try:
             if 'df_1h' not in item: 
-                # محاولة استخراج الداتا فريم إذا لم تكن موجودة
                 if 'ohlcv_1h_raw' in item:
                     item['df_1h'] = self._calc_indicators(item['ohlcv_1h_raw'])
                 else:
@@ -415,7 +423,6 @@ class DataManager:
             c['ohlcv'] = {'1h': h1, '15m': m15} 
             c['ohlcv_1h_raw'] = h1 
             c['ohlcv_15m_raw'] = m15
-            # حساب المؤشرات هنا لتوفير الوقت لاحقاً
             c['df_1h'] = self._calc_indicators(h1)
             return c
         except: return None
@@ -428,16 +435,13 @@ class DataManager:
         rs = gain/loss
         df['rsi'] = 100 - (100/(1+rs))
         
-        # EMAs
         df['ema20'] = df['c'].ewm(span=20).mean()
         df['ema50'] = df['c'].ewm(span=50).mean()
         df['ema200'] = df['c'].ewm(span=200).mean() 
         
-        # ATR
         tr = np.maximum(df['h']-df['l'], np.maximum(abs(df['h']-df['c'].shift()), abs(df['l']-df['c'].shift())))
         df['atr'] = tr.rolling(14).mean()
         
-        # Bollinger Bands
         std = df['c'].rolling(20).std()
         df['upper_bb'] = df['ema20'] + (2 * std)
         df['lower_bb'] = df['ema20'] - (2 * std)